В чем фундаментальная разница между TTFT и End-to-End Latency при мониторинге LLM?

TTFT (Time-to-First-Token) измеряет задержку фазы pre-fill (обработка входного промпта моделью) плюс сетевое время до старта стрима. End-to-End Latency включает в себя время декодирования всех сгенерированных токенов. Для пользователя именно высокий TTFT создает ощущение 'зависшего' приложения, тогда как высокий End-to-End при стабильном TPS воспринимается комфортно.

Какие спецификации OpenTelemetry регламентируют логирование GenAI?

Спецификация OpenTelemetry Semantic Conventions for Generative AI (пространство имен gen_ai.*). Она определяет стандартные имена атрибутов: gen_ai.system (провайдер), gen_ai.request.model, gen_ai.response.completion_tokens, gen_ai.usage.prompt_tokens, gen_ai.operation.name ('chat', 'embeddings', 'execute_tool') и форматы фиксации tool calls.

Как измерить TPS при вызове инструментов (Tool Calls), если ответ модели содержит JSON-аргументы?

Формула остается прежней: количество токенов генерации (completion_tokens, содержащих имя функции и JSON-аргументы) делится на чистое время вывода: (t_finish - t_first_token). Важно разделять спан генерации вызова инструмента и спан выполнения самого инструмента, иначе время работы инструмента исказит метрику TPS модели.

Каким образом связываются бизнес-метрики (например, оценка ответа пользователем 'Like/Dislike') с трейсом в Langfuse?

При генерации ответа клиенту возвращается уникальный trace_id или generation_id. Когда пользователь кликает оценку в интерфейсе, клиент отправляет запрос с этим идентификатором на эндпоинт, который вызывает langfuse.score({ traceId, name: 'user-feedback', value: 1 }). Это позволяет фильтровать в дашборде промпты, приведшие к негативным оценкам.

Как организовать распределенную трассировку в мультиагентных системах с микросервисной архитектурой?

Через стандарты W3C TraceContext. При отправке HTTP/gRPC запроса от одного агента другому пробрасывается заголовок traceparent (содержащий trace_id, parent_span_id и trace_flags). Принимающий сервис распаковывает контекст через tracer.extract() и запускает новый спан с указанием родителя, сохраняя древовидную иерархию графа.

Каковы накладные расходы архитектуры с Helicone Proxy по сравнению со встроенным OTel SDK?

Helicone Proxy работает на уровне периметра (Edge) и добавляет минимальный сетевой хоп (обычно менее 15-20 мс благодаря Cloudflare Workers), не нагружая CPU и память Node.js процесса приложения. OTel SDK требует выделения ресурсов рантайма на сбор, буферизацию и экспорт спанов, но позволяет захватывать глубокий локальный контекст (стектрейсы функций, состояние памяти, локальные инструменты).

Что делать, если объем экспортируемой телеметрии LLM создает узкое место по сети и дисковому I/O?

Применяется селективное сэмплирование (Head-based или Tail-based sampling) в OpenTelemetry Collector. Успешные вызовы дешевых моделей сэмплируются с коэффициентом 1-5%, в то время как ошибки (SpanStatusCode.ERROR), вызовы с задержкой выше 95-го перцентиля (p95 latency) или обращения к дорогим reasoning-моделям сохраняются со 100% вероятностью.

LLM Tracing and Observability: OpenTelemetry, Langfuse and Helicone — AI Engineering & Agents

Архитектурная база#

В распределенных AI-системах 2026 года классического мониторинга (CPU, RAM, HTTP 200/500) недостаточно. Поведение больших языковых моделей недетерминировано: запрос может завершиться с кодом 200 OK, но содержать галлюцинацию, поврежденный JSON, отказ следовать системному промпту (Refusal) или превысить бюджет токенов в 10 раз из-за зацикливания агента в вызове инструментов (Tool Calling loop).

Наблюдаемость (Observability) современных AI-контуров строится на трех столпах:

Распределенная трассировка (Distributed Tracing) на базе спецификации OpenTelemetry (OTel) GenAI Semantic Conventions. Она связывает корневой запрос пользователя с серией промежуточных вызовов LLM, эмбеддингов, векторных баз и вызовов инструментов (Tool Calls).
Семантический сбор метрик: вычисление квантилей задержек Time-to-First-Token (TTFT), пропускной способности Tokens-per-Second (TPS) и точного расхода токенов (Prompt, Completion, Cached).
Платформы аудита и оценки (Langfuse, Helicone): хранение контекста генераций, трассировка агентских деревьев решений, связывание пользовательского фидбека (Scores) с конкретным span_id и анонимизация персональных данных (PII Redaction).

Ментальная модель#

Трассировка мультиагентного сценария представляется как направленный ациклический граф (DAG) спанов, где контекст распространяется через W3C TraceContext заголовки (traceparent, tracestate).

text

[ Client Request ] -> trace_id: 00-4bf92f35...-01
        |
        v
[ Root Span: Agent Workflow (Langfuse/OTel) ]
  |-- [ Span 1: Context Retrieval (Vector DB / pgvector) ] -> 45ms
  |-- [ Span 2: Generation (Router LLM: Claude 3.5 Haiku) ] -> TTFT: 180ms, Total: 320ms
  |       |-- Event: gen_ai.choice (Tool Call: "search_database")
  |-- [ Span 3: Tool Execution (MCP Server Query) ] -> 110ms
  `-- [ Span 4: Generation (Synthesizer LLM: Claude 3.5 Sonnet) ] -> TTFT: 240ms, Total: 850ms
          |-- Attributes: gen_ai.usage.prompt_tokens = 1420
          |-- Attributes: gen_ai.usage.completion_tokens = 380
          `-- Attributes: gen_ai.response.model = "claude-3-5-sonnet-20241022"

OpenTelemetry GenAI Semantic Conventions Time-to-First-Token (TTFT) Tokens-per-Second (TPS) Trace DAG

На практике применяется#

Диагностика задержек в потоковых интерфейсах (Streaming UX): разделение общей задержки на время сетевого раундтрипа, холодный старт фазы pre-fill (TTFT) и фактическую генерацию (TPS) для устранения фризов в веб-чатах.
Аудит безопасности и предотвращение утечек данных: маскирование PII (паспорта, токены авторизации, email) в спанах промптов и ответов перед отправкой в системы трассировки.
Отладка бесконечных циклов агентских инструментов (Tool Loops): детекция аномальной глубины спанов в Langfuse, когда агент повторяет вызовы падающего инструмента, сжигая бюджет контекста.
Атрибуция стоимости по арендаторам (Multi-tenant Cost Tracking): привязка метаданных user_id, org_id и workspace_id к спанам OTel для биллинга в B2B SaaS.

Как это работает#

Для реализации сквозной наблюдаемости создается OTel-инструментированный контур с интеграцией SDK Langfuse, экспортером телеметрии и перехватом метрик TTFT/TPS при потоковой передаче (Streaming).

typescriptlib/observability/tracer.ts

import { trace, context, SpanStatusCode, Span } from "@opentelemetry/api";
import { Langfuse } from "langfuse";

export const langfuse = new Langfuse({
  publicKey: process.env.LANGFUSE_PUBLIC_KEY ?? "",
  secretKey: process.env.LANGFUSE_SECRET_KEY ?? "",
  baseUrl: process.env.LANGFUSE_BASEURL ?? "https://cloud.langfuse.com",
});

const tracer = trace.getTracer("ai-agent-service", "2.0.0");

interface TracedGenerationParams {
  userId: string;
  sessionId: string;
  model: string;
  systemPrompt: string;
  userPrompt: string;
  temperature?: number;
}

interface GenerationMetrics {
  ttftMs: number;
  totalDurationMs: number;
  tps: number;
  promptTokens: number;
  completionTokens: number;
}

/**
 * Санитизация чувствительных данных в промптах согласно политикам безопасности
 */
function sanitizePII(text: string): string {
  return text
    .replace(/[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}/g, "[REDACTED_EMAIL]")
    .replace(/Bearer\s+[A-Za-z0-9-_.]+/g, "Bearer [REDACTED_TOKEN]");
}

/**
 * Выполнение LLM-генерации с записью спанов OTel и фиксацией в Langfuse
 */
export async function executeTracedLLMCall(
  params: TracedGenerationParams,
  callFn: (prompt: string, onFirstToken: () => void) => Promise<{ text: string; promptTokens: number; completionTokens: number }>
): Promise<{ text: string; metrics: GenerationMetrics }> {
  return tracer.startActiveSpan("gen_ai.chat", async (span: Span) => {
    const startTime = performance.now();
    let firstTokenTime: number | null = null;

    // Инициализация OpenTelemetry GenAI семантических атрибутов
    span.setAttribute("gen_ai.system", "anthropic");
    span.setAttribute("gen_ai.request.model", params.model);
    span.setAttribute("gen_ai.request.temperature", params.temperature ?? 0.7);
    span.setAttribute("gen_ai.operation.name", "chat");
    span.setAttribute("enduser.id", params.userId);
    span.setAttribute("session.id", params.sessionId);

    // Langfuse Trace & Generation Span
    const traceRef = langfuse.trace({
      name: "agent-inference-step",
      userId: params.userId,
      sessionId: params.sessionId,
      metadata: { environment: process.env.NODE_ENV },
    });

    const generation = traceRef.generation({
      name: "llm-response",
      model: params.model,
      modelParameters: { temperature: params.temperature ?? 0.7 },
      input: [
        { role: "system", content: sanitizePII(params.systemPrompt) },
        { role: "user", content: sanitizePII(params.userPrompt) },
      ],
    });

    try {
      const result = await callFn(params.userPrompt, () => {
        if (firstTokenTime === null) {
          firstTokenTime = performance.now();
        }
      });

      const endTime = performance.now();
      const totalDurationMs = endTime - startTime;
      const ttftMs = (firstTokenTime ?? endTime) - startTime;
      const generationDurationSec = Math.max((endTime - (firstTokenTime ?? endTime)) / 1000, 0.001);
      const tps = result.completionTokens / generationDurationSec;

      // Запись результатов в OTel спан
      span.setAttribute("gen_ai.usage.prompt_tokens", result.promptTokens);
      span.setAttribute("gen_ai.usage.completion_tokens", result.completionTokens);
      span.setAttribute("gen_ai.metrics.ttft_ms", ttftMs);
      span.setAttribute("gen_ai.metrics.tps", tps);
      span.setStatus({ code: SpanStatusCode.OK });

      // Закрытие спана в Langfuse
      generation.end({
        output: sanitizePII(result.text),
        usage: {
          promptTokens: result.promptTokens,
          completionTokens: result.completionTokens,
          totalTokens: result.promptTokens + result.completionTokens,
        },
      });

      return {
        text: result.text,
        metrics: {
          ttftMs,
          totalDurationMs,
          tps,
          promptTokens: result.promptTokens,
          completionTokens: result.completionTokens,
        },
      };
    } catch (error) {
      span.recordException(error as Error);
      span.setStatus({
        code: SpanStatusCode.ERROR,
        message: error instanceof Error ? error.message : "Unknown LLM execution failure",
      });

      generation.end({
        level: "ERROR",
        statusMessage: error instanceof Error ? error.message : "LLM Call Error",
      });

      throw error;
    } finally {
      span.end();
      await langfuse.flushAsync();
    }
  });
}

Для интеграции с Helicone на уровне прокси-шлюза достаточно передавать специализированные заголовки в HTTP-запросах, что исключает накладные расходы на стороне рантайма приложения:

typescriptlib/observability/helicone-client.ts

export function getHeliconeHeaders(params: {
  userId: string;
  sessionId: string;
  rateLimitPolicy?: string;
  cacheEnabled?: boolean;
}): Record<string, string> {
  const headers: Record<string, string> = {
    "Helicone-Auth": `Bearer ${process.env.HELICONE_API_KEY}`,
    "Helicone-User-Id": params.userId,
    "Helicone-Session-Id": params.sessionId,
    "Helicone-Session-Path": "/api/agent/execute",
    "Helicone-Property-Environment": process.env.NODE_ENV ?? "development",
  };

  if (params.cacheEnabled) {
    // Включение серверного кэширования на узле Helicone (TTL: 1 час)
    headers["Helicone-Cache-Enabled"] = "true";
    headers["Cache-Control"] = "max-age=3600";
  }

  if (params.rateLimitPolicy) {
    // Ограничение частоты запросов на уровне шлюза: 100 запросов в минуту
    headers["Helicone-RateLimit-Policy"] = params.rateLimitPolicy;
  }

  return headers;
}

Распространённые ошибки#

Ошибка: Утечка PII и учетных данных в хранилище трейсов

Запись необработанных заголовков Authorization, паролей пользователей или номеров документов в метаданные OTel или Langfuse. Данные логируются на сторонних серверах и нарушают стандарты GDPR/SOC2. Все входные и выходные строки должны проходить через этап препроцессинга с регулярными выражениями или специализированным NER-токенизатором.

Ошибка: Синхронный flush телеметрии в критическом пути стриминга

Вызов блокирующего метода экспорта спанов (например, синхронный HTTP POST на каждый чанк генерации) внутри обработчика SSE. Это обрушивает TPS генерации и искусственно завышает задержку. Трейсы и события должны агрегироваться в буфер в памяти и отправляться батчами асинхронно через фоновый воркер.

Ошибка: Потеря контекста W3C TraceContext при асинхронных вызовах инструментов

Запуск фонового инструмента или обращения к очереди задач без проброса заголовка traceparent. В результате корневой трейс пользователя прерывается, а генерация ответа регистрируется как изолированный, не связанный сиротский спан (Orphan Span).

Ошибка: Подсчет токенов через символьные эвристики вместо токенизатора провайдера

Оценка стоимости и расхода токенов через формулу length / 4. Для разных семейств моделей (Claude, OpenAI, Llama 3, DeepSeek) словари токенизаторов существенно отличаются (cl100k_base vs o200k_base). Это приводит к погрешностям биллинга до 35-40%. Используйте только метаданные usage из ответа API модели.

Жизненный цикл распределенного спана LLM-вызова

Span CreationOTel

Генерация trace_id и span_id, связывание с родительским контекстом и установка базовых OTel-атрибутов

Payload SanitizationSecurity

Маскирование чувствительных данных (PII, API keys) перед фиксацией промпта в логах

Inference & TTFT CaptureMetrics

Отправка запроса в API шлюз и фиксация момента прихода первого токена

Stream Completion & TPS CalculationCompute

Завершение потока, извлечение usage-токенов из метаданных и расчет TPS

Async Batch ExportCollector

Асинхронная выгрузка структурированного спана в коллектор Langfuse / OpenTelemetry

Interview Questions7 questions