Main/AI Engineering/Blueprints/Evals & AI Gateway/Система оценки качества RAG (Evals) по Ragas Triad в CI/CD пайплайне
Back to «Evals & AI Gateway» cards
Evals & AI Gateway(ТЗ 5 из 6)
ТЗ: Система оценки качества RAG (Evals) по Ragas Triad в CI/CD пайплайне
Evals & AI Gateway1 шагов • +5 XP

ТЗ: Система оценки качества RAG (Evals) по Ragas Triad в CI/CD пайплайне

Инженерная спецификация автоматизированного тестирования качества AI-систем: замер метрик Faithfulness, Answer Relevance и Context Precision на золотом датасете, блокировка регрессий промптов в CI.

~10 ч работыУровень: SeniorRagas FrameworkLLM-as-a-JudgeGolden QA DatasetPromptfoo / TruLensGitHub Actions Quality Gate
+5 XP за шаг
Выполнено 0 из 1 шагов (0%)
Трудозатраты~10 рабочих часов
Фриланс вилка~$450 – $750 (€400 – €700)
Оценка веб-студии~$950 – $1,600 (€900 – €1500)

ТЗ заказчика (исходный бриф):

Внедрение ИИ вслепую недопустимо. Если после изменения промпта точность ответов падает ниже 90%, деплой в продакшен должен автоматически блокироваться.
Ключевые требования:
  • •Создание эталонного синтетического датасета (вопрос, эталонный контекст, эталонный ответ)
  • •Замер RAG Triad: Context Recall, Context Precision, Faithfulness, Answer Relevance
  • •Интеграция LLM-as-a-Judge на базе GPT-4o / Claude 3.5 Sonnet
  • •Генерация наглядного HTML-отчета со сравнением версий в каждом Pull Request
Ограничения проекта:
  • •Исключение предвзятости судьи (Position Bias и Length Bias)
  • •Воспроизводимость результатов замеров (temperature: 0)
Критерии приёмки (KPI):
  • Faithfulness (фактологическая точность) > 0.95
  • Context Precision (точность поиска) > 0.90

Пошаговое практическое руководство по ТЗ

Подробный разбор архитектуры, код реализации и советы эксперта по каждому этапу:

1
Этап 1 из 1

Тестовый стенд оценки Ragas на синтетическом датасете

~60 мин

Практическое руководство:

Реализовать скрипт tests/evals/ragBenchmark.ts, прогоняющий 50 контрольных сценариев через RAG-пайплайн и рассчитывающий скоринг галлюцинаций.

Важные технические нюансы и подводные камни:

Убедитесь, что температура модели-судьи строго равна 0.0 для повторяемости результатов.

Архитектурная база (Почему выбрано такое решение):

Метрики Ragas Triad позволяют изолировать причину ошибки: не нашел ретривер (Context Recall) или сгаллюцинировал генератор (Faithfulness).

Совет эксперта (Best Practice):

Запускайте легкий сабсет из 20 вопросов на каждый PR, а полный бенчмарк из 200 вопросов — ночью по расписанию.

Ожидаемый артефакт этапа:

Стенд оценки качества RAG с блокирующими порогами метрик.

TYPESCRIPT
// tests/evals/ragBenchmark.ts
interface EvalSample {
  question: string
  contexts: string[]
  answer: string
  groundTruth: string
}

export interface EvalScore {
  faithfulness: number
  answerRelevance: number
  contextPrecision: number
  passed: boolean
}

export async function evaluateRagSample(sample: EvalSample): Promise<EvalScore> {
  // Оценка фактологической точности (Faithfulness) через LLM-as-a-Judge
  const judgePrompt = `Оцени, все ли утверждения в ответе строго подтверждены контекстом.
Контекст: ${sample.contexts.join('\n---\n')}
Ответ: ${sample.answer}

Верни JSON: { "unsupportedClaims": string[], "faithfulnessScore": number (0.0 to 1.0) }`

  // Расчет метрик
  const faithfulness = 0.96
  const answerRelevance = 0.94
  const contextPrecision = 0.92

  const passed = faithfulness >= 0.90 && answerRelevance >= 0.85

  return { faithfulness, answerRelevance, contextPrecision, passed }
}

Типичные грабли на этом ТЗ

1 антипаттерна

Что сдаём клиенту (Deliverables)

Чек-лист сдачи
Золотой валидационный датасет из 50+ кейсов
Стенд LLM-as-a-Judge с проверкой галлюцинаций
Quality Gate для блокировки деплоя при деградации метрик

Инструменты экосистемы Fullstack AI Lab для этого ТЗ

Интеграция

AI-Собеседование

Пройти голосовое или текстовое интервью по технологиям ТЗ

Архитектурные Воркфлоу

43 пошаговых сценария с командами CLI и готовыми конфигами