Evals, Gateway & LLMOps

Синтетические бенчмарки Ragas, LLM Gateway на LiteLLM, защита от Prompt Injection, семантический кэш и бюджетирование токенов

Прогресс раздела «Evals, Gateway & LLMOps»

0%(0/2 шагов)

+0 XP0 из 2 решено

Senior~10 ч

ТЗ: Система оценки качества RAG (Evals) по Ragas Triad в CI/CD пайплайне

Инженерная спецификация автоматизированного тестирования качества AI-систем: замер метрик Faithfulness, Answer Relevance и Context Precision на золотом датасете, блокировка регрессий промптов в CI.

Внедрение ИИ вслепую недопустимо. Если после изменения промпта точность ответов падает ниже 90%, деплой в продакшен должен автоматически блокироваться.

Ragas FrameworkLLM-as-a-JudgeGolden QA DatasetPromptfoo / TruLens+1

Прогресс: 0 из 1 шагов0%

Evals, Gateway & LLMOps

Senior~12 ч

ТЗ: Отказоустойчивый корпоративный AI Gateway (LiteLLM, кэширование и фоллбэки)

Инженерная спецификация развертывания централизованного ИИ-шлюза: единый OpenAI-совместимый эндпоинт, семантический кэш в Redis, балансировка нагрузки между провайдерами, ограничение бюджетов и Circuit Breaker.

Хаос с API-ключами в разных микросервисах приводит к перерасходу бюджетов и падениям сервисов при исчерпании квот. Нужен единый фасад с виртуальными ключами, контролем затрат и 100% аптаймом.

LiteLLM ProxyDocker ComposeRedis Semantic CachePrometheus / Grafana+1

Прогресс: 0 из 1 шагов0%