Evals, Gateway & LLMOps

Ragas synthetic evals, LiteLLM gateway, prompt injection defense, semantic caching, and token budget governance

Section «Evals, Gateway & LLMOps» Progress

0%(0/2 steps)

+0 XP0 of 2 solved

Senior~10 h

ТЗ: Система оценки качества RAG (Evals) по Ragas Triad в CI/CD пайплайне

Инженерная спецификация автоматизированного тестирования качества AI-систем: замер метрик Faithfulness, Answer Relevance и Context Precision на золотом датасете, блокировка регрессий промптов в CI.

Внедрение ИИ вслепую недопустимо. Если после изменения промпта точность ответов падает ниже 90%, деплой в продакшен должен автоматически блокироваться.

Ragas FrameworkLLM-as-a-JudgeGolden QA DatasetPromptfoo / TruLens+1

Progress: 0 of 1 steps0%

Evals, Gateway & LLMOps

Senior~12 h

ТЗ: Отказоустойчивый корпоративный AI Gateway (LiteLLM, кэширование и фоллбэки)

Инженерная спецификация развертывания централизованного ИИ-шлюза: единый OpenAI-совместимый эндпоинт, семантический кэш в Redis, балансировка нагрузки между провайдерами, ограничение бюджетов и Circuit Breaker.

Хаос с API-ключами в разных микросервисах приводит к перерасходу бюджетов и падениям сервисов при исчерпании квот. Нужен единый фасад с виртуальными ключами, контролем затрат и 100% аптаймом.

LiteLLM ProxyDocker ComposeRedis Semantic CachePrometheus / Grafana+1

Progress: 0 of 1 steps0%