Evals, Gateway & LLMOps

Синтетичні бенчмарки Ragas, LLM Gateway на LiteLLM, захист від Prompt Injection, семантичний кеш та бюджетування токенів

Прогрес розділу «Evals, Gateway & LLMOps»

0%(0/2 кроків)

+0 XP0 з 2 вирішено

Senior~10 год

ТЗ: Система оценки качества RAG (Evals) по Ragas Triad в CI/CD пайплайне

Инженерная спецификация автоматизированного тестирования качества AI-систем: замер метрик Faithfulness, Answer Relevance и Context Precision на золотом датасете, блокировка регрессий промптов в CI.

Внедрение ИИ вслепую недопустимо. Если после изменения промпта точность ответов падает ниже 90%, деплой в продакшен должен автоматически блокироваться.

Ragas FrameworkLLM-as-a-JudgeGolden QA DatasetPromptfoo / TruLens+1

Прогрес: 0 з 1 кроків0%

Evals, Gateway & LLMOps

Senior~12 год

ТЗ: Отказоустойчивый корпоративный AI Gateway (LiteLLM, кэширование и фоллбэки)

Инженерная спецификация развертывания централизованного ИИ-шлюза: единый OpenAI-совместимый эндпоинт, семантический кэш в Redis, балансировка нагрузки между провайдерами, ограничение бюджетов и Circuit Breaker.

Хаос с API-ключами в разных микросервисах приводит к перерасходу бюджетов и падениям сервисов при исчерпании квот. Нужен единый фасад с виртуальными ключами, контролем затрат и 100% аптаймом.

LiteLLM ProxyDocker ComposeRedis Semantic CachePrometheus / Grafana+1

Прогрес: 0 з 1 кроків0%