Evaluaciones, Gateway y LLMOps

Evaluaciones sintéticas Ragas, gateway LiteLLM, defensa contra inyecciones de prompt, caché semántica y control de costes de tokens

Progreso de sección «Evaluaciones, Gateway y LLMOps»

0%(0/2 pasos)

+0 XP0 de 2 resueltos

Senior~10 h

ТЗ: Система оценки качества RAG (Evals) по Ragas Triad в CI/CD пайплайне

Инженерная спецификация автоматизированного тестирования качества AI-систем: замер метрик Faithfulness, Answer Relevance и Context Precision на золотом датасете, блокировка регрессий промптов в CI.

Внедрение ИИ вслепую недопустимо. Если после изменения промпта точность ответов падает ниже 90%, деплой в продакшен должен автоматически блокироваться.

Ragas FrameworkLLM-as-a-JudgeGolden QA DatasetPromptfoo / TruLens+1

Progreso: 0 de 1 pasos0%

Evaluaciones, Gateway y LLMOps

Senior~12 h

ТЗ: Отказоустойчивый корпоративный AI Gateway (LiteLLM, кэширование и фоллбэки)

Инженерная спецификация развертывания централизованного ИИ-шлюза: единый OpenAI-совместимый эндпоинт, семантический кэш в Redis, балансировка нагрузки между провайдерами, ограничение бюджетов и Circuit Breaker.

Хаос с API-ключами в разных микросервисах приводит к перерасходу бюджетов и падениям сервисов при исчерпании квот. Нужен единый фасад с виртуальными ключами, контролем затрат и 100% аптаймом.

LiteLLM ProxyDocker ComposeRedis Semantic CachePrometheus / Grafana+1

Progreso: 0 de 1 pasos0%