Principal/WordPress Fullstack/Blueprints/IA y Agentes/Clúster On-Premise tolerante a fallos Ollama + LiteLLM con SSO
Volver a tarjetas «IA y Agentes»
IA y Agentes(ТЗ 47 из 54)
Especificación: Clúster On-Premise tolerante a fallos Ollama + LiteLLM con SSO
IA y Agentes5 шагов • +25 XP

Especificación: Clúster On-Premise tolerante a fallos Ollama + LiteLLM con SSO

Despliegue de una pasarela de LLMs local y privada de alta disponibilidad: clúster de inferencia multinodo con Ollama (Llama 3.3, Qwen 2.5 Coder), proxy LiteLLM con balanceo y circuit breaker, caché semántica con Redis Stack y autenticación OIDC SSO.

~14 ч работыУровень: SeniorDocker Compose / SwarmOllama 0.5+ / vLLMLiteLLM Proxy v1.50+Keycloak 25 (OIDC SSO)Redis Stack (RediSearch & Semantic Caching)Traefik v3 (SSL Reverse Proxy)Prometheus & Grafana
+5 XP за шаг
Выполнено 0 из 5 шагов (0%)
Трудозатраты~14 рабочих часов
Фриланс вилка~$630 – $1,050 (€560 – €980)
Оценка веб-студии~$1,330 – $2,240 (€1260 – €2100)

ТЗ заказчика (исходный бриф):

«Ninguna petición o token de desarrollo puede enviarse a APIs públicas sin la autorización explícita de seguridad.»
Ключевые требования:
  • •Clúster compuesto por 2 o más nodos GPU ejecutando Ollama en contenedores Docker
  • •Proxy LiteLLM con balanceo dinámico de carga y conmutación por error automatizada
  • •Caché semántica sobre Redis Stack con búsqueda vectorial para resolver consultas recurrentes en < 5 ms
  • •Integración con Keycloak / Okta corporativo mediante OpenID Connect (OIDC)
  • •Gestión de claves virtuales con límites de gasto y consumo de tokens por departamento
Ограничения проекта:
  • •Cero tráfico de datos de inferencia hacia redes externas públicas
  • •Latencia P95 Time to First Token (TTFT) inferior a 800 ms en modelos de 32B
Критерии приёмки (KPI):
  • 99.9% de disponibilidad del clúster durante horas laborables
  • ≥ 30% de reducción de carga sobre GPUs gracias a la caché semántica vectorial
  • 100% de cumplimiento con las directrices de soberanía de datos ISO 27001

Пошаговое практическое руководство по ТЗ

Подробный разбор архитектуры, код реализации и советы эксперта по каждому этапу:

1
Этап 1 из 5

Paso 1: Configuración del clúster de inferencia y red Docker

~60 минСредний

Практическое руководство:

Diseñe un archivo docker-compose.yml que despliegue dos o más instancias de Ollama vinculadas a tarjetas gráficas NVIDIA mediante nvidia-container-toolkit. Cree una red bridge aislada de accesos públicos.

План и контрольные точки реализации:
1Установить nvidia-container-toolkit
2Включить Flash Attention и параллельные слоты
3Выкачать базовые веса моделей (deepseek-coder-v2, qwen2.5-coder)
Важные технические нюансы и подводные камни:

Ajuste las variables OLLAMA_NUM_PARALLEL y OLLAMA_MAX_LOADED_MODELS acorde a la memoria VRAM disponible para evitar bloqueos por Out of Memory (OOM).

Ожидаемый артефакт этапа:

Оптимизированный узел локального инференса с доступом к GPU.

YAML
version: '3.8'

services:
  ollama-node-1:
    image: ollama/ollama:latest
    container_name: ollama-gpu-1
    restart: always
    environment:
      - OLLAMA_HOST=0.0.0.0:11434
      - OLLAMA_NUM_PARALLEL=4
      - OLLAMA_FLASH_ATTENTION=1
    volumes:
      - /opt/ollama-models:/root/.ollama
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
    networks:
      - ai-internal-network

networks:
  ai-internal-network:
    driver: bridge
2
Этап 2 из 5

Paso 2: Configuración del proxy LiteLLM con balanceo y Circuit Breaker

~60 минСложный
3
Этап 3 из 5

Paso 3: Activación de caché semántica con Redis Stack

~45 минСредний
4
Этап 4 из 5

Paso 4: Autenticación OIDC SSO y aprovisionamiento de Virtual Keys

~60 минСложный
5
Этап 5 из 5

Paso 5: Monitorización con Prometheus, panel Grafana y configuración de IDE

~45 минСредний

Типичные грабли на этом ТЗ

3 антипаттерна

Что сдаём клиенту (Deliverables)

Чек-лист сдачи
Файл docker-compose.yml для развертывания LiteLLM + Redis + Traefik
Конфигурационный файл litellm_config.yaml с балансировкой и квотами
Интеграция Keycloak OIDC для выпуска корпоративных виртуальных ключей
Модуль семантического кэширования в Redis с экономией до 40% GPU-мощностей
Дашборд мониторинга Grafana (RPS, P95 Latency, GPU VRAM, токены по отделам)

Инструменты экосистемы Fullstack AI Lab для этого ТЗ

Интеграция

AI-Собеседование

Пройти голосовое или текстовое интервью по технологиям ТЗ

Архитектурные Воркфлоу

43 пошаговых сценария с командами CLI и готовыми конфигами