Main/WordPress Fullstack/Blueprints/AI & Agents/Fault-Tolerant On-Premise Ollama + LiteLLM Cluster with SSO
Back to «AI & Agents» cards
AI & Agents(ТЗ 47 из 54)
Spec: Fault-Tolerant On-Premise Ollama + LiteLLM Cluster with SSO
AI & Agents5 шагов • +25 XP

Spec: Fault-Tolerant On-Premise Ollama + LiteLLM Cluster with SSO

Deploying an on-premise local LLM gateway with high availability: multi-node Ollama inference cluster (Llama 3.3, Qwen 2.5 Coder), LiteLLM proxy with load balancing and circuit breaker, semantic caching on Redis Stack, and OIDC corporate SSO.

~14 ч работыУровень: SeniorDocker Compose / SwarmOllama 0.5+ / vLLMLiteLLM Proxy v1.50+Keycloak 25 (OIDC SSO)Redis Stack (RediSearch & Semantic Caching)Traefik v3 (SSL Reverse Proxy)Prometheus & Grafana
+5 XP за шаг
Выполнено 0 из 5 шагов (0%)
Трудозатраты~14 рабочих часов
Фриланс вилка~$630 – $1,050 (€560 – €980)
Оценка веб-студии~$1,330 – $2,240 (€1260 – €2100)

ТЗ заказчика (исходный бриф):

“No single developer query or token may reach public external APIs without explicit compliance approval.”
Ключевые требования:
  • •Cluster of 2+ GPU worker nodes running Ollama containerized in Docker
  • •LiteLLM Proxy with dynamic round-robin load balancing and automatic failover
  • •Semantic caching using Redis Stack vector search to serve recurring queries in < 5ms
  • •Integration with corporate Keycloak / Okta via OpenID Connect (OIDC)
  • •Virtual API Key provisioning with per-department spend and token limits
Ограничения проекта:
  • •Zero public internet egress for inference data
  • •P95 Time to First Token (TTFT) under 800 ms on 32B models
Критерии приёмки (KPI):
  • 99.9% cluster availability during business hours
  • ≥ 30% reduction in GPU load via semantic vector cache
  • 100% compliance with ISO 27001 data sovereignty requirements

Пошаговое практическое руководство по ТЗ

Подробный разбор архитектуры, код реализации и советы эксперта по каждому этапу:

1
Этап 1 из 5

Step 1: Inference Cluster & Docker Network Configuration

~60 минСредний

Практическое руководство:

Create a docker-compose.yml deploying two or more Ollama containers mapped to discrete NVIDIA GPUs via the nvidia-container-toolkit. Create an internal bridge network isolated from public internet access.

План и контрольные точки реализации:
1Установить nvidia-container-toolkit
2Включить Flash Attention и параллельные слоты
3Выкачать базовые веса моделей (deepseek-coder-v2, qwen2.5-coder)
Важные технические нюансы и подводные камни:

Set OLLAMA_NUM_PARALLEL and OLLAMA_MAX_LOADED_MODELS to match available VRAM to prevent Out of Memory (OOM) kernel panics.

Ожидаемый артефакт этапа:

Оптимизированный узел локального инференса с доступом к GPU.

YAML
version: '3.8'

services:
  ollama-node-1:
    image: ollama/ollama:latest
    container_name: ollama-gpu-1
    restart: always
    environment:
      - OLLAMA_HOST=0.0.0.0:11434
      - OLLAMA_NUM_PARALLEL=4
      - OLLAMA_FLASH_ATTENTION=1
    volumes:
      - /opt/ollama-models:/root/.ollama
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
    networks:
      - ai-internal-network

networks:
  ai-internal-network:
    driver: bridge
2
Этап 2 из 5

Step 2: LiteLLM Proxy Setup with Load Balancing & Circuit Breaker

~60 минСложный
3
Этап 3 из 5

Step 3: Enable Semantic Cache with Redis Stack

~45 минСредний
4
Этап 4 из 5

Step 4: OIDC SSO Authorization & Virtual Key Provisioning

~60 минСложный
5
Этап 5 из 5

Step 5: Prometheus Monitoring, Grafana Dashboard & IDE Config

~45 минСредний

Типичные грабли на этом ТЗ

3 антипаттерна

Что сдаём клиенту (Deliverables)

Чек-лист сдачи
Файл docker-compose.yml для развертывания LiteLLM + Redis + Traefik
Конфигурационный файл litellm_config.yaml с балансировкой и квотами
Интеграция Keycloak OIDC для выпуска корпоративных виртуальных ключей
Модуль семантического кэширования в Redis с экономией до 40% GPU-мощностей
Дашборд мониторинга Grafana (RPS, P95 Latency, GPU VRAM, токены по отделам)

Инструменты экосистемы Fullstack AI Lab для этого ТЗ

Интеграция

AI-Собеседование

Пройти голосовое или текстовое интервью по технологиям ТЗ

Архитектурные Воркфлоу

43 пошаговых сценария с командами CLI и готовыми конфигами