Головна/WordPress Fullstack/Блупринти/ШІ & Агенти/Відмовостійкий On-Premise кластер Ollama + LiteLLM із SSO
До карток розділу «ШІ & Агенти»
ШІ & Агенти(ТЗ 47 из 54)
ТЗ: Відмовостійкий On-Premise кластер Ollama + LiteLLM із SSO
ШІ & Агенти5 шагов • +25 XP

ТЗ: Відмовостійкий On-Premise кластер Ollama + LiteLLM із SSO

Розгортання приватного корпоративного LLM-шлюзу високої доступності: мультинодовий кластер інференсу Ollama (Llama 3.3, Qwen 2.5 Coder), проксі LiteLLM із балансуванням і circuit breaker, семантичний кеш на Redis Stack та корпоративний OIDC SSO.

~14 ч работыУровень: SeniorDocker Compose / SwarmOllama 0.5+ / vLLMLiteLLM Proxy v1.50+Keycloak 25 (OIDC SSO)Redis Stack (RediSearch & Semantic Caching)Traefik v3 (SSL Reverse Proxy)Prometheus & Grafana
+5 XP за шаг
Выполнено 0 из 5 шагов (0%)
Трудозатраты~14 рабочих часов
Фриланс вилка~$630 – $1,050 (€560 – €980)
Оценка веб-студии~$1,330 – $2,240 (€1260 – €2100)

ТЗ заказчика (исходный бриф):

«Жоден запит чи токен не повинен надсилатися у публічні хмари без прямого схвалення служби безпеки.»
Ключевые требования:
  • •Кластер із 2+ GPU серверів під керуванням Ollama у Docker-контейнерах
  • •Проксі LiteLLM з динамічним балансуванням навантаження та автоматичним перемиканням збійних вузлів
  • •Семантичний кеш на базі Redis Stack із векторизацією для видачі частих відповідей за < 5 мс
  • •Інтеграція з корпоративним Keycloak / Okta через протокол OpenID Connect (OIDC)
  • •Видача віртуальних API ключів із лімітами витрат і токенів за підрозділами
Ограничения проекта:
  • •Повна відсутність вихідного інтернет-трафіку для даних інференсу
  • •P95 Time to First Token (TTFT) < 800 мс на 32B моделях
Критерии приёмки (KPI):
  • 99.9% аптайм кластера в робочий час
  • ≥ 30% зниження навантаження на GPU завдяки векторному семантичному кешу
  • 100% відповідність вимогам суверенітету даних ISO 27001

Пошаговое практическое руководство по ТЗ

Подробный разбор архитектуры, код реализации и советы эксперта по каждому этапу:

1
Этап 1 из 5

Крок 1: Конфігурація кластера інференсу та Docker-мережі

~60 минСредний

Практическое руководство:

Створіть docker-compose.yml із розгортанням двох або більше контейнерів Ollama, прив'язаних до окремих відеокарт NVIDIA через nvidia-container-toolkit. Налаштуйте внутрішню міст-мережу, ізольовану від інтернету.

План и контрольные точки реализации:
1Установить nvidia-container-toolkit
2Включить Flash Attention и параллельные слоты
3Выкачать базовые веса моделей (deepseek-coder-v2, qwen2.5-coder)
Важные технические нюансы и подводные камни:

Налаштуйте змінні OLLAMA_NUM_PARALLEL та OLLAMA_MAX_LOADED_MODELS з урахуванням доступної відеопам'яті (VRAM) для запобігання падінь ядра від OOM.

Ожидаемый артефакт этапа:

Оптимизированный узел локального инференса с доступом к GPU.

YAML
version: '3.8'

services:
  ollama-node-1:
    image: ollama/ollama:latest
    container_name: ollama-gpu-1
    restart: always
    environment:
      - OLLAMA_HOST=0.0.0.0:11434
      - OLLAMA_NUM_PARALLEL=4
      - OLLAMA_FLASH_ATTENTION=1
    volumes:
      - /opt/ollama-models:/root/.ollama
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
    networks:
      - ai-internal-network

networks:
  ai-internal-network:
    driver: bridge
2
Этап 2 из 5

Крок 2: Налаштування LiteLLM Proxy з балансуванням та Circuit Breaker

~60 минСложный
3
Этап 3 из 5

Крок 3: Увімкнення семантичного кешу на Redis Stack

~45 минСредний
4
Этап 4 из 5

Крок 4: OIDC SSO авторизація та випуск користувацьких Virtual Keys

~60 минСложный
5
Этап 5 из 5

Крок 5: Моніторинг Prometheus, дашборд Grafana та налаштування IDE

~45 минСредний

Типичные грабли на этом ТЗ

3 антипаттерна

Что сдаём клиенту (Deliverables)

Чек-лист сдачи
Файл docker-compose.yml для развертывания LiteLLM + Redis + Traefik
Конфигурационный файл litellm_config.yaml с балансировкой и квотами
Интеграция Keycloak OIDC для выпуска корпоративных виртуальных ключей
Модуль семантического кэширования в Redis с экономией до 40% GPU-мощностей
Дашборд мониторинга Grafana (RPS, P95 Latency, GPU VRAM, токены по отделам)

Инструменты экосистемы Fullstack AI Lab для этого ТЗ

Интеграция

AI-Собеседование

Пройти голосовое или текстовое интервью по технологиям ТЗ

Архитектурные Воркфлоу

43 пошаговых сценария с командами CLI и готовыми конфигами