Дистилляция архитектурных стандартов в компактные 7B/14B модели

Teacher Model (Claude 3.7 / GPT-4.5)
┌────────────────────────────────────────────────────────┐
│ Высокая емкость параметров (>100B - 1T)                │
│ Сложный reasoning, знание сотен паттернов              │
│ Медленный и дорогой инференс                           │
└──────────────────────────┬─────────────────────────────┘
                           │ Генерация пар с CoT:
                           │ <Задача, Трейс рассуждения, Код>
                           ▼
            [Фильтрация и форматирование ChatML]
                           │
                           ▼
Student Model (Qwen 2.5 Coder 7B / 14B)
┌────────────────────────────────────────────────────────┐
│ Низкая задержка (<50 мс на RTX 4090 / A10G)            │
│ SFT + LoRA/QLoRA под внутренний корпоративный стек      │
│ Полная автономность и безопасность (Zero Data Leak)    │
└────────────────────────────────────────────────────────┘

┌────────────────────────────────────────────────────────┐
│ 1. Корпоративный контекст                              │
│    - Архитектурные правила, внутренние UI-библиотеки   │
│    - Эталонные pull requests, схемы Zod / DTO          │
└──────────────────────────┬─────────────────────────────┘
                           │
                           ▼
┌────────────────────────────────────────────────────────┐
│ 2. Teacher Synthesis (Claude 3.7 Sonnet)               │
│    - Синтез задачи (Task Prompt)                       │
│    - Генерация глубокого трейса рассуждений (<think>) │
│    - Генерация эталонного production-кода              │
└──────────────────────────┬─────────────────────────────┘
                           │
                           ▼
┌────────────────────────────────────────────────────────┐
│ 3. Конвертация в ChatML / ShareGPT                     │
│    - Формирование JSONL датасета                       │
│    - Микширование 15% General Coding данных (Anti-OOD) │
└──────────────────────────┬─────────────────────────────┘
                           │
                           ▼
┌────────────────────────────────────────────────────────┐
│ 4. QLoRA SFT (Unsloth / Hugging Face TRL)              │
│    - База: Qwen 2.5 Coder 7B / 14B                     │
│    - Квантование: 4-bit NormalFloat (NF4)              │
│    - Обучение адаптеров: r=32, alpha=64                │
└──────────────────────────┬─────────────────────────────┘
                           │
                           ▼
┌────────────────────────────────────────────────────────┐
│ 5. Валидация на внутреннем бенчмарке (Pass@1)          │
│    - Тестирование компиляции (tsc --noEmit)            │
│    - Прогон юнит-тестов (Vitest / PHPUnit)             │
└────────────────────────────────────────────────────────┘

import fs from "node:fs/promises";
import path from "node:path";
import Anthropic from "@anthropic-ai/sdk";

interface DistillationSample {
  messages: Array<{
    role: "system" | "user" | "assistant";
    content: string;
  }>;
}

const anthropic = new Anthropic({
  apiKey: process.env.ANTHROPIC_API_KEY,
});

const SYSTEM_GUIDELINES = `
Вы — ведущий архитектор платформы Fullstack Agentic Lab. 
Ваша задача: написать идеальный, типобезопасный код по стандартам:
1. TypeScript 5.5+, строгая типизация, никаких 'any'.
2. Исключения в catch типизируются как unknown с проверкой (err instanceof Error).
3. Валидация входных данных только через Zod v3.
4. Обработка транзакций в PostgreSQL через транзакционный менеджер с блокировками FOR UPDATE.
Вы ОБЯЗАНЫ предварять финальный код блоком рассуждений <think>...</think>, где анализируются граничные случаи и выбор архитектуры.
`;

const PROMPT_TOPICS = [
  "Напиши распределенный rate-limiter на Redis и TypeScript с алгоритмом Sliding Window Counter.",
  "Реализуй безопасный сервис идемпотентности платежей с транзакцией PostgreSQL и проверкой хеша полезной нагрузки.",
  "Создай middleware для Next.js 15 App Router с дешифрованием сессионного JWT и проверкой tenant_id.",
  "Напиши типизированный клиент Server-Sent Events (SSE) с автоматическим переподключением и экспоненциальным backoff.",
];

async function generateSample(topic: string): Promise<DistillationSample> {
  const message = await anthropic.messages.create({
    model: "claude-3-7-sonnet-20250219",
    max_tokens: 3000,
    temperature: 0.2,
    system: SYSTEM_GUIDELINES,
    messages: [{ role: "user", content: topic }],
  });

  const contentBlock = message.content[0];
  if (contentBlock.type !== "text") {
    throw new Error("Неожиданный формат ответа от Teacher-модели.");
  }

  // Формирование сэмпла в ChatML-совместимом формате
  return {
    messages: [
      {
        role: "system",
        content: "Ты — локальный AI-ассистент инженера Fullstack Agentic Lab. Соблюдай корпоративные стандарты чистого кода и строгой типизации.",
      },
      {
        role: "user",
        content: topic,
      },
      {
        role: "assistant",
        content: contentBlock.text,
      },
    ],
  };
}

async function main(): Promise<void> {
  const datasetPath = path.resolve("./data/distillation_train.jsonl");
  const samples: DistillationSample[] = [];

  console.log(`Запуск генерации датасета: ${PROMPT_TOPICS.length} тем...`);

  for (const topic of PROMPT_TOPICS) {
    try {
      const sample = await generateSample(topic);
      samples.push(sample);
      console.log(`✓ Сгенерирован сэмпл: ${topic.slice(0, 40)}...`);
    } catch (err: unknown) {
      const msg = err instanceof Error ? err.message : "Неизвестная ошибка";
      console.error(`Ошибка генерации для темы '${topic}':`, msg);
    }
  }

  const jsonlLines = samples.map((s) => JSON.stringify(s)).join("\n");
  await fs.writeFile(datasetPath, jsonlLines, "utf-8");
  console.log(`Датасет успешно сохранен: ${datasetPath} (${samples.length} записей)`);
}

main().catch((err: unknown) => {
  console.error("Фатальный сбой конвейера:", err);
  process.exit(1);
});

"""
Конвейер QLoRA SFT дообучения Qwen 2.5 Coder 7B/14B
на датасете дистиллированных архитектурных стандартов.
"""
import torch
from unsloth import FastLanguageModel
from datasets import load_dataset
from trl import SFTTrainer
from transformers import TrainingArguments

# 1. Параметры конфигурации
MAX_SEQ_LENGTH = 4096
DTYPE = None # Автовыбор (bfloat16 для Ampere/Ada Lovelace)
LOAD_IN_4BIT = True # Активация 4-битного квантования NF4
MODEL_NAME = "Qwen/Qwen2.5-Coder-7B-Instruct"

# 2. Инициализация базовой модели и токенизатора
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name=MODEL_NAME,
    max_seq_length=MAX_SEQ_LENGTH,
    dtype=DTYPE,
    load_in_4bit=LOAD_IN_4BIT,
)

# 3. Инжекция LoRA адаптеров
model = FastLanguageModel.get_peft_model(
    model,
    r=32, # Ранг адаптеров низкого ранга (Low-Rank)
    target_modules=[
        "q_proj", "k_proj", "v_proj", "o_proj",
        "gate_proj", "up_proj", "down_proj",
    ],
    lora_alpha=64, # Коэффициент масштабирования (обычно 2 * r)
    lora_dropout=0.05,
    bias="none",
    use_gradient_checkpointing="unsloth", # Экономия VRAM до 60%
    random_state=3407,
)

# 4. Подготовка датасета в формате ChatML
def formatting_prompts_func(examples):
    convs = examples["messages"]
    texts = [
        tokenizer.apply_chat_template(
            conv, 
            tokenize=False, 
            add_generation_prompt=False
        ) 
        for conv in convs
    ]
    return {"text": texts}

dataset = load_dataset("json", data_files={"train": "./data/distillation_train.jsonl"}, split="train")
dataset = dataset.map(formatting_prompts_func, batched=True)

# 5. Конфигурация гиперпараметров SFT
training_args = TrainingArguments(
    per_device_train_batch_size=2,
    gradient_accumulation_steps=4, # Эффективный batch_size = 8
    warmup_ratio=0.05,
    max_steps=500,
    learning_rate=2e-4,
    fp16=not torch.cuda.is_bf16_supported(),
    bf16=torch.cuda.is_bf16_supported(),
    logging_steps=10,
    optim="adamw_8bit",
    weight_decay=0.01,
    lr_scheduler_type="cosine",
    seed=3407,
    output_dir="./outputs/qwen-agenticlab-lora",
    save_strategy="steps",
    save_steps=100,
)

trainer = SFTTrainer(
    model=model,
    tokenizer=tokenizer,
    train_dataset=dataset,
    dataset_text_field="text",
    max_seq_length=MAX_SEQ_LENGTH,
    dataset_num_proc=2,
    packing=False, # Упаковка коротких последовательностей
    args=training_args,
)

# 6. Запуск обучения
print("Запуск SFT обучения...")
trainer_stats = trainer.train()

# 7. Экспорт LoRA весов и GGUF для локального развертывания
print("Сохранение LoRA адаптеров...")
model.save_pretrained("./models/qwen-7b-agenticlab-lora")
tokenizer.save_pretrained("./models/qwen-7b-agenticlab-lora")