Semantic Cache: Saving 70% Token Budget with Under 30ms Response Time

[ User Prompt ] ---> [ Embedding Model (e.g., text-embedding-3-small) ] ---> (Vector [0.1, -0.4, ...])
                                                                                      |
                                                                                      v
                             +------------------------------------------------------------------+
                             | Redis Vector Search (Cosine Similarity)                          |
                             +------------------------------------------------------------------+
                                         |                                            |
                                  (Score >= Threshold)                         (Score < Threshold)
                                  [ Cache HIT ]                                [ Cache MISS ]
                                         |                                            |
                                         |                                            v
                                         |                                 [ Inference Engine (LLM) ]
                                         |                                            |
                                         v                                            v
[ User Client ] <---------------- (Cached Response)                       (Generated Response) + [ Store in Cache ]

import { Redis } from "@upstash/redis";
import OpenAI from "openai";

const redis = Redis.fromEnv();
const openai = new OpenAI(); // Подключен к локальному AI Gateway

const SIMILARITY_THRESHOLD = 0.95; // Высокий порог для точных ответов в коде

export async function getCachedCompletion(prompt: string): Promise<string> {
  // 1. Получаем эмбеддинг пользовательского запроса
  const embeddingResponse = await openai.embeddings.create({
    model: "text-embedding-3-small", // или локальная nomic-embed-text
    input: prompt,
  });
  const vector = embeddingResponse.data[0]?.embedding;

  if (!vector) throw new Error("Не удалось сгенерировать вектор");

  // 2. Ищем семантически похожие запросы в Redis (используя Vector Search)
  // Предполагается, что индекс 'idx:prompts' настроен на поиск по косинусному сходству
  const searchResult = await redis.call(
    "FT.SEARCH",
    "idx:prompts",
    `*=>[KNN 1 @vector $query_vec AS score]`,
    "PARAMS", "2", "query_vec", Buffer.from(new Float32Array(vector).buffer),
    "RETURN", "2", "score", "response",
    "DIALECT", "2"
  ) as any[];

  // Парсинг ответа Redis RediSearch
  if (searchResult && searchResult.length > 2) {
    const score = parseFloat(searchResult[2][1]);
    const cachedResponse = searchResult[2][3];

    // Оценка Redis (distance). Косинусное сходство = 1 - distance
    const similarity = 1 - score; 

    if (similarity >= SIMILARITY_THRESHOLD) {
      console.log(`[CACHE HIT] Similarity: ${similarity.toFixed(3)}`);
      return cachedResponse;
    }
  }

  console.log("[CACHE MISS] Отправка запроса к LLM...");
  
  // 3. Если кэш промахнулся, генерируем ответ
  const llmResponse = await openai.chat.completions.create({
    model: "qwen2.5-coder-32b",
    messages: [{ role: "user", content: prompt }]
  });
  
  const responseText = llmResponse.choices[0]?.message.content ?? "";

  // 4. Сохраняем новый результат в кэш
  const cacheKey = `prompt:${Date.now()}`;
  await redis.hset(cacheKey, {
    prompt: prompt,
    response: responseText,
    // Redis RediSearch требует бинарного формата для векторов
    vector: vector 
  });

  return responseText;
}