Search Context Optimization: .ignore, AST and Token Economics

Архитектурная база#

Взаимодействие автономного AI-агента с масштабной кодовой базой требует прецизионной фильтрации информационных потоков. Неконтролируемая передача в контекстное окно нерелевантных файлов (транспилированных бандлов, логов, бинарных блобов, lock-файлов) приводит к Context Exhaustion — быстрому исчерпанию лимита токенов, резкому возрастанию латентности (TTFT) и квадратичному росту финансовой стоимости инференса.

Архитектура промышленных агентных систем 2026 года базируется на многоуровневом конвейере выборки:

1. Быстрая лексическая фильтрация путей: использование оптимизированных поисковых движков (ripgrep, fd), чья точность и скорость зависят от правил исключений (.gitignore, .cursorignore, .aiderignore).
2. AST-скелетонизация (Abstract Syntax Tree): компиляторный парсинг исходных файлов в древовидные структуры и извлечение деклараций (сигнатур интерфейсов, типов, заголовков классов и функций) без тел методов. Это снижает потребление токенов на 80–90% при сохранении полной типовой связности архитектуры.
3. Детерминированное бюджетирование токенов (Token Budgeting): динамическое распределение квот контекстного окна между системными инвариантами, семантическим поиском (RAG) и зоной генерации ответа.

Ментальная модель#

Конвейер контекстной фильтрации отсекает энтропию на ранних этапах файлового ввода-вывода до попадания данных в токенизатор LLM.

[ Search Request ] -> [ ripgrep / fd ] -> [ .ignore Rules ] -> [ Filtered File List ]
                                                                        |
[ Token Budget Allocator ] <- [ AST Extractor ] <- [ Lexical & Vector RAG ] <----+
            |
            v
[ Compact Context Frame ] -> [ LLM Inference Engine ]

На практике применяется#

1. Изоляция пакетных менеджеров и lock-файлов: Полный запрет агенту считывать файлы pnpm-lock.yaml, package-lock.json или yarn.lock, размер которых достигает сотен тысяч строк. Агент получает только целевой package.json.
2. Семантический поиск с лексическим якорением: Комбинация BM25 / ripgrep для поиска точных идентификаторов (например, имени интерфейса BillingSubscriptionState) с векторным поиском для нечетких архитектурных концепций.
3. Иерархическая загрузка интерфейсов (Skeleton Extraction): Агент изучает публичный интерфейс модуля packages/auth/src/index.ts, принимает решение о необходимых вызовах и лишь затем запрашивает конкретный файл реализации strategies/oauth.ts.

Как это работает#

Ниже приведен пример конфигурации .cursorignore, отсекающей вычислительный шум, тяжелые файлы и конфиденциальные данные от контекстного пайплайна агента.

# Dependency directories
node_modules/
vendor/
.pnpm-store/

# Build, compilation and cache outputs
.next/
dist/
build/
out/
coverage/
*.tsbuildinfo
*.min.js
*.map

# Environment variables & secrets (Security Gate)
.env
.env.*
!.env.example
*.pem
*.key
id_rsa

# Package manager locks (Context killers)
pnpm-lock.yaml
package-lock.json
yarn.lock
bun.lockb

# High-entropy log files
logs/
*.log
npm-debug.log*

Распространённые ошибки#

Собеседование: Вопросы и ответы#

Рекомендуемые материалы#