Контекстное окно

Контекстное окно – это оперативная память модели: максимальное количество токенов, которое модель удерживает внутри одного диалога. В отличие от параметров (выученных числовых зависимостей), контекстное окно – это то, что вы даете модели здесь и сейчас: промпты, документы, историю переписки.

Если окно модели 1 млн токенов, она переварит Налоговый кодекс целиком. Если 32 000 – не переварит. Лидер по эффективному контекстному окну – Gemini, поэтому для больших объемов документов в первую очередь смотрим в сторону Gemini.

Что происходит при переполнении

При длинном контексте модель может пропускать ранние условия или смешивать фрагменты. Это один из возможных признаков, а не точная диагностика.

⮕ Как не упереться в лимит:

1. Конвертировать документы в Markdown – меньше токенов на распознавание.
2. Разбивать задачу на части или диалоги. Попросите: «Скомпонуй наш диалог для переноса в другой чат» – и продолжайте в новом окне.
3. Для действительно больших массивов – NotebookLM или ИИ-агенты: агент подгружает файлы по мере необходимости, а не держит все в памяти разом.

Связанные заметки: Токены · Анализ материалов дела · Первоисточники и RAG