Как работает LLM

Большая языковая модель (LLM) – это нейросеть, обученная на огромных массивах текста, по сути на всем интернете. Если упрощать, LLM – это предугадыватель следующего слова в предложении. Точнее, следующего токена в последовательности. Такой Т9 на максималках.

Знания модели отражены в параметрах (весах) – выученных числовых зависимостях, а не библиотеке текстов. Это долгосрочная память модели. Оперативная память – это контекстное окно.

Что из этого следует

• Модель запоминает не каждый текст из обучения, а усредненное представление. Она не помнит конкретную оферту, но помнит, как выглядит «средняя» оферта из 70 000 изученных. Поэтому без выхода в интернет модель знает все, но помнит плохо – и может выдать усредненный ответ с убедительным видом. Отсюда галлюцинации.
• Модель выбирает не самое вероятное следующее слово, а одно из наиболее вероятных. Поэтому ответы на один и тот же промпт всегда разные – см. недетерминированность.
• Свежую информацию модель берет только из интернета или загруженных документов – см. первоисточники и RAG.

Связанные заметки: Что такое ИИ · Токены · Контекстное окно · Недетерминированность · Рассуждающие модели