Недетерминированность

Главное правило работы с нейросетями: вывод модели недетерминирован. На один и тот же промпт модель может дать разные ответы – в том числе противоположные по существу.

Причина в вероятностном подходе: модель выбирает не самое вероятное следующее слово, а одно из наиболее вероятных. Поэтому «идеальный промпт», который дважды выдал вам блестящий результат, у коллеги может выдать ерунду. Это нормально, так работает любая LLM.

Практические выводы

• Ответственные результаты всегда перечитываем или устраиваем кросс-проверку другой моделью – см. приемы против галлюцинаций.
• Для повторяющихся алгоритмических задач (вставить реквизиты по форме, посчитать неустойку) обычный скрипт надежнее нейросети: калькулятор не ошибается, ИИ – эпизодически да. Такие задачи лучше навайбкодить.
• Чем короче и проще инструкция, тем стабильнее результат. Что-то пошло не так – упрощайте промпт и пробуйте снова.

Температура и top-p

В Google AI Studio можно покрутить ползунки температуры и top-p. Чем они ниже, тем уже круг вероятных следующих токенов: ответы предсказуемее, но достоверность это не гарантирует. Чем выше – тем креативнее и непредсказуемее вывод. Для юридических задач высокая температура не нужна.

Связанные заметки: Как работает LLM · Что такое промпт · Галлюцинации