Human in the loop
Human in the loop – процесс, в котором ИИ выполняет работу, но в заранее выбранной точке решение подтверждает человек.
Например, агент читает материалы дела, находит практику и готовит отзыв на иск. Перед отправкой или подачей он останавливается. Юрист проверяет источники, выводы и вложения – и только потом подтверждает действие.
Где ставить остановку
- удаление или перезапись файлов;
- отправка письма, публикация и подача документа;
- платеж или изменение записи в рабочей системе;
- раскрытие конфиденциальных данных;
- правовой вывод с высокой ценой ошибки.
Подтверждать каждый клик бессмысленно: автоматизация исчезнет. Оставляйте человеку необратимые действия и решения, где нужна профессиональная ответственность. Остальные шаги агент делает сам и записывает в отчет.
Техническая кнопка подтверждения надежнее фразы «обязательно спроси меня» в промпте. А для массовой работы добавьте выборочную проверку результата: например, каждый десятый файл плюс все случаи с низкой уверенностью.
Связанные заметки: Контроль агента · ИИ-агенты · Бенчмарки и evals