Разбор
Почему ИИ говорит глупости — и 5 приёмов, которые это почти исправляют
Юрист вставил в иск 4 несуществующих прецедента — ChatGPT их выдумал с датами и цитатами. Эпизод 12 курса «ИИ-агенты от нуля»: почему ИИ галлюцинирует и 5 приёмов, которые снижают ошибки почти до нуля.
Юрист, которого я веду с прошлой осени, готовил иск. Попросил ChatGPT найти прецеденты — постановления Верховного суда по нужной статье. Получил семь. С номерами, датами, цитатами. Всё убедительно. Вставил в документ. Через час звонит коллега: «Из семи прецедентов четыре не существуют».
Почему ИИ это делает — механика
ИИ не врёт в том смысле, в котором врут люди. У него нет намерения. Он не знает, что такое правда и ложь.
На базовом уровне модель делает одно: угадывает следующее слово. Когда ты спрашиваешь про постановление Верховного суда, у неё не открывается база данных. У неё — статистический клубок из всего интернета. Она генерирует слова, которые звучат как правильный ответ. Структура правильная. Номера в правильном формате. Цитата убедительная. Содержание — придумано.
Аналогия: умный друг, которому очень важно никогда не молчать. Не знает точного ответа — не скажет «не знаю». Сочинит с нужной интонацией, правильными словами. Звучит как правда. Но придумано.
Это не баг, который починят. Это следствие архитектуры. Модель не различает «знаю точно» и «сейчас сгенерирую».
Где риск выше — карта зон
Контринтуитивное правило: чем увереннее звучит ответ — тем подозрительнее. Когда ИИ не знает, он часто пишет особенно убедительно. Сомнение в его манере не предусмотрено.
5 техник, которые снижают ошибки почти до нуля
Когда клиент обнаружил фиктивные прецеденты — я объяснил: так устроена архитектура, и перед подачей критических документов нужно делать именно это. После этого разговора он стал относиться к ИИ как к толковому стажёру, которого нужно проверять, а не как к оракулу. Продуктивность не упала. Ошибки пропали.
Источники
Источники
Читайте также
Часто задаваемые вопросы
- Почему ИИ уверенно говорит неправду?
- ИИ не лжёт в человеческом смысле — у него нет намерения. Он генерирует следующее статистически вероятное слово. Когда точного ответа нет в обучающих данных, модель производит слова, которые «звучат правдоподобно», не отличая «знаю» от «сочиняю». Это называется галлюцинация — неизбежное следствие архитектуры языковых моделей.
- В каких ситуациях ИИ ошибается чаще всего?
- Три зоны повышенного риска: 1) Конкретные факты — даты, цифры, имена, ссылки, номера законов. 2) Свежие события после даты обучения модели. 3) Узкие профессиональные темы с малым объёмом обучающих данных (редкие юридические нормы, специализированный код, малоизвестные персоналии).
- Как заставить ИИ признавать, что он не знает ответа?
- Добавить в промпт фразу: «Если ты не уверен или не знаешь точного ответа — скажи об этом прямо. Лучше "не знаю", чем выдумка». Это снижает галлюцинации в разы. ИИ начинает чаще говорить «я не уверен» вместо того, чтобы сочинять убедительно.
- Как проверить, не галлюцинирует ли ИИ?
- 5 техник: 1) Попросить источники и проверить ссылки. 2) Задать тот же вопрос дважды разными словами — сравнить ответы. 3) Использовать ИИ с веб-поиском (Perplexity, Gemini). 4) Попросить ИИ признавать неуверенность. 5) Лично проверять каждую цифру, имя, дату в критических документах.
- Можно ли полностью избавиться от галлюцинаций?
- Нет — это фундаментальная особенность архитектуры языковых моделей, а не баг, который можно починить. Но правильные техники снижают частоту ошибок настолько, что на большинстве практических задач ИИ работает надёжно. Главное правило: критически важные факты всегда верифицировать из первичных источников.
- Что делать, если обнаружил ошибку в ответе ИИ?
- Не закрывать вкладку. Написать прямо: «Ты только что сказал Х — это неверно, правильный ответ Y. Учти это и перепиши ответ». ИИ скорректирует. Важно: он не «обидится» и не будет защищать свою ошибку — просто пересчитает с новой информацией.
Пока без комментариев. Будьте первым.