Разбор
ИИ врёт: почему галлюцинации это серьёзная проблема и как защититься
Адвокат Стивен Шварц подал иск с 6 несуществующими делами — ChatGPT их сочинил. Штраф $5000, карьера в шрамах. Эпизод 8 курса «ИИ-агенты от нуля»: карта опасных зон и 7 приёмов защиты.
Февраль 2023. Нью-Йорк. Адвокат Стивен Шварц, 30 лет в профессии, готовит иск против Avianca. Просит ChatGPT найти судебные прецеденты. Получает шесть дел: названия, номера, цитаты из решений, имена судей. Всё убедительно. Вставляет в иск. Подаёт.
Стивен не знал одной вещи. ИИ умеет врать. Не из злобы — по устройству.
Почему ИИ врёт — и почему это не «баг»
Запомни одну вещь: ИИ не знает фактов. ИИ предсказывает следующее слово.
Спроси «столица Франции» — напишет «Париж». Потому что в миллиардах текстов после этих слов с гигантской вероятностью стоит «Париж». Совпало.
Спроси про несуществующее судебное дело — тоже ответит. Сочинит номер. Имя судьи. Цитату из решения. Всё это статистически правдоподобно. Звучит как настоящее. Именно поэтому опасно.
Это явление называется галлюцинация. Не баг, который починят — особенность языковых моделей в принципе. Как сказать рыбе «перестань быть мокрой».
В практике клиенты часто говорят: «Ну он же дал мне ссылку!» А ссылка не открывается. Её нет. ИИ сочинил — домен google.com, путь правильный, страница выглядит настоящей. Но её никогда не было. Этот тип ошибки самый коварный: выглядит как доказательство.
Карта опасных зон
Контринтуитивное правило: чем увереннее звучит ИИ — тем подозрительнее. Когда он не знает, он часто пишет очень убедительно. Сомнения в его манере не предусмотрены.
Семь приёмов защиты
Мантра безопасного ИИ-пользователя
ИИ — твой ассистент. Не твой источник истины.
Ассистент помогает думать, писать, искать, формулировать. Источник истины — первичные данные, документы, эксперты. Не путай роли.
Хороший ИИ-пользователь: берёт ответ ИИ как черновик от стажёра — проверяет, использует то, что подтвердилось. Плохой — копирует и отправляет. Иногда теряет за это карьеру. Как Стивен.
Упражнение, которое я делаю с каждым студентом: задай ИИ вопрос про свою область — то, в чём ты эксперт. Обычно ловишь 3–4 ошибки за пять минут. После этого — навсегда меняется отношение. От слепого доверия к разумному скепсису. Это и есть здоровое использование.
Источники
Источники
Читайте также
Часто задаваемые вопросы
- Что такое галлюцинации ИИ?
- Галлюцинация — когда ИИ уверенно выдаёт ложную информацию: несуществующие судебные дела, придуманные научные ссылки, неправильные даты, сочинённые цитаты. Это не баг, который починят — это особенность языковых моделей. ИИ предсказывает «следующее статистически вероятное слово», а не извлекает факты из базы данных.
- Почему ChatGPT врёт с уверенным видом?
- У языковых моделей нет кнопки «не знаю». Задача ИИ — продолжить текст статистически правдоподобно. Когда факта нет в обучающих данных, модель генерирует то, что звучит похоже на правду — убедительно, с правильными форматами и деталями. Именно поэтому галлюцинации так опасны: они похожи на настоящее.
- Где ИИ ошибается чаще всего?
- Зоны высокого риска: юридические прецеденты, медицинские дозировки, научные ссылки и авторы, цитаты известных людей, биографии малоизвестных людей, код для редких библиотек. Зона смерти: актуальные цены и курсы, конкретные номера законов и статей, личные данные людей (адреса, телефоны).
- Как проверить, галлюцинирует ли ИИ?
- 7 приёмов: попросить источник со ссылкой (если не открывается — выброси), использовать ИИ с интернет-поиском (Perplexity, Gemini), задать тот же вопрос двумя разными формулировками, добавить в промпт «если не уверен — так и скажи», проверять каждую цифру/дату/фамилию отдельно.
- Можно ли доверять ИИ в юридических или медицинских вопросах?
- Только как черновику. ИИ может помочь разобраться в теме, составить список вопросов, объяснить термины. Но конкретные юридические нормы, медицинские дозировки, финансовые решения — обязательно верифицировать у живого специалиста. Адвокат Шварц потерял $5000 и репутацию, доверившись ChatGPT в суде.
- Есть ли ИИ, который не галлюцинирует?
- Нет. Все языковые модели галлюцинируют — это свойство архитектуры. Однако ИИ с веб-поиском (Perplexity, Gemini, ChatGPT с Search) галлюцинируют значительно реже на фактических вопросах, так как опираются на живые источники, а не только на обучающие данные.
Пока без комментариев. Будьте первым.