Что делать если ИИ галлюцинирует и даёт неверную информацию?

Языковая модель не «знает» в смысле хранения фактов. Она предсказывает следующее слово на основе паттернов из обучающих данных. Иногда предсказание выходит убедительным, но неточным — это и есть галлюцинация.

Галлюцинации не исчезнут. Это фундаментальная особенность того, как работают эти модели. Вопрос не в том, как полностью их избежать, а в том, как выстроить работу так, чтобы они не причиняли вреда.

Где риск галлюцинаций выше всего

Конкретные цифры и даты — «выручка компании X составила Y миллионов в Z году». Ссылки и URL — модель может сгенерировать несуществующую ссылку, которая выглядит абсолютно реальной. Имена и биографии малоизвестных людей. Законодательство и нормативы — особенно подробности и исключения. Медицинские и юридические факты — где точность критична.

Там, где риска почти нет: структурирование вашего собственного материала, переформулирование уже написанного, написание кода по чётким спецификациям, анализ предоставленного вами текста (ИИ работает с тем, что вы дали, а не выдумывает).

Как выявлять галлюцинации

Первый сигнал — слишком гладкий конкретный ответ на фактологический вопрос. Если ИИ называет точное число, точную дату, конкретное название — проверяйте.

Второй сигнал — уверенный тон. Настоящая уверенность в ответе ИИ выглядит одинаково независимо от того, правдив ответ или нет. Именно поэтому нельзя ориентироваться на то, «звучит ли убедительно».

Практика: задайте тот же вопрос снова, другими словами. Если первый и второй ответ расходятся в деталях — это сигнал проверить оба.

Как снизить риск в работе

Давайте ИИ источник, а не просите его вспомнить. «Вот статья, выдели главные тезисы» работает надёжнее, чем «расскажи о статистике по этой теме». В первом случае ИИ работает с предоставленными данными, во втором — генерирует из памяти.

Просите ссылки и проверяйте их. Если ИИ называет источник — откройте его. Несуществующие ссылки — самый распространённый тип галлюцинаций.

Используйте модели с доступом к интернету там, где важна актуальность. Claude с использованием веб-поиска, Perplexity, ChatGPT с плагинами — они ссылаются на реальные источники, которые можно открыть и проверить.

Разделяйте задачи на «проверяемые» и «непроверяемые». Если вам нужен конкретный факт — сходите в первоисточник сами. Если нужна структура или черновик — делегируйте ИИ.

Когда риск особенно высок

Устали или торопитесь — ответ ИИ выглядит убедительно, вы не проверяете, ошибка уходит дальше. Большинство инцидентов с галлюцинациями случаются именно в этих условиях.

Digital-агентство из числа моих клиентов решило это одним правилом: любое фактическое утверждение, которое уходит клиенту, должно иметь ссылку на источник. Нет источника — факт убирается или уточняется вручную. Работает.

Когда ИИ честно говорит «не знаю»

Современные модели часто сигнализируют о неуверенности — «насколько мне известно», «возможно», «вы можете это уточнить». Это хороший знак. Модель, которая никогда не выражает неуверенность, не делает это потому, что всегда права — а потому что её так настроили. Первая безопаснее.

Проверь следующий фрагмент текста на наличие фактических ошибок и галлюцинаций: [вставь текст]. Для каждого конкретного утверждения скажи: достоверно, сомнительно или требует проверки. Укажи, что именно нужно перепроверить в первоисточниках.