Few-shot на практике: учим ИИ классифицировать обращения

Few-shot prompting - способ показать модели желаемое решение через несколько примеров внутри запроса. Веса модели при этом не меняются: образцы входят в текущий контекст и помогают воспроизвести правило или формат ответа.

Для практики возьмём классификацию обращений покупателей. Нужно определить, относится ли сообщение к доставке, оплате или другой теме. В отличие от общего обзора техник промптинга, здесь разберём полный маленький процесс: описание категорий, подбор образцов и проверку ошибок.

Определите границы категорий

Названия «доставка» и «оплата» кажутся понятными, пока не приходит сообщение «Оплатил, но заказ ещё не отправили». Обе темы присутствуют, а итоговая категория должна соответствовать принятому в компании правилу.

Запишите это правило до эксперимента. Например, главным считается действие, которого хочет клиент сейчас. В сообщении выше он ждёт сведения об отправке, поэтому в учебном примере выбирается доставка. Другая служба может использовать несколько меток одновременно; тогда меняются и примеры, и проверка.

Предусмотрите категорию «требует уточнения». Она полезна там, где из сообщения невозможно понять задачу. Принудительный выбор между двумя неверными вариантами создаёт аккуратную, но бесполезную статистику.

Соберите примеры, которые объясняют правило

В рекомендациях Anthropic примеры рассматриваются как способ задавать нужное поведение модели. Для нашей задачи полезен набор с обычными и пограничными случаями, а не несколько почти одинаковых вопросов о курьере.

Классифицируй обращение. Выбирай категорию по текущей просьбе клиента.
Допустимые категории: доставка, оплата, другое, требует уточнения.
Ответ: только название категории.

Сообщение: Когда курьер привезёт заказ?
Категория: доставка

Сообщение: Деньги списались дважды, прошу вернуть второе списание.
Категория: оплата

Сообщение: Оплатил вчера. Подскажите, когда отправите заказ?
Категория: доставка

Сообщение: У вас есть эта модель в зелёном цвете?
Категория: другое

Сообщение: С заказом проблема, помогите.
Категория: требует уточнения

Новое сообщение:
[текст]

Все обращения здесь вымышлены. Для рабочего процесса используйте разрешённые обезличенные данные и согласованную инструкцию разметки.

Отложите часть сообщений для проверки

Примеры из промпта нельзя использовать как единственное доказательство качества. Модель уже видела правильные ответы на них. Подготовьте отдельные сообщения, которые похожи по задачам, но отличаются формулировками.

Сначала разметьте их вручную по тем же правилам. Если сотрудники расходятся в ответах, разберите спор до сравнения с ИИ. Иначе оценка будет измерять неоднозначность инструкции вместе с ошибками модели.

Сравните два запроса на одном и том же проверочном наборе: только правила и правила с примерами. Зафиксируйте модель, настройки и дату. Улучшение на этой выборке - локальный результат эксперимента, а не гарантия для любого потока сообщений.

Разбирайте ошибки по категориям

Общая доля верных ответов может скрыть слабую работу с редкой темой. Если большинство обращений касается доставки, модель способна часто угадывать её и при этом пропускать почти все проблемы с оплатой.

Посмотрите, какие категории путаются, как обрабатываются короткие сообщения и что происходит с несколькими просьбами в одном тексте. Дополнительный пример добавляется под повторяющуюся ошибку, а не ради увеличения длины промпта.

После изменения используйте новый отложенный набор или сохраняйте независимую финальную проверку. Иначе промпт постепенно подгоняется под известные ошибки, а ожидаемое качество на новых данных остаётся неизвестным.

На первом рабочем этапе классификацию удобно показывать оператору как подсказку. Автоматическую передачу задач и другие действия следует подключать после проверки: ошибочная метка сама по себе ещё не должна менять заказ или отправлять сообщение покупателю.