Применение ИИ и машинного обучения: как проверить подходящую задачу

Применение ИИ стоит начинать с операции, которую нужно выполнить, и результата, который можно проверить. Распознавание текста, прогноз числа и подготовка черновика ответа требуют разных методов и разных критериев качества.

Для одной задачи может подойти обученная модель, для другой - набор правил. Иногда проблема находится в несогласованных данных, и новая модель только усложняет обработку.

Пример процесса с документами

Представим учебную организацию, которая получает документы по электронной почте. Сначала нужно извлечь текст, затем определить тип документа, заполнить поля и подготовить проект ответа.

Извлечение текста с изображения, классификация и генерация ответа - отдельные операции. Ошибка на первом этапе может испортить следующие. Поэтому проверять только красоту итогового письма недостаточно.

Для каждого шага запишите вход и выход. У поля суммы должен быть исходный фрагмент для сверки. У категории - согласованный перечень значений. У ответа - подтверждённые сведения и понятный порядок проверки человеком.

Когда подходит машинное обучение

Обучаемая модель имеет смысл, когда есть повторяющаяся задача, данные с полезной информацией и способ оценить работу на новых случаях. Для классификатора нужны достаточно согласованные ответы, для прогноза - корректная временная граница.

Если примеров мало или разметка противоречива, сначала проверьте простой подход. Работа с данными может принести больше пользы, чем замена одного сложного алгоритма другим.

Где полезна генерация

Генеративная модель может подготовить черновик, сократить текст или предложить варианты формулировки. Факты при этом требуют отдельной проверки. Уверенная форма не делает содержание достоверным.

В процессе с документами полезно ограничить ответ известными полями и разрешёнными источниками. Отсутствующее значение должно оставаться отсутствующим, а не заполняться правдоподобной догадкой.

Как измерить результат пилота

Соберите набор типичных и трудных примеров до настройки системы. Включите неполные документы, плохие снимки и неизвестные форматы. Разделите ошибки по последствиям: неверная сумма и неудачный стиль письма имеют разную цену.

Замерьте время всей операции с учётом проверки и исправлений. Быстрая генерация может не дать экономии, если сотрудник дольше ищет скрытые ошибки. Все расчёты затрат должны опираться на фактические наблюдения пилота.

Что должно остаться под контролем

Назначьте владельца процесса, сохраните журнал изменений и предусмотрите ручной путь. Ограничьте доступ к данным и действиям необходимым объёмом. Для внешней отправки или изменения учёта полезно отдельно определить условия подтверждения.

После обновления модели повторяйте проверку на сохранённом наборе. Новая версия может иначе обрабатывать редкие случаи. Решение о расширении применения принимайте по результатам, а не по названию технологии.

Базовая терминология разобрана в статье об ИИ и ML, а отдельные постановки - в примерах задач.