Данные для машинного обучения: как подготовить набор к проверке

Данные для машинного обучения должны соответствовать вопросу, на который будет отвечать модель. Большое число строк не компенсирует неверную разметку, недоступный в будущем признак или тест из знакомых объектов.

До очистки и выбора алгоритма составьте описание набора. Оно поможет заметить ошибки постановки и повторить эксперимент после обновления данных.

Определите единицу наблюдения

В учебной задаче классификации обращений строкой может быть сообщение, диалог или заявка целиком. Это разные объекты. Несколько сообщений одного диалога связаны между собой и могут содержать ответ сотрудника.

Запишите, что считается отдельным примером и в какой момент делается прогноз. Для маршрутизации нового обращения доступен первоначальный текст. Итоговая категория после решения вопроса может быть ответом для обучения, но не входным признаком.

Опишите происхождение и права использования

Укажите источник, дату выгрузки, способ получения и ограничения. Открытый доступ к файлу не всегда означает разрешение на любое использование. Для внутренних данных нужны согласованные условия работы и публикации.

Удалите лишние личные сведения и ограничьте доступ к исходникам. В публичный учебный репозиторий безопаснее включать разрешённый открытый или искусственный набор, а не обезличенную «на глаз» рабочую выгрузку.

Проверьте разметку

Составьте инструкцию с примерами и пограничными случаями. Для обращений важно различить возврат, отмену и претензию. Если одному сообщению подходят несколько категорий, решите, как это отражается в задаче.

Просмотрите случайные примеры и все редкие категории. Разногласия между людьми стоит записывать: иногда они показывают неоднозначность самого требования, которую модель не сможет устранить автоматически.

Найдите дубликаты и связанные объекты

Точные копии легко создают завышенную оценку. Похожие шаблоны, сообщения одного пользователя и части одного документа тоже требуют внимания.

Разделяйте данные так, чтобы тест соответствовал новым случаям применения. Для будущего периода может понадобиться временное разделение, для новых клиентов - разделение по клиентам. Универсальной схемы для любого набора нет.

Подготовка должна учитывать границу обучения

Параметры преобразований, которые изучаются по данным, вычисляйте на обучающей части. Затем применяйте сохранённые преобразования к проверочной. Это относится, например, к заполнению пропусков и масштабированию, когда они зависят от статистик выборки.

Сохраняйте правила обработки неизвестных значений. В работе могут появиться новая категория, пустое поле или необычная единица измерения. Обработка таких случаев должна быть определена заранее.

Что сохранить перед запуском

Подготовьте описание полей, правила разметки, схему разбиения и версию набора. Зафиксируйте число объектов по частям и категориям. Затем выберите простой ориентир и критерий сравнения.

Алгоритм подготовки рассмотрен подробнее в статье о предобработке. Смысл входных полей - в разборе признаков.