Анализ данных и машинное обучение: где проходит граница

Анализ данных помогает описывать наблюдения, проверять качество информации и исследовать связи. Машинное обучение позволяет строить модели по данным, в том числе для прогнозирования новых случаев. Эти подходы часто работают вместе, но отвечают на разные вопросы.

Таблица со средним чеком по месяцам сама по себе не является обученной моделью. А прогноз вероятности заказа ещё не объясняет, почему клиент решил купить и какое действие увеличит продажи.

Один набор данных, несколько вопросов

Представим учебную таблицу заказов. Аналитик выясняет число покупателей, долю повторных заказов и распределение суммы покупок. На этом этапе важны определения: считать ли возвраты, как объединять клиента и какой период сравнивать.

Затем появляется задача: в конце месяца оценить, кто сделает заказ в следующем месяце. Здесь потребуется модель, признаки на дату прогноза и ответ, который станет известен позже.

Причинный вопрос устроен иначе: увеличит ли конкретная рассылка число покупок? Высокая вероятность заказа не доказывает эффект сообщения. Покупатель мог бы заказать и без него. Для оценки действия нужен отдельный дизайн проверки.

Почему анализ нужен до обучения

Проверьте пропуски, дубликаты, диапазоны значений и единицы измерения. Если один источник хранит сумму в рублях, а другой в копейках, алгоритм не обязан распознать ошибку. Он будет учиться на полученной таблице.

Посмотрите, как меняется состав данных во времени. Изменение системы учёта или определения заказа может выглядеть как изменение поведения клиентов. Такие события полезно записать до сравнения моделей.

Как подготовить прогнозную задачу

Определите момент прогноза и горизонт. Признак «число заказов за следующий месяц» недоступен в конце текущего месяца. Использование такого поля создаёт утечку ответа.

Сформируйте признаки только из прошлого и отделите более поздний период для проверки. Для связанных объектов дополнительно учитывайте группы. Обычное случайное разбиение не всегда воспроизводит условия будущего применения.

Выберите простой ориентир. Например, ранжирование по давности последней покупки может оказаться полезной точкой сравнения. Сложный алгоритм должен показать дополнительную пользу на одинаковой проверке.

Как читать результат

Покажите качество по значимым группам и рассмотрите ошибки. Высокая средняя оценка может скрывать слабую работу на новых клиентах. Если прогноз используют для действия, проверьте последствия и стоимость этого действия отдельно.

Сохраните правила расчёта, схему разбиения и версии данных. Без этого трудно понять, связано ли улучшение с моделью, новой выгрузкой или незаметно изменившимся определением показателя.

Когда достаточно аналитики

Если задача состоит в согласованном отчёте, обученная модель может быть лишней. Автоматизация SQL-запроса и проверки полноты данных иногда решает проблему полностью. Прогноз нужен, когда требуется обоснованная оценка неизвестного случая и есть способ проверить её полезность.

Связь признаков и ответа разобрана в статьях о признаках и целевой переменной.