Baseline в машинном обучении: с чем сравнивать новую модель

Baseline - исходный способ решения задачи, с которым сравнивают новую модель. Он показывает, что удаётся получить без сложного обучения: предсказывать частый класс, использовать типичное число или применять уже работающее правило.

Высокое качество модели без такого сравнения трудно интерпретировать. Если простое правило даёт сопоставимый результат, дополнительная сложность должна оправдываться другими преимуществами: например, меньшим числом дорогих ошибок или лучшей работой на важном сегменте.

Почему точность 95% может ничего не решать

В учебной выборке из 100 заказов 95 доставлены без опоздания, пять задержались. Правило «всегда отвечать, что задержки не будет» угадает 95 случаев из 100. Его точность составит 95%, хотя ни одну задержку оно заранее не найдёт.

Если задача службы доставки - предупредить клиентов о риске, одной общей точности мало. Нужно смотреть, сколько настоящих задержек найдено и сколько ложных предупреждений появилось. Baseline помогает увидеть эту разницу до обсуждения красивого процента.

В scikit-learn для простых классификационных ориентиров предусмотрен DummyClassifier. Среди его стратегий есть предсказание самого частого класса. Для числовых задач DummyRegressor позволяет использовать, например, среднее или медиану обучающих ответов.

Выберите ориентир под рабочую ситуацию

Для прогноза времени сборки заказа первым вариантом может быть медианная длительность по прошлым заказам. Если склад уже использует правило по числу товарных позиций, сравните модель и с ним. Это ближе к реальному решению, чем случайно выбранный алгоритм из учебника.

Для временных рядов простым ориентиром бывает последнее наблюдение или значение за сопоставимый предыдущий период. Пригодность зависит от задачи: сезонные продажи и длительность отдельного заказа требуют разных исходных правил.

Запишите, какие данные использует ориентир и когда они доступны. Правило, которое заглядывает в будущий результат, не годится для сравнения с реальным прогнозом.

Сравнивайте на одинаковых данных

Разделение на обучение и проверку должно быть общим для baseline и новой модели. Среднее значение, пороги и другие параметры ориентира вычисляются по обучающей части. Проверочная выборка нужна для оценки, а не для подбора удобного ответа.

Сохраните одинаковое определение целевого события. Прогноз задержки на час и прогноз задержки на день относятся к разным задачам. Сравнение процентов без этой детали может создать ложное впечатление улучшения.

Если сложная модель проиграла

Сначала проверьте постановку задачи, исходные поля и разметку. Возможно, в данных мало полезного сигнала или правило уже решает основную часть задачи. Поражение baseline не доказывает бесперспективность всего машинного обучения, но даёт основание отложить внедрение конкретной версии.

Запишите результат эксперимента вместе с периодом, выборкой и ограничениями. Простое правило может остаться рабочим решением, резервным вариантом или контрольной линией для следующей попытки. Определение ответа для обучения разобрано в статье о целевой переменной.