Метрики машинного обучения: как выбрать показатель под задачу

Метрика машинного обучения сводит определённый аспект качества к числу. Какой именно аспект важен, зависит от решения: найти редкое событие, предсказать длительность, упорядочить заявки или оценить вероятность.

Выбирать показатель стоит до сравнения моделей. Если после каждого эксперимента искать метрику, на которой новая версия выглядит лучше, можно получить убедительный отчёт без полезного улучшения процесса.

Начните с ошибки и её последствий

В условной задаче склад заранее ищет заказы с риском задержки. Ложное предупреждение заставляет сотрудника проверить обычный заказ. Пропущенная задержка может оставить клиента без своевременного уведомления. Эти последствия различаются, поэтому один процент правильных ответов не описывает весь результат.

Запишите, что считается положительным событием, когда принимается решение и какое действие следует за ответом модели. Затем определите ограничения: сколько предупреждений способны обработать сотрудники, какие ошибки особенно нежелательны и нужен ли отказ от ответа при недостатке данных.

Для классификации считайте ошибки по видам

Accuracy показывает долю правильных категорий. Precision описывает долю верных положительных срабатываний, recall - долю найденных положительных случаев. F1 объединяет precision и recall через гармоническое среднее.

Начните с таблицы фактических и предсказанных классов, затем выбирайте нужные показатели. При редком положительном событии общая доля верных ответов может оказаться высокой даже у бесполезного постоянного прогноза.

Если классов несколько, укажите способ усреднения и покажите важные категории отдельно. Два одинаково названных показателя с разными правилами расчёта не обязательно сопоставимы. Подробный числовой пример есть в статье про F1-score.

Для числового прогноза укажите единицы

MAE усредняет абсолютные ошибки, MSE - их квадраты, RMSE возвращает квадратный корень из MSE. Для длительности операции MAE и RMSE выражаются в единицах времени, а MSE - в их квадрате.

Покажите также крупные промахи и направление ошибок. Одинаковое среднее отклонение может скрывать разный риск: одна модель чаще слегка ошибается, другая изредка выдаёт совершенно непригодный прогноз.

При сравнении разных товаров или процессов проверьте, не различается ли масштаб целевой величины. Ошибка в сто рублей означает разное для недорогой покупки и крупного заказа. Определение относительной ошибки требует внимания к нулевым и малым фактическим значениям.

Для списка важна его верхняя часть

Когда сотрудник может обработать только несколько заявок, оценивайте результат среди верхних позиций. Качество сортировки всей базы и польза первых десяти рекомендаций могут различаться.

Количество доступных действий включается в постановку. Сравнение списков разной длины без объяснения этого различия способно приписать алгоритму эффект дополнительной работы сотрудников.

Если модель выдаёт вероятности, отдельно проверяется их соответствие наблюдаемым частотам. Хорошая сортировка по риску сама по себе не гарантирует, что число 0,8 можно трактовать как ожидаемые восемь событий из десяти.

Соберите проверяемый отчёт

Рядом с метрикой укажите период, число объектов, состав выборки, порог решения и простой исходный ориентир. Сохраните определение целевого события и правила обработки пропусков. Для ключевых сегментов покажите отдельные результаты.

Качество прогноза, скорость сервиса и эффект действия после прогноза измеряются отдельно. Модель может хорошо находить риск, но выбранное вмешательство не поможет его снизить. Именно поэтому сравнение с baseline дополняют проверкой рабочего процесса, а не заменяют красивым итоговым процентом.