MSE в машинном обучении: как считать среднеквадратичную ошибку

MSE, mean squared error, - среднее квадратов разностей между прогнозом и фактическим значением. Показатель применяют в задачах числового прогноза. Чем меньше значение на одной и той же проверочной выборке, тем меньше средняя квадратичная ошибка.

При обсуждении результата важно знать, что именно предсказывали и в каких единицах. Число «MSE = 6» само по себе ничего не говорит о полезности модели: для минут, рублей и других величин смысл будет разным.

Считаем вручную на трёх заказах

Возьмём вымышленный пример прогноза времени сборки. Фактическая длительность составила 10, 15 и 20 минут. Модель предсказала 11, 14 и 24 минуты.

Сумма квадратов равна 18. Делим её на три наблюдения и получаем MSE = 6 квадратных минут. Знак ошибки после возведения в квадрат исчезает: опоздание и слишком ранний прогноз не компенсируют друг друга.

В scikit-learn расчёт выполняет функция mean_squared_error. Для простого случая без весов результат соответствует этому ручному вычислению. При использовании весов или нескольких выходных величин нужно дополнительно проверить правила усреднения.

Почему крупный промах влияет сильнее

В нашем примере ошибка на четыре минуты внесла в сумму 16, а две ошибки по одной минуте вместе внесли только два. Такая чувствительность полезна, если большие промахи особенно нежелательны, но может сделать результат зависимым от нескольких необычных наблюдений.

Проверьте эти наблюдения по исходным данным. В них может быть реальная сложная ситуация, ошибка измерения или неверная единица. Удалять их только ради улучшения показателя нельзя: сначала нужно понять происхождение случая и правило включения в проверку.

MSE одинаково учитывает положительную и отрицательную разность одного размера. Если бизнесу намного дороже недооценить длительность, чем переоценить, одной симметричной метрики может быть недостаточно.

Сравнение с MAE и RMSE

MAE усредняет абсолютные разности без возведения в квадрат. Для тех же заказов получается (1 + 1 + 4) / 3 = 2 минуты. RMSE извлекает квадратный корень из MSE: примерно 2,45 минуты.

MAE и RMSE выражены в исходных единицах, поэтому их проще обсуждать с пользователем прогноза. Но равные единицы не означают одинаковый смысл: показатели по-разному реагируют на крупные ошибки.

Сравнивать MSE одной модели с RMSE другой нельзя. Сначала нужно рассчитать общую выбранную метрику на одинаковых объектах и при одинаковом определении факта.

Что проверить перед сравнением моделей

Убедитесь, что прогнозы правильно сопоставлены с фактическими строками. Перемешанный порядок заказов может создать большую ошибку даже при корректных отдельных значениях. Сверьте период, фильтры и число наблюдений.

Оцените простой исходный прогноз. Если новая модель не улучшает результат относительно такого baseline, стоит разобраться в данных и постановке до внедрения.

Сохраните не только общее число, но и распределение ошибок, крупные промахи и показатели важных сегментов. MSE помогает сравнивать числовые прогнозы, а окончательное решение требует понимания того, как эти ошибки повлияют на процесс.