Математика для машинного обучения: что изучать на первом проекте

Математика помогает понять, что вычисляет модель и почему оценке качества можно или нельзя доверять. Для первого проекта полезнее разобрать небольшой набор понятий вместе с кодом, чем откладывать практику до полного изучения нескольких университетских курсов.

Начните с алгебры, векторов и матриц, базовой вероятности и статистики. Производные и оптимизация понадобятся для понимания обучения многих моделей. Глубина подготовки зависит от задачи: использование готового алгоритма и исследование нового метода требуют разного уровня.

Векторы: как записаны признаки

Представим объект с двумя признаками: площадью и числом комнат. Запись [40, 2] можно рассматривать как вектор. Несколько таких объектов образуют таблицу, которую удобно представить матрицей.

Линейная модель умножает признаки на коэффициенты и добавляет свободный член. В условном примере 3 × площадь + 10 × комнаты + 5 для объекта [40, 2] получится 145. Это учебная арифметика без денежных единиц, а не формула реальной цены жилья.

Проверьте размерности: число коэффициентов должно согласовываться с числом признаков. Многие ошибки кода становятся понятными после записи формы входной матрицы и выходного массива.

Статистика: что скрывает среднее

Средняя ошибка объединяет разные случаи. Если у двух объектов абсолютные ошибки равны 1 и 9, их среднее равно 5. Такая оценка не показывает, насколько плохо работает модель на отдельной группе.

Научитесь считать среднее, медиану, разброс и доли. Затем смотрите распределения и сегменты. Для учебной модели полезно выяснить, различаются ли ошибки на малых и больших значениях целевой переменной.

Понимание выборки помогает задавать следующий вопрос: представляет ли тест будущие данные? Точный расчёт метрики на неподходящем тесте не делает вывод надёжным.

Вероятность: как понимать неопределённость

Вероятностный прогноз и окончательное решение - разные вещи. Оценка 0,7 требует проверки калибровки, если её хотят трактовать как вероятность события. Порог действия зависит от последствий ошибки и доступных ресурсов.

В упражнении с обращениями можно сравнить два порога. При более строгом правиле меньше сообщений обрабатывается автоматически, зато спорные случаи чаще достаются человеку. Для выбора нужны данные об ошибках, а не только формула.

Производная: в какую сторону менять параметр

Для функции потерь L(w) = (w - 3)² производная равна 2(w - 3). При w = 0 она равна -6. Шаг градиентного спуска с коэффициентом 0,1 даёт новое значение 0 - 0,1 × (-6) = 0,6.

Потеря уменьшается с 9 до 5,76. Это простой пример движения к минимуму. У реальных моделей параметры и функции сложнее, а выбор шага влияет на обучение.

Как учить темы вместе с практикой

Для каждого понятия сделайте маленький расчёт вручную и повторите его программой. Объясните единицы измерения, форму данных и смысл результата. Затем измените одно условие и предскажите, что должно произойти.

Разбор MSE связывает вычисление ошибки с метрикой, а статья о нормализации показывает роль масштаба признаков.