PCA в машинном обучении: что сохраняет метод главных компонент

PCA, principal component analysis, или метод главных компонент, строит новое линейное представление данных. Вместо исходных признаков используются их комбинации, выбранные так, чтобы последовательно отражать направления наибольшей изменчивости.

Если оставить лишь часть компонент, число измерений уменьшится. При этом теряется часть информации. Польза такого сокращения зависит от задачи: сохранение большой доли изменчивости само по себе не гарантирует хороший прогноз или понятные бизнес-группы.

Пример с похожими показателями

Представим учебную таблицу покупателей: число заказов за период, число оплаченных покупок и количество отдельных визитов с покупкой. В конкретной системе эти показатели могут быть сильно связаны, хотя определения у них разные.

Вместо хранения всей изменчивости в нескольких похожих столбцах PCA может выразить её через меньшее число новых координат. Первая компонента в такой ситуации способна отражать общее направление активности. Но название «активность» присваивает аналитик после изучения коэффициентов и исходных полей.

В другой таблице или при другой подготовке данных смысл компонент изменится. Поэтому их интерпретация всегда привязана к конкретному набору признаков.

Компоненты отличаются от отбора столбцов

При отборе признаков сохраняется часть исходных полей. PCA создаёт новые поля как линейные комбинации. Например, одна компонента может учитывать несколько первоначальных показателей сразу.

Из этого следует практическое требование: при применении преобразования к новым объектам обычно нужны исходные признаки, участвующие в комбинациях. Уменьшение числа компонент не означает, что можно перестать собирать все остальные исходные поля.

Если цель проекта - сократить стоимость сбора данных, нужно отдельно проверить, какой метод действительно позволяет отказаться от дорогостоящих измерений.

Что показывает объяснённая дисперсия

Показатель описывает, какую долю общей изменчивости отражают выбранные компоненты в принятом представлении данных. Условные «90% объяснённой дисперсии» не означают 90% правильных прогнозов, покупателей или прибыли.

PCA без использования целевого ответа может отбросить направление с небольшой общей изменчивостью, которое полезно для конкретного прогноза. Поэтому число компонент для модели стоит проверять и по итоговой задаче, сохраняя независимую оценку качества.

Для визуализации две компоненты дают удобную плоскость. Расположение точек на ней помогает исследовать данные, но расстояния и видимые группы могут отличаться от структуры в исходном многомерном пространстве.

Подготовьте масштаб и пропуски

Признаки с большими численными масштабами способны сильнее влиять на направления изменчивости. Выбор масштабирования должен соответствовать смыслу полей. Сумма в рублях и сумма в тысячах рублей не должны незаметно менять исследовательский вопрос.

В реализации PCA scikit-learn данные центрируются, но приведение каждого признака к единичному масштабу автоматически не выполняется. При необходимости его включают отдельным шагом подготовки.

Пропуски и необычные значения также требуют заранее заданных правил. Преобразования обучаются только на обучающей части и затем применяются к новым данным в том же виде.

Как проверить, нужен ли PCA

Сравните решение с преобразованием и без него на одинаковой процедуре оценки. Отдельно измерьте время, память и качество результата. Более компактное представление полезно, если даёт нужный компромисс, а не просто красивую долю дисперсии.

Сохраните перечень исходных признаков, подготовку данных, число компонент и обученное преобразование. Для исследовательских групп полезно дополнительно проверить, сохраняется ли их смысл после изменения периода или состава данных: как проверять кластеризацию.