Коэффициент Джини в машинном обучении: две разные формулы

В машинном обучении названием Gini обозначают как минимум два разных показателя. Один связан с качеством ранжирования бинарного классификатора и ROC AUC. Другой измеряет неоднородность классов в узле дерева решений.

Числа могут выглядеть похоже, но их смысл и направление улучшения различаются. Поэтому перед сравнением уточните формулу, а не ограничивайтесь названием «коэффициент Джини» в таблице.

Gini, связанный с ROC AUC

Для распространённой нормированной формы используется связь Gini = 2 × ROC AUC - 1. Если ROC AUC равен 0,75, Gini получится 0,5. Это учебный расчёт преобразования показателя, а не результат проверки реальной модели.

При AUC 0,5 формула даёт ноль. Если модель стабильно ставит положительные объекты ниже отрицательных, результат может быть отрицательным. Сначала нужно проверить направление численного выхода и определение положительного класса.

Такой Gini наследует ограничения исходной ROC AUC. Он не выбирает рабочий порог и не показывает число ложных предупреждений при заданной нагрузке. Пересчёт метрики по формуле не добавляет сведений о бизнес-эффекте.

Неоднородность Джини в дереве

Для узла с долями классов p неоднородность вычисляют как единицу минус сумму квадратов этих долей. Если все объекты узла относятся к одному классу, значение равно нулю.

Для условного узла с двумя классами в пропорции 70% и 30% получаем 1 - 0,7² - 0,3² = 0,42. Показатель отражает смешанность классов именно в этом узле.

При построении дерева разбиения могут оцениваться по уменьшению взвешенной неоднородности. Критерий gini предусмотрен в DecisionTreeClassifier scikit-learn. Это часть процедуры обучения дерева, а не самостоятельная оценка качества всей модели на новых данных.

Почему направление «лучше» разное

Для ранжирующего Gini при согласованной задаче обычно стремятся к большему значению. Для неоднородности отдельного листа меньшее значение означает более однородную группу классов.

Чистые листья на обучении могут появиться у переобученного дерева. Поэтому уменьшение неоднородности знакомых примеров ещё не подтверждает улучшение прогноза. Нужна независимая проверка на новых объектах.

Если в отчёте показан один столбец Gini для дерева и другой для ранжирующей модели, их нельзя сравнить без определения. Это могут быть просто разные величины.

Что писать в аналитической таблице

Для ранжирования укажите формулу связи с AUC, положительный класс, период и проверочную выборку. Для дерева обозначьте, что речь о критерии разбиения или неоднородности конкретного узла, и приведите соответствующие доли классов.

Отдельно сохраняйте метрики итогового прогноза. Они рассчитываются на данных, которые не использовались для выбора этой модели и её настроек. Важные сегменты и редкие классы стоит проверять самостоятельно, даже если общий показатель выглядит хорошо.

Проверить связь ранжирующего показателя с конкретными парами объектов поможет пример ROC AUC. Устройство условий и листьев объясняется в статье о деревьях решений.