Ранжирование в машинном обучении: как проверить порядок выдачи

Ранжирование определяет порядок объектов для конкретного запроса или контекста. В поиске это документы, в рекомендациях - доступные варианты для пользователя. Важна относительная полезность: подходящий объект желательно показать раньше менее подходящего.

В классификации обычно требуется категория отдельного объекта. В ранжировании проверяют упорядоченный набор. Поэтому высокая точность классификатора сама по себе не описывает качество первой страницы поиска.

Разделите отбор и сортировку

Представим поиск инструкций. Сначала система получает набор кандидатов, затем меняет их порядок. Если нужная инструкция не попала в кандидаты, последующая сортировка её не вернёт.

Проверяйте оба этапа. Для отбора важно наличие подходящих документов в достаточно коротком списке. Для ранжирования - положение этих документов и полезность верхних позиций.

Как подготовить учебный набор

Соберите запросы разных типов: общий вопрос, точное название, артикул и вопрос с ограничением. Для каждой пары «запрос - документ» задайте понятную шкалу релевантности.

Например, можно использовать значения 0, 1 и 2: неподходящий, частично полезный и отвечающий на вопрос. Это условная схема, которую нужно согласовать под задачу. Если проверяющие расходятся, сначала разберите примеры и уточните инструкцию.

Сохраните запросы без ответа в базе. Иначе тест будет предполагать, что подходящий документ существует всегда, хотя реальная система с этим условием не работает.

Что показывает NDCG

NDCG учитывает оценки релевантности и положение объектов, сравнивая полученный порядок с идеальным для того же набора. Обычно выбирают ограничение по числу верхних позиций, соответствующее интерфейсу.

Метрика не заменяет содержание разметки. Если полезность оценена неверно или запросы не представляют рабочую аудиторию, точный расчёт только аккуратно измерит неподходящий набор.

Отдельно посмотрите на типичные провалы. Среднее значение может скрывать ухудшение поиска по точным номерам или редким названиям.

Почему клики требуют интерпретации

Объект наверху получает больше внимания уже из-за позиции. Поэтому клик не всегда равен независимому подтверждению релевантности. На поведение также влияют заголовок, оформление и привычка пользователя.

Если используете историю кликов, запишите, как формировалась выдача и какие объекты человек вообще мог увидеть. Для оценки нового порядка полезна отдельная согласованная процедура, а не простое повторение старого рейтинга популярности.

Как сравнить два решения

Сохраните исходный поиск и одинаковый набор запросов. Проверьте отбор кандидатов, качество порядка, задержку и характер ошибок. Добавьте ручной просмотр трудных случаев.

При изменении базы повторите испытание: новый порядок может быть следствием другого набора документов. В журнале эксперимента должны быть версия данных, настройки и критерий принятия.

Представление текста для поиска разобрано в статье об эмбеддингах. Они помогают строить кандидатов, но не подтверждают правильность результата автоматически.