Бутстрап в машинном обучении: как оценивать неопределённость

Бутстрап, или bootstrap, использует повторные выборки из уже имеющихся наблюдений, чтобы исследовать неопределённость статистической оценки. В простом варианте объекты выбираются с возвращением: одна исходная строка может попасть в повторную выборку несколько раз.

Метод не создаёт новые независимые сведения о мире. Он работает с доступными данными и выбранными предположениями. Тысячи повторов способны стабилизировать вычисление, но не исправят систематическую ошибку исходной выборки.

Покажем механизм на четырёх числах

В учебном примере есть четыре суммы: 100, 150, 200 и 350. Их среднее равно 200. Для одной повторной выборки можно получить 100, 100, 200 и 350: среднее составит 187,5.

Другая выборка может содержать другой набор повторов. Если много раз пересчитать среднее, получится распределение результатов. Оно показывает, как выбранная статистика меняется в рамках этой процедуры повторного отбора.

Четыре числа здесь служат иллюстрацией механики. По такой короткой и искусственной таблице нельзя делать уверенные выводы о реальном распределении заказов.

От повторов к интервалу

По распределению повторных оценок строят интервал выбранным методом. В SciPy функция bootstrap поддерживает несколько вариантов построения, включая percentile и BCa. Их предположения и поведение могут различаться.

Поэтому в отчёте стоит указать метод, уровень интервала, число повторов и единицу отбора. Обозначение «доверительный интервал 95%» без описания процедуры ещё не позволяет проверить, корректно ли интерпретирован результат.

Интервал характеризует неопределённость при принятых условиях. Он не гарантирует, что данные представляют всех будущих клиентов или что новое оборудование, сезон и процесс будут вести себя как в исходной таблице.

Единица отбора важнее числа повторов

Представим, что один покупатель совершил несколько заказов. Эти записи могут быть связаны. Если вопрос относится к покупателям, независимый отбор отдельных заказов способен неправильно описать неопределённость.

Аналогично устроены наблюдения по дням, магазинам и другим группам. Для временных последовательностей есть зависимости между соседними значениями. Схема повторного отбора должна учитывать структуру задачи; простое перемешивание строк подходит не всегда.

Сначала объясните, что в исследовании считается независимым наблюдением. После этого выбирается подходящая процедура, а не наоборот.

Сравнение двух моделей

Если две модели отвечают для одних и тех же объектов, сравнение связано по объектам. При повторном отборе важно сохранять эту связь: прогнозы обеих моделей и правильный ответ должны перемещаться вместе.

Иначе процедура начнёт сравнивать ответы по разным случаям. У получившегося распределения будет другой смысл. Также нужно понимать, оценивается ли неопределённость фиксированных прогнозов или всего процесса обучения с повторным обучением моделей.

Эти варианты отвечают на разные вопросы и требуют разного объёма вычислений. В описании эксперимента лучше назвать проверяемую величину прямо.

Что проверить перед выводом

Сверьте размер исходной выборки, пропуски, выбросы и правила включения объектов. Убедитесь, что статистика определена на повторных выборках: например, в некоторых коротких повторах может отсутствовать один из классов.

Сохраните исходные данные или их версию, случайное начальное состояние и параметры процедуры. Для качества моделей дополнительно проверьте независимость теста и смысл метрики: как выбирать показатели машинного обучения.