Email A/B vs сайт A/B: 5 различий в методологии тестирования

Ты запускаешь A/B-тест темы письма, получаешь результат за 2 часа и думаешь: «Отлично, теперь так же протестирую лендинг.» Через 3 дня у тебя 47 конверсий и статистическая мощность на уровне подбрасывания монетки.

Антагонист этой истории — универсальный подход к тестированию. Маркетологи читают один гайд по A/B-тестам и применяют одну и ту же логику к email и сайту. Это как измерять температуру в Цельсиях и Фаренгейтах одним термометром — прибор один, но шкалы разные.

5xбыстрее получить статзначимый результат в email-тесте по сравнению с тестом на сайте при равном трафикеРасчёт на базе средних open rate 21% и CR сайта 2.5%, Litmus 2025

Перевёртыш

~~Старое убеждение:~~ «A/B-тест — это A/B-тест, принципы везде одинаковые»
Новая реальность: Email A/B и сайтовый A/B — это разные дисциплины с разной статистикой, разными таймлайнами и разными метриками победителя. Путать их — значит либо останавливать тест слишком рано, либо ждать слишком долго.

Что ты получишь: 5 конкретных различий с таблицами сравнения, формулы расчёта выборки для обоих случаев и чеклист — когда какой подход использовать.

Различие 1: размер выборки и скорость результата

По данным Litmus State of Email 2025, средний open rate email-рассылки — 21.3%. Это значит, что из 10 000 подписчиков ~2 130 откроют письмо — и ты уже можешь считать разницу в кликах.

На сайте средний коэффициент конверсии — 2.5% (по данным Contentsquare, 2025). Чтобы зафиксировать разницу в 10% при CR 2.5%, тебе нужно ~30 000 уникальных посетителей на каждый вариант.

Параметр	Email A/B	Сайт A/B
Базовая метрика	Open rate 21% / CTR 2.6%	CR 2.5%
Минимальная выборка (при MDE 10%)	~5 000 на вариант	~30 000 на вариант
Время до результата	2—6 часов	2—4 недели
Можно ли отправить всю выборку сразу	Да	Нет (зависит от трафика)

Почему это важно: В email ты контролируешь размер аудитории — отправил 50 000 писем и через пару часов у тебя есть данные. На сайте ты зависишь от ежедневного трафика. При 1 000 визитов в день тест на 60 000 человек займёт 2 месяца.

Посчитай минимальный размер выборки для своего теста в калькуляторе конверсии.

Сделай за 5 минут

Открой свою email-платформу. Посмотри средний open rate за последние 3 месяца. Раздели свою базу на этот процент — это и есть твоя «рабочая выборка» для email-тестов. Сравни с дневным трафиком сайта — увидишь, насколько быстрее email.

Различие 2: что именно тестируем

По данным Mailchimp, 76% email-маркетологов тестируют только тему письма. На сайте тестируют десятки элементов — от цвета кнопки до структуры страницы.

Email: ограниченный набор переменных

Тема письма (subject line) — главный рычаг open rate
Имя отправителя — «Маша из Ozon» vs «Ozon»
Время отправки — утро vs вечер
CTA-кнопка — текст и цвет
Прехедер — текст после темы в превью

Сайт: бесконечное пространство вариантов

Заголовки, подзаголовки, структура блоков
Формы (количество полей, расположение)
Навигация, фильтры, сортировка
Ценообразование, карточки товаров
Вся воронка целиком (многостраничные тесты)

«В email ты тестируешь обёртку. На сайте ты тестируешь продукт. И то, и другое важно — но подходы принципиально разные.»
— Peep Laja, основатель CXL Institute

Различие 3: метрики победителя

Ключевая разница — в глубине воронки. Email-тест обычно оптимизирует верхнюю часть (открытия, клики), а сайтовый — нижнюю (покупки, заявки, регистрации).

Метрика	Email A/B	Сайт A/B
Первичная метрика	Open rate или CTR	Конверсия (CR) или revenue per visitor
Вторичная	Unsubscribe rate, reply rate	Bounce rate, время на странице, глубина
Бизнес-метрика	CTOR (click-to-open rate)	AOV, LTV, ROAS
Guardrail-метрика	Spam complaints	Ошибки, скорость загрузки

Ловушка: Тема письма с высоким open rate не обязательно даёт больше продаж. Кликбейтная тема «Последний шанс! -90%» откроется чаще, но разочарует тех, кто не найдёт скидку внутри — и unsubscribe rate съест долгосрочную выгоду.

На сайте аналогичная ловушка: вариант с более высоким CR на первом шаге воронки может давать меньше оплат на последнем. Поэтому лучшие практики — считать revenue per visitor, а не просто CR. Используй калькулятор воронки продаж для визуализации узких мест.

Сделай за 5 минут

Посмотри последние 3 email A/B-теста. Победитель по open rate совпал с победителем по кликам? А по продажам? Если нет — ты оптимизируешь не ту метрику.

Различие 4: временные эффекты и «загрязнение»

По данным VWO, 43% сайтовых A/B-тестов прекращаются преждевременно из-за ложноположительных результатов на малой выборке.

Email: результат фиксированный

После отправки письма выборка закрыта. Пользователь либо открыл, либо нет. Через 48 часов 95% открытий уже произошли. Временные факторы минимальны.

Сайт: результат «плывёт»

На сайте на тест влияют десятки внешних факторов:

День недели: конверсия B2B-сайта в понедельник может быть в 2 раза выше пятницы
Сезонность: акция или праздник меняют поведение
Новый трафик: запустили рекламу — пришла холодная аудитория, CR упал
Cookie-загрязнение: пользователь видит вариант A на десктопе и B на телефоне

Правило: сайтовый тест должен работать минимум 2 полных недели — чтобы захватить оба выходных цикла. Email-тесту достаточно 4—24 часов.

Различие 5: цена ошибки

Это самое неочевидное — и самое важное.

Email: ошибка обратима

Отправил плохой вариант на 10% базы? Остальным 90% отправишь победителя. Потеря: ~10% одной рассылки. По данным ConvertKit, средний click rate email — 2.6%. Потеря в кликах — десятки, максимум сотни.

Сайт: ошибка стоит дорого

Проигрышный вариант крутился 3 недели на 50% трафика. При 10 000 визитов в день и CR 2.5% — это 250 конверсий в день, 125 на проигравшем варианте. Если разница 15% — потеряно ~19 конверсий в день x 21 день = ~400 конверсий. При среднем чеке 5 000 руб. — это 2 млн руб.

Поэтому на сайте критичен sequential testing (останавливай тест при явном проигрыше) и guard rails (автоматическое переключение при падении ниже порога). Обоснуй бюджет на тестирование через калькулятор ROI.

Квиз: проверь себя

У тебя email-база 20 000 подписчиков, open rate 22%. Ты тестируешь две темы письма. Когда можно определить победителя?

2—4 часа! При базе 20 000 и open rate 22% у тебя ~4 400 открытий. Около 80% из них происходят в первые 2—4 часа. Этого достаточно для статзначимости при разнице в open rate > 2 п.п. Через 30 минут — рано, через 7 дней — избыточно для email.

Сайтовый A/B-тест: вариант B показывает +25% CR после 3 дней. 200 конверсий на каждый вариант. Что делать?

Продолжать минимум 2 недели! 200 конверсий на вариант — на грани статзначимости. А 3 дня не покрывают полный недельный цикл. Возможно, вариант B выигрывает только в будни. Внедрять без полного цикла — рискованно. Увеличение трафика (multi-armed bandit) — допустимо, но классический A/B предполагает равное распределение.

Когда что использовать: шпаргалка

Задача	Email A/B	Сайт A/B
Тестирование заголовков / CTA	Быстрый результат за 2—4 часа	Нужна выборка 30 000+
Тестирование ценообразования	Не подходит	Идеально, с guard rails
Тестирование времени контакта	Идеально	Не применимо
Тестирование структуры страницы	Не применимо	Основной сценарий
Персонализация	Сегменты базы	Поведенческие когорты

Подробнее об инструментах для сайтового тестирования — в нашем обзоре топ-10 платформ A/B-тестирования. Для email-инструментов — топ-10 программ для email-маркетинга.

Если ты работаешь с аналитикой — сравни инструменты в нашем разборе Яндекс Метрика vs GA4.

Следи за новыми разборами инструментов в разделе новостей.

Что дальше?

В Telegram-канале @lexamarketolog выходят разборы реальных A/B-тестов с цифрами — что сработало, что нет и почему. Подпишись, чтобы не повторять чужие ошибки.

Также: видео на MAX · разборы в ВК · сторис @loading_express

Email A/B-тестирование vs A/B на сайте: 5 принципиальных различий, о которых молчат

Различие 1: размер выборки и скорость результата