Большая часть A/B-тестов, которые проводит малый бизнес, статистически бесполезна — не потому что идея тестирования плоха, а потому что нарушены базовые правила: слишком маленькая выборка, тест остановлен раньше срока, или сравниваются варианты, различающиеся сразу по нескольким параметрам одновременно. В результате тест дает ответ, который звучит уверенно, но на самом деле мог получиться случайно.

Начинайте не с A/B, а с A/A-теста

Прежде чем тестировать реальные варианты друг против друга, полезно провести A/A-тест — разбить аудиторию на две группы и показать обеим один и тот же вариант. Если система разбивки работает корректно, различий между группами быть не должно; если различия статистически значимые, значит, проблема в самой механике теста — ошибки сегментации, пересечение групп, технические различия в отрисовке. При запуске тестирования на новой платформе, например в Яндекс Директе, имеет смысл настроить именно А/А-тест, подождать 3–4 дня и только после этого оценивать, стоит ли продолжать эксперимент дальше.

A/A-тест заодно калибрует ожидания: если метрика «прыгает» на 2–3% даже при полностью идентичных вариантах, то тест, нацеленный поймать эффект меньше этого разброса, заведомо даст ненадежный результат — и лучше знать об этом до запуска, а не после разочаровывающих выводов.

Размер выборки — не интуиция, а расчет

На нужный размер выборки влияет несколько факторов сразу: минимальный эффект, который вы хотите уверенно зафиксировать, базовая величина метрики — конверсия 1% требует значительно большей выборки, чем конверсия 30%, — выбранный уровень статистической значимости и разброс данных внутри самой метрики. Если фактическая выборка не дотягивает до расчетной, выводы из теста почти бесполезны, сколько бы уверенности они ни внушали на первый взгляд. Обратная крайность тоже существует: слишком большая выборка способна сделать статистически значимыми даже различия, которые не имеют никакого практического значения для бизнеса.

Реальный пример — не мой кейс, а публичный случай из открытых источников

Дальше не мой личный опыт, а описанный в открытой публикации случай — привожу его как иллюстрацию методики расчета выборки.

Крупный ритейлер тестировал персонализацию темы письма на выборке в 50 тысяч подписчиков: калькулятор показал минимально необходимую выборку в 9600 человек, взяли с запасом. Через семь дней вариант с именем в теме победил с уровнем значимости 97%. Показательно, что тест не остановили раньше срока, хотя тенденция могла быть видна и раньше, — досрочная остановка теста при первых обнадеживающих цифрах — одна из типичных причин ложных выводов.

Частые ошибки, которые обнуляют результат теста

Минимальная длительность теста и почему торопиться нельзя

Даже при формально набранной выборке тест стоит держать открытым не меньше одной-двух недель — это нужно, чтобы учесть недельную цикличность поведения пользователей: будни и выходные, разные дни недели могут вести себя по-разному, и слишком короткий тест рискует зафиксировать не устойчивый эффект, а особенность конкретных нескольких дней.

Отсутствие значимости — тоже результат, а не провал теста

Если статистической значимости по итогам теста не набралось, это не значит, что тест прошел зря, — это значит, что гипотеза не подтвердилась в заданном масштабе эффекта. Правильная реакция — зафиксировать результат и перейти к следующей гипотезе, а не считать эксперимент неудачным просто потому, что не получилось эффектной победы одного варианта над другим.

Если хотите протестировать гипотезу в рекламе, но не уверены, что выборка и сроки посчитаны правильно, — оставьте заявку в форме ниже, посчитаем вместе.

К какому выводу я пришел

A/B-тест — это не «включить два варианта и посмотреть, что выиграет», а процедура с четкими требованиями к выборке, длительности и чистоте эксперимента. Пропуск любого из этих требований не делает тест бесполезным полностью, но серьезно снижает доверие к его выводам — а решения, принятые на основе такого теста, рискуют оказаться случайностью, выданной за закономерность.

Читайте также
Конкурентная разведка Как увеличить продажи в клининговой компании Разброс цен в коммерческом клининге достигает 10–14 раз. Почему сравнение по сайтам вводит в заблуждение и что видно в реальном коммерческом предложении. Контекстная реклама Что такое единая перфоманс-кампания (ЕПК) в Яндекс Директе С сентября 2024 года текстово-графических кампаний в Директе больше нет. Что делает один формат вместо трёх и как устроены три уровня настроек. Маркетинг для B2B Как увеличить продажи в стоматологической клинике Рынок стоматологии растёт за счёт среднего чека, а не новых пациентов. Почему «цена от» в рекламе не совпадает с реальным чеком и что решает выбор пациента.