Кажется, что тест — это просто «показали половине одну версию, половине другую и сравнили». На практике у экспериментов на сайте есть три разных типа, и каждый отвечает на свой вопрос. Если перепутать тип, можно сделать выводы, которых нет, или потратить недели на проверку того, что нельзя проверить.
01Зачем вообще нужны три разных теста
Эксперименты нужны, чтобы принимать решения не по интуиции, а по данным. Но прежде чем сравнивать «синюю кнопку с зелёной», важно понять, на какой именно вопрос вы отвечаете. От этого зависит и тип теста, и нужный объём трафика, и интерпретация результатов.
Три формата покрывают разные задачи: проверить, что инструмент тестирования вообще работает корректно; сравнить два варианта одного элемента; сравнить много комбинаций элементов одновременно. Если использовать инструменты по назначению, тесты дают быстрые и понятные ответы.
02A/A-тест: проверка самого инструмента
В A/A-тесте обеим группам показывается один и тот же вариант страницы. Логика простая: если вы случайно делите трафик пополам и не вносите никаких изменений, конверсия в обеих группах должна совпадать в рамках статистической погрешности.
Если же A/A-тест показывает «значимую» разницу — это сигнал, что в системе что-то не так: неправильно делится трафик, считаются «грязные» события, в выборку попадают боты, или метрика технически устроена не так, как вы думаете. До тех пор, пока A/A не пройден, верить A/B-результатам нельзя.
Когда применять A/A
- Перед первым серьёзным A/B-тестом на сайте.
- После смены системы аналитики или сервиса экспериментов.
- После заметных правок в счётчиках Яндекс.Метрики и целях.
03A/B-тест: сравнение двух вариантов
Самый частый формат. Половина посетителей видит вариант A (контроль), половина — вариант B (с изменением). Сравнивается одна ключевая метрика: конверсия в заявку, добавления в корзину, доходимость до оформления.
A/B хорошо работает, когда вы хотите проверить одну гипотезу: новый заголовок, другой порядок блоков, форма на 3 поля вместо 7. Подробнее о подходе к гипотезам — в статье A/B-тестирование сайта.
Чего A/B не умеет
A/B-тест не отвечает на вопрос «какая комбинация изменений лучше». Если вы одновременно поменяли заголовок, кнопку и форму, в случае победы B вы не узнаете, что именно сработало. Для таких задач есть отдельный инструмент.
04Multivariate (MVT): много изменений сразу
Multivariate-тест сравнивает несколько вариантов нескольких элементов одновременно. Например: 2 заголовка × 2 кнопки × 2 изображения = 8 комбинаций. Система показывает каждую часть трафика и считает, какая комбинация даёт лучший результат и какой именно элемент вносит больший вклад.
Главный минус — MVT требует в разы больше трафика и времени, чем A/B. Если у вашей страницы 500 посещений в неделю, делить их на 8 комбинаций бессмысленно: вы не дождётесь значимости в разумный срок. Поэтому MVT уместен на крупных лендингах и в e-commerce с большим потоком — в том числе в задачах маркетинга для интернет-магазинов.
05Как выбрать тип теста под задачу
Простая логика выбора:
- Нужна проверка системы аналитики — A/A.
- Есть одна чёткая гипотеза «вот это лучше, чем то» — A/B.
- Хочется одновременно перебрать несколько элементов и трафика хватает — MVT.
Перед запуском любого теста стоит заранее зафиксировать: какую метрику считаете главной, какой минимальный эффект готовы считать значимым, сколько готовы ждать и что будете делать при ничьей. Без этих ответов любой результат можно «дорисовать» под удобный вывод.
06Типичные ошибки во всех трёх форматах
- Остановка теста, как только показалась «нужная» разница. Промежуточные подгляды сильно искажают значимость.
- Запуск без расчёта необходимой выборки. Маленькая выборка не различает шум и реальный эффект.
- Сравнение по микро-метрикам без проверки макро-результата: клики выросли, а заявок столько же.
- Изменение нескольких элементов внутри «A/B» — это уже не A/B, а скрытый MVT без нужного объёма данных.
Часть этих ошибок снимает грамотная настройка целей и сегментов в Яндекс.Метрике — этим как раз занимается направление дизайн и аналитика.
Эксперименты как часть подписки
В рамках подписки мы заранее составляем карту гипотез, считаем нужный объём выборки, запускаем A/B и MVT-тесты на ключевых страницах и отдельно проверяем корректность аналитики. Решения по сайту принимаются по данным, а не по ощущениям.
Официальная документация по теме — Справка Яндекс.Метрики.