A/B-тестирование сайта: как проверять гипотезы

A/B-тест устроен просто: трафик делится на две (или больше) группы, каждая видит свой вариант страницы, и через какое-то время вы сравниваете, в каком варианте больше заявок. Сложности начинаются на старте — потому что без правильной гипотезы и достаточного объёма данных любой результат — это шум.

01Что вообще стоит тестировать

Не каждое изменение требует A/B-теста, но есть категория, где он почти всегда оправдан: всё, что напрямую влияет на конверсию. По убыванию частоты применения:

• Заголовки первого экрана и оффер: формулировка, акцент на выгоде или на проблеме.
• Кнопки призыва к действию: текст («Оставить заявку» vs «Получить расчёт»), цвет, расположение.
• Формы: количество полей, обязательность, многошаговая или одношаговая, тип контакта по умолчанию.
• Лид-магниты и офферы: «скидка», «бесплатный аудит», «расчёт за 1 час» — что лучше срабатывает.
• Структура страницы: где блок с ценой, где отзывы, где кейсы.
• Карточка товара в ecommerce: фото, описание, кнопки, акценты.

А вот цвет иконки в подвале или отступ заголовка на 8 пикселей — обычно не стоят отдельного теста, даже если очень хочется.

02Как формулировать гипотезу

Гипотеза — это не «поменять кнопку и посмотреть». Это утверждение в формате «если мы сделаем X, то метрика Y изменится на Z, потому что причина W». Подробнее формат разбираем в материале о том, что такое A/B-тест.

Пример хорошей гипотезы

«Если в форме на странице услуги мы заменим четыре поля (имя, телефон, email, комментарий) на два (имя, телефон), конверсия в заявку вырастет, потому что пользователь меньше думает о том, зачем компании его email».

Пример плохой гипотезы

«Давайте поменяем кнопку на зелёную, кажется, так лучше». Здесь нет ни ожидаемого эффекта, ни логики — после такого теста невозможно сделать вывод, который пригодится в других решениях.

03Сколько трафика нужно для теста

Это самый недооценённый вопрос. Если на странице 200 посещений в месяц, A/B-тест бессмысленен — разница в одну-две заявки на «верный» вариант ничего не доказывает.

Очень грубая ориентировка: чтобы поймать рост конверсии с 2% до 3% (то есть на 50%) на 95-процентном уровне доверия, на каждую группу нужно порядка 4–5 тысяч посещений. Если ваша гипотеза предполагает рост поменьше (с 2% до 2,3%), счёт идёт уже на десятки тысяч.

Что делать, если трафика мало

• Тестировать только большие изменения (другой оффер, другая структура, другая форма) — они дают заметную разницу.
• Тестировать на странице с самым большим трафиком, а не на «той, где хочется».
• Запускать тесты дольше — несколько недель, чтобы захватить разные дни недели и поведенческие циклы.
• Использовать качественные методы: записи сеансов в Яндекс.Метрике, карты кликов и скроллов, юзабилити-интервью. Это не статистика, но даёт реальные инсайты.

04Сколько ждать и когда останавливать

Главный соблазн — посмотреть на тест на третий день, увидеть «о, вариант B на 30% лучше!» и катить его в продакшен. Так делать нельзя: в первые дни разница почти всегда статистически незначима и может полностью развернуться.

Базовые правила

• Тест должен идти минимум полный недельный цикл — поведение в будни и выходные отличается.
• Достичь заранее рассчитанного размера выборки (количества посещений на группу).
• Достичь статистической значимости — стандартом считается уровень 95%.
• Не «подглядывать» в результаты по 10 раз в день и не выбирать вариант сразу, как только он «вышел вперёд».

Если по итогам срока и набора выборки разницы нет — это тоже результат. Он говорит: «менять или не менять — без разницы», и тогда можно оставить любой вариант или переходить к следующей гипотезе.

05Чем тестировать

Базовые инструменты в российской практике:

• Яндекс.Метрика — встроенный эксперимент A/B, удобно для простых сценариев (изменение блока, заголовка, кнопки). Бесплатно.
• Google Optimize исторически был популярным выбором, но сейчас закрыт.
• Сторонние сервисы — Convert, VWO и аналоги, платно. Имеет смысл, если тестов много и нужны сложные сегментации.
• Серверный A/B — самописное решение на стороне сайта. Полный контроль, но нужна разработка.

В большинстве случаев для малого и среднего бизнеса хватает Метрики и нормально настроенных целей. Не путайте сами тесты с инструментами анализа — без понятных целей в Метрике даже идеальный сервис тестирования будет показывать «не пойми что».

06Типичные ошибки A/B-тестов

Список того, что чаще всего обнуляет ценность теста:

• Слишком мало трафика. Разница в 1 заявку — это не результат.
• Тестируется сразу пять изменений. Если вы поменяли заголовок, кнопку, форму и фон одновременно, потом непонятно, что именно сработало.
• Изменения на разных страницах сравниваются друг с другом. Сравнивать можно только варианты одной страницы для одного типа трафика.
• Тест запущен на разных источниках. Если контекст показывает версию A, а SEO — версию B, выводы испорчены: это разная аудитория.
• Раннее завершение. «На третий день уже всё ясно» — почти всегда нет.
• Тест на сезонных всплесках. Запускать тест посадочной страницы новогодних подарков в феврале — плохая идея.
• Нет связки с заявками. Метрика показывает «улучшение кликабельности», но звонков не стало больше. Цель всегда должна быть на бизнес-результате — заявка, звонок, оплата.

07Как встроить A/B-тесты в работу над сайтом

A/B-тесты — это не «разовое мероприятие», а часть нормальной работы над сайтом и конверсией. Хорошая практика — вести список гипотез, ранжировать их по потенциальному эффекту и стоимости проверки, тестировать одну за другой, фиксировать выводы.

Тесты подсвечивают, что менять; другие методы повышения конверсии подсказывают, какие гипотезы вообще стоит формулировать. Полезно сочетать: количественные данные (Метрика, A/B) и качественные (записи сеансов, опросы пользователей, обратная связь от менеджеров по продажам).

Официальная документация по теме — Справка Яндекс.Метрики.