А/В-тестирование: 14 полезных ресурсов и 7 распространенных ошибок

Итак, вы решили прислушаться к советам и провести А/В-тестирование своих страниц или даже интерфейса.

Как вы собираетесь это делать?

  1. Запустить два варианта.
  2. Через часик посмотреть на конверсию.
  3. Тот вариант, где конверсия оказалась выше, оставить. И… Ждать продаж.

Хотим вас огорчить. Тест в этом виде будет совершенно бесполезен (это как минимум), он будет вредить вашему бизнесу и приведет к убыткам.

 

Каких же ошибок при A/B тестировании нужно избегать?

8-hippo

  1. Забыть определить количество людей для контрольных групп. Чтобы посчитать требуемое количество людей в группе, нужно знать текущий уровень конверсии события (в %), определить минимально обнаруживаемый эффект (выраженный в %), знать величину постоянного коэффициента, который позволит обеспечить высокий уровень доверия к результату (примерно 95%). Для подсчета (вы можете использовать специальный калькулятор). Как правило, оказывается, что в контрольных группах людей недостаточно. Следовательно, вы не увидите статически значимых изменений.

 

  1. Проявить невнимание к источникам трафика. Источники трафика для теста нужно разделять. У разных источников трафика разная мотивация. Если в одну контрольную группу попадет много людей из одного источника трафика с одной мотивацией, а во вторую – люди из другого источника трафика с другой мотивацией, то разница в результатах будет продиктована разной изначальной мотивацией пользователей. Для решения проблемы нужно либо ограничиться одним источником и типом трафика, либо проанализировать показатели источников трафика после того, как тест проведен.

 

  1. Сэкономить время. Тестирование нужно проводить так долго, сколько требуется для того, чтобы через него прошли все типы ваших пользователей. Длительность тестирования может проходить неделю, а может занять и больше времени.

Когда речь идет о тестировании конверсии страницы, очень часто маркетологи останавливают тест тогда, когда видят, что конверсия достигла того уровня, который они прогнозировали (который им просто нравится). Тут же составляется отчет, который демонстрирует хорошие показатели. Но вот через время может оказаться, что конверсия страницы, на которую был направлен весь трафик после проведения теста, вообще скатиться до своего минимума.

Ton Wesseling, основавший облачный сервис сплит-тестирования Testing Agency, по этому поводу высказался так: «Остановка теста сразу после того, как был достигнут порог статистической достоверности, — смертный грех №1. 77% из A/В-тестов, когда тестируется один и тот же лэндинг, в определенный момент достигают своего порога значимости».

Более того, в первые несколько дней новый лэндинг демонстрирует более высокую конверсию за счет своей новизны. Но уже на второй неделе перевес обычно оказывается незначительным. Примерно через месяц значения выравниваются и можно говорить о том, какой вариант лендинга действительно лучше. Ton Wesseling советует проводить тестирование в течение максимум 4 недель (оптимально 2-3 недели, в зависимости от того, какие показатели вы тестируете).

 

  1. Создать разные условия для разных пользователей. Если вы предлагаете свои продукты и решения в разных регионах, т.е. суммы, сроки поставки, наличие товара может меняться, тогда перед тем, как проводить тест, вы должны создать одинаковые условия для всех. Поменяйте хоть одно условие, и это уже повлияет на решение пользователей. Если условия будут разными, ни о какой чистоте эксперимента речи быть не может.

Как можно создать одинаковые условия? Например, проводить A/B тестирование для людей только из одного региона. В итоге, пользователи, которые заходят на страничку, увидят одинаковые цены, одинаковые условия доставки товара, одинаковые данные по наличие товара на складе и т.д.

 

  1. Вы не знаете, что хотите улучшить. Перед тем, как проводить тесты, нужно сформулировать цели и понимать, что вы пытаетесь улучшить. Не нужно проводить тесты только для галочки, ради отчета. Вы должны знать, что вы хотите оптимизировать, зачем и сделать свои прогнозы. Если вы не будете прогнозировать результат, то не сможете качественно проанализировать результаты тестирования.

 Еще один совет: не ограничивайте свои ожидания. Возможно, разместив больше информации на страничке товара, вы не сможете значительно увеличить конверсию. Но, скорее всего, увеличите время, которое пользователь проведет на вашей странице.

 

  1. Использовать слишком большое количество показателей для одного сплит-теста. Порой сплит-тестирование проводят после серьезного редизайна сайта. Владелец в таком случае хочет убедиться в том, что его обновленный сайт лучше, чем старая версия.

Если тест проводится грамотно, в таком случае вы можете получить новые хорошие идеи для бизнеса. Но если страницы сайта кардинально отличаются, вы потратите время впустую, так как изменилось слишком много показателей, влияющих на поведение пользователей.

В этом случае рекомендуется проводить тестирование поэтапно. Например, сначала оставить одинаковый дизайн и проверить эффективность текстов на странице. Затем, оставить одинаковые тексты и проверить, как влияет на конверсию изменение графического дизайна страниц. Опять же к задаче нужно подходить с умом и не тестировать такие мелочи, как размер заголовка, выбирая между 16 и 18 пунктами…

  1. У вас нет четкого плана для проведения A/B тестирования. Как составить хороший план для сплит-тестирования, чтобы оно приносило результаты, читайте здесь.

 

14 полезных ресурсов для проведение сплит-тестов

Which test won – сайт содержит тысячи примеров A/B тестов для разных компаний. Изучайте опыт и применяйте!

User Testing – этот сайт будет вам полезен, если вы хотите получить обратную связь от пользователей, узнать, что их останавливает от заказа.

Crazy Egg – этот инструмент позволит разобраться, каким образом пользователи взаимодействуют с вашим сайтом. Например, вы можете узнать, на сколько экранов вниз пользователи прокручивают вашу страницу, определить, в нужном ли месте вы разместили свои призывы к действию и формы. Может оказаться, что вы разместили СТА-кнопку слишком низко, а форму сбора контактов слишком высоко.

Google Experiments – если вы хотите запустить A/B tests бесплатно, воспользуйтесь возможностями, которые дает вам Google Analytics. А тут вы можете прочитать о том, как делать анализ A/B тестов на основе данных Google Analytics.

Optimizely – один из лучших инструментов для проведения A/B тестирования. Даже если вы не разработчик, вы можете модифицировать свой сайт в их WSIWYG-редакторе и запустить тест.

Unbounce – landing pages – это великолепный способ повысить показатели конверсии. С Unbounce легко создавать и тестировать лендинги. Заодно посмотрите на критику 26 прекрасных лэндингов, сделанную на основе A/B тестов. 

Bounce Exchange – если у вас есть лидогенерирующий сайт, вы можете легко увеличить ваши продажи на 10%-20% используя этот сервис.

Hellobar  – это бесплатный сервис, направляйте с его помощью трафик на ваши страницы.

ConversionXL – великолепный блог, посвященный вопросам конверсии. Вы найдете советы, ресурсы, кейсы и другую полезную информацию для запуска сплит-тестирования, оценивая результаты тестов.

Qualaroo – еще один из полезных инструментов для качественного анализа страниц сайта или одностраничника. Вы можете задать пользователям простые вопросы, чтобы понять, что нужно изменить на сайте, чтобы увеличить объемы продаж.

KISSmetrics – используйте, если хотите не просто оптимизировать конверсию, а увеличить доход от продаж ваших товаров, решений или услуг.

Блог Брайана Айзенберга — если вы хотите читать хороший блог, посвященный a/b тестированию, или полезные книги по данному вопросу, сможете их отыскать на страницах этого блога.

Ну и конечно, используйте нашу платформу для лидогенерации, чтобы самостоятельно проводить сплит-тестирование лендингов и получать релевантные результаты.

Елена Лонская

  • Спасибо, Андрей! Можно сказать что вы уже добавили )