35 ошибок при А/В-тестировании

A/B-тестирование — это такой вид маркетингового исследования, когда контрольной группе предлагают выбрать лучший, по ее мнению, вариант рекламного блока или его элемента, дизайн сайта, другой любой объект. С его помощью маркетологи получают оптимальное решение для своих задач. Такое исследование еще называют split testing — раздельным тестированием.

Оно предоставляет достоверные данные об эффективности изменений на сайте. Если изменения на сайте проводить без А/В тестирования, то это приведет к оттоку пользователей.

Об это и других аспектах А/В-тестирования в статье руководителя контент-студии WordFactory Натальи Кирик рассказывают маркетологи и SEO-специалисты: Роман Рыбальченко, Татьяна Помаранская, Юрий Альмужный, Маргарита Успенская, Вадим Якубенко, Олесь Тимофеев, Сергей Волык, Артем Пилипец, Александр Матола, Андрей Осипов, Константин Новофастовский, Сергей Гудков, Евгений Шевченко, Александра Бурлакова.

А/В-тестирование в цифрах:

• от 1 000 посетителей обычно нужно, чтобы получить достаточно данных в ходе А/В-тестирования;
• от 1 недели обычно должен длиться сплит-тест, чтобы получить достоверный результат;
• от 2 периодов, достаточных для совершения покупки, должен длиться тест.

35 ошибок в А/В-тестровании с комментариями специалистов:

Любая продающая страница может стать лучше, поэтому важно проверять гипотезы на практике.

Роман Рыбальченко, основатель агентства Roman.ua:

Ошибка номер один — люди вообще ничего не тестируют, либо делают это интуитивно. Мы обсуждали этот вопрос с Дмитрием Кудренко в первом выпуске подкаста ПРОДУКТИВНЫЙ РОМАН. Суть в том, что даже на Западе люди, которые должны проводить тестирование, обманывают, — не проводят тестов, подтасовывают результаты.

Татьяна Помаранская, интернет-маркетолог в Coral Travel Ukraine:

Часто допускаемая ошибка — разовое проведение А/В-тестирования. Оно должно быть регулярным. Только тогда улучшение и совершенствование будут постоянными.

Качество контента — важный, но не единственный фактор эффективности страницы. Улучшая текст, можно продать больше, быстрее, чаще, дороже. В то же время на эффективность страницы влияет не только тест, но и источник трафика, и его качество, и дизайн, и сам продукт, и то, включен ли телефон, указанный на сайте.

В продающей странице важно все: и цвет кнопки «Купить», и шрифт, и цвет фона страницы.

Юрий Альмужный, основатель и руководитель компании «Эль-Дом»:

Иной раз, просто переписав заголовки на сайте, мы получали рост конверсии на 30-50%. Так, кстати, было и с одной из версий нашего сайта.

Уменьшение длины лендинга втрое увеличивало отдачу от него. А повысить конверсию в 2 раза на одном сайте нам удалось, просто убрав лишние кнопки контактов — так мы меньше раздражали посетителей и получали больше обращений.

Ощутимо улучшить эффективность страницы может тестирование главных ее элементов, но менять оттенок фона, замена одного слова где-то в середине текста равнозначным по смыслу — забавно, но трудозатратно и неэффективно.

Каждый копирайтер хоть однажды получал задание «сделать, как у Розетки», но успех повторяют нечасто. При А/В-тестировании важно не копировать чужие решения слепо, а учитывать особенности своей компании.

Сделайте текст лучше, заменив «команду профессионалов» на «инженера Иванова Ивана Ивановича с дипломом по специальности “Машиностроение” и опытом 12 лет». Если просто заменить одну витиеватую (но бессмысленную) фразу другой, эффект не изменится.

Проверьте, станет ли элемент страницы (например, текстовый блок) эффективнее, если изменить подачу материала. Например, объёмную, но важную для клиента информацию подать лаконичнее, просто добавив фото, визуализировав процесс или создав пиктограммы.

Попапы, онлайн-консультанты и другие элементы страницы могут как стимулировать покупателя, так и раздражать его.

Вы можете сравнить эффективность текста, заказанного у копирайтера, и написанного с нуля самостоятельно, но это уже не А/В-тестирование.

Маргарита Успенская, аккаунт-директор в K50 Russia:

Перед запуском теста нужно четко понимать, что вы тестируете, и зачем вы это делаете. Тесты ради тестов только занимают время сотрудников и не ведут к какой-либо реальной выгоде для бизнеса.

Часто изменения на сайте тестируются на коллегах, знакомых, родственниках, сторонних экспертах. Но получить достоверные результаты можно, только если участниками тестирования будут именно представители целевой аудитории.

Если показать две аналогичные страницы, но с разными заголовками человеку, который ищет ваш товар, вы получите один результат. Если попросить его же оценить и сравнить контент, данные могут сильно отличаться.

Вадим Якубенко, full stack программист в компании Skylogic:

Сравните рекламный пост в соцсетях: “Оцени наш новый дизайн сайта! Корма для животных!” и “Корм для животных, доставка по всей Украине”. Очевидно, что первый пост привлечет переходов и конверсий гораздо больше, чем второй. Потому что в данном случае вашей целевой аудиторией будет армия программистов, маркетологов, дизайнеров, владельцев похожего бизнеса и других специалистов, которые будут заинтересованы в оценке внешнего вида, работоспособности продукта в целом, чтобы позаимствовать или, наоборот, не совершать ошибок в своей работе.

Олесь Тимофеев, основатель GeniusMarketing:

Для теста нужна большая аудитория. По нашему опыту, хороший результат происходит примерно от 1 000 посещений. Не нужно делать вывод на 100 посетителях.

Артем Пилипец, SEO-оптимизатор компании SEO7:

Для планирования объемов тестирования очень рекомендую использовать калькуляторы.

Сравнивать эффективность двух страниц важно одновременно. Тестирование одной страницы в течение недели, а второй — в течение другой недели, может быть неэффективным. На результат могут повлиять изменение ситуации (например, колебание курса валют), сезонность товара, праздничные и выходные дни.

Одна и та же страница может показывать разную эффективность в будние и праздничные дни, в рабочее и нерабочее время.

Можно посадить 50 человек за макбуки в офисе компании и оценивать результат, а можно показать реальную рекламу реальным пользователям в реальной для них обстановке и проверить, придут ли посетители из десктопа или мобильного устройства, будут дочитывать лендинг до конца, или сворачивать уже второй экран.

Увеличение конверсии в два раза может свидетельствовать о том, что оформили заказ не 500, а 1000 пользователей. Но в то же время это может означать, что просто оформили подписку на рассылку два человека, а не один.

То, что на рассылку подписались два человека, не означает, что вам обязательно нужно вносить изменения на сайте.

Александр Матола, руководитель WEB-отдела компании StarMarketing:

В рамках курса по интернет-маркетингу читаю лекции в академии ШАГ, где большая часть аудитории — владельцы бизнеса. Там в том числе рассказываю об А/В-тестировании, показываю студентам примеры тестов и возможные результаты, которых можно достичь с помощью этого инструмента. И есть такое наблюдение: если я показываю кейс, как изменение цвета кнопки с зеленого на красный повысило конверсию, многие решают, что красный цвет обладает волшебными свойствами, и при выполнении домашнего задания часто указывают, что им необходимо на своем сайте изменить цвет кнопок на красный.

Александр Матола, руководитель WEB-отдела компании StarMarketing:

Как бы мы ни тестировали корзину, что бы мы с ней ни делали, на сайте в тематике межкомнатных дверей она принесет значительно меньше продаж, чем заказ по телефону. Без изучения бизнес-процессов компании и потребностей клиента прийти к подобным выводам бывает сложно.

Поведение покупателя, который принимает решение, сидя за компьютером или с мобильного телефона, может сильно отличаться. Маководы и пользователи Android могут вести себя по-разному.

При продаже сложных решений и дорогих товаров между первым знакомством с продуктом и оформлением заявки на покупку может пройти несколько месяцев. В таких случаях важно проанализировать и первоначальный результат, и результат за среднестатистический период, который нужен для совершения покупки.

Александр Матола, руководитель WEB-отдела компании StarMarketing:

С современными системами аналитики мы можем посмотреть, как себя вели пользователи, которые не дошли до покупки. Такой анализ может дать нам много полезной информации, которая поможет добиться более высоких результатов, чем слепое принятие решений на основе одной только статистики по конверсиям.

Андрей Осипов, сертифицированный тренер Google, практикующий веб-аналитик, автор блога «Веб-аналитика и результат»:

В идеале нужно проводить текст минимум два цикла «принятия решения о покупке». Если решение о покупке принимается месяц, то тестировать нужно два месяца.

Олесь Тимофеев, основатель GeniusMarketing:

Перед любым тестом нужно исследовать поведение человека на сайте/страницах или том, что тестируют. Бывает так, что начинают менять те элементы, которые хорошо работают.

Маргарита Успенская, аккаунт-директор в K50 Russia:

Перед проведением тестирования стоит учесть множество факторов: как минимум разницу в коэффициенте конверсии в разные дни недели и разное время суток, сезонность, а также длительность цикла покупки на сайте. Если эти факторы при анализе первых результатов игнорировать, можно сделать неверные выводы. Поэтому эксперимент нужно доводить до конца, перед началом строго запланировав сроки, которые должны быть основаны на аналитике.

Константин Новофастовский, руководитель сервиса аудита рекламного трафика Сlickfrog.ru:

Стоит сделать акцент на том, что заявка с сайта — еще не продажа, и некоторые посадочные/лендинги могут приносить большое количество заявок, которые в продажи не превращаются из-за неточной информации на странице. Следовательно, желательно ориентироваться на закрытые продажи, а не только на заявки. Также часть заявок/продаж уходит в телефонный номер на сайте. Отсутствие колл-трекинга сильно влияет на точность выводов.

Сергей Волык, руководитель отдела контекстной рекламы SeoProfy:

Не проводите одновременные тесты на сайте и с объявлениями, если нет возможности точно получить результаты. При тестировании объявлений нужно обращать внимание на максимально приближенные к конверсии (продаже) показатели. То, что объявление более кликабельное, не значит, что оно эффективнее. Если у вас есть данные о количестве продаж, нужно смотреть на них, а не на количество кликов или CTR объявления. Объявление А может быть лидером по CTR и получать больше заявок. Но с объявления Б будет больше реальных продаж.

Роман Рыбальченко , основатель агентства Roman.ua:

Есть вероятность, что, например, увеличив клики по кнопке «Добавить в корзину», не увеличится общая конверсия, то есть больше людей просто будут переходить в корзину, но не будут покупать, потому что их будут как-то подталкивать. Я видел такие страницы, где любой клик приводит пользователя сразу к регистрации. Это обычно повышает процент регистрации, но финальная конверсия от этого не растет (если слишком рано перенаправить человека на следующий шаг, не дав ему специальных, дополнительных ожиданий).

В идеале хочется всегда тестировать по финальной метрике типа «выполненный заказ», но для этого нужно очень много трафика и очень много времени. Поэтому здесь два варианта: либо выбирается какая-то промежуточная метрика (например, «оформленный заказ»), либо тесты разбиваются на шаги (снизить показатель отказа, увеличить переходы на карточки товара, увеличить добавление в корзину). При этом нужно постоянно контролировать, чтобы рост конверсии на промежуточных шагах не приводил к падению на финальном шаге или ухудшению во всей воронке.

Сергей Гудков, интернет-маркетолог, специалист по оптимизации конверсии и построению воронок в Conversion42:

Суть ошибки в том, что тестировать надо гипотезы, а не идеи. Разница в том, что гипотеза содержит точное обоснование, почему целевой параметр изменится. Часто «родителем» таких качественных гипотез является исследование целевой аудитории: опросы, юзер-тесты, интервью. А после нескольких тестов идей руководство и вся команда полностью разочаровывается в оптимизации и сплит-тестах.

Сергей Гудков, интернет-маркетолог, специалист по оптимизации конверсии и построению воронок в Conversion42:

Вообще, это базовая ошибка для всех аналитиков. На какой-то странице не срабатывает код аналитики. Где-то событие передаётся через раз. Бывает, что сделают дополнительную функцию «заказ в один клик», но эти заказы не отслеживаются в ecommerce.

Евгений Шевченко, основатель агентства интернет-рекламы UaMaster:

Не забывайте интегрировать тестовые данные с Google Analytics. На каждую тестируемую страницу должна быть настроена отдельная цель. Это поможет потом сделать анализ по сегментам.

Александра Бурлакова, PPC Team Lead в агентстве performance-маркетинга Netpeak:

Пример такой ошибки — тестировать баннеры для новой аудитории без исключения показов для лояльной аудитории. Чтобы получить репрезентативные данные, аудитория должна быть без примесей.

По мнению Артема Пилипца, SEO-специалиста компании SEO7, это также серьезная ошибка.

Роман Рыбальченко, основатель агентства Roman.ua:

Часть инструментов не проходят А/А тестирование. А/А тестирование — это когда ничего не поменялось, мы просто проверяем, корректно ли инструмент распределяет трафик и считает. У нас был пример с Visual Website Optimizer, когда он показывал, что с вероятностью в 85% тестовая версия страницы превосходит на 20% саму себя. То есть такую же версию страницы. Для проведения тестирования мы используем Google Content Experiments и ждем доступа к Beta, чтобы использовать Google Optimizer. Ребята, которые использовали Optimizer и другие инструменты, например, Visual Website Optimizer, тоже говорили, что они часто не проходят А/А-тестирование.

О таких главных ошибках при А/В-тестировании мы узнали, спросив экспертов. Это уже второй случай, когда мы простой, казалось бы, вопрос разложили по полочкам. Напомню, что подобный опыт у нас был с темой про UTM-метки . Благодарим экспертов за уделенное время.

Мнение авторов гостевого поста может не совпадать с позицией редакции и специалистов агентства Netpeak.