Начнем изучение методов A/B тестирования (познакомиться с термином можно в Wikipedia) с рассмотрения грубых ошибок при проведении A/B тестов, которые допускают даже эксперты.
Данный материал написалNeil Patel (является соучредителем таких компаний, как Crazy Egg and KISSmetrics).
В общем, давайте сразу перейдем к перечислению 7 ошибок(на самом деле их 8):
- Верить всему, что читаете
Все просто — всем свойственно ошибаться - Останавливать тестирование, когда достигаются статистически значимые показатели
Практика показывает, что лучше придерживаться следующего правила: каждая вариация должна получить как минимум 100 конверсий, а тест нужно вести не меньше двух недель - Ожидать высоких результатов от малых изменений
Если малые изменения дают значимый результат, то проблемы либо с дизайном в целом, либо с текстом - Начинать тестирование с придумывания варианта посадочной страницы
Есть вероятность, что у вас все получится, но лучше опросить посетителей сайта/пользователей продукта - Частить с количеством постоянно проводимых тестов
Для сравнения результатов теста необходимо иметь достаточные и качественные исходные данные. При высокой частоте их просто не может быть - Проводить тесты с большим количеством значимых переменных
Нельзя работать со всеми возможными показателями, нужно определиться со значимыми для вас. Определите ваш показатель вовлеченности - Полагаться на результаты микротестирований
Результат A/B теста — это сумма микротестов. Например, CTR — это показатель микротеста, который на итоговое количество регистраций влияет опосредованно - Запускать абсолютно новый дизайн
По мнению автора, самая большая ошибка, которую только можно допустить — это смена дизайна по причине того, что он старый и не соответствует духу времени
Полный перевод статьи 7 A/B Testing Blunders That Even Experts Make вы можете найти в 436 рассылке «Продвижение сайта. Профессиональные советы экспертов» (рекомендуем подписаться).
Интересны ли вам материалы с результатами проведения живых A/B тестов, хаками, рекомендациями?