A/B тестирование. 7 грубых ошибок, которые допускают даже эксперты

A/B тестирование. 7 грубых ошибок, которые допускают даже эксперты

Начнем изучение методов A/B тестирования (познакомиться с термином можно в Wikipedia) с рассмотрения грубых ошибок при проведении A/B тестов, которые допускают даже эксперты.
Данный материал написалNeil Patel (является соучредителем таких компаний, как Crazy Egg and KISSmetrics).
В общем, давайте сразу перейдем к перечислению 7 ошибок(на самом деле их 8):

  1. Верить всему, что читаете
    Все просто — всем свойственно ошибаться
  2. Останавливать тестирование, когда достигаются статистически значимые показатели
    Практика показывает, что лучше придерживаться следующего правила: каждая вариация должна получить как минимум 100 конверсий, а тест нужно вести не меньше двух недель
  3. Ожидать высоких результатов от малых изменений
    Если малые изменения дают значимый результат, то проблемы либо с дизайном в целом, либо с текстом
  4. Начинать тестирование с придумывания варианта посадочной страницы
    Есть вероятность, что у вас все получится, но лучше опросить посетителей сайта/пользователей продукта
  5. Частить с количеством постоянно проводимых тестов
    Для сравнения результатов теста необходимо иметь достаточные и качественные исходные данные. При высокой частоте их просто не может быть
  6. Проводить тесты с большим количеством значимых переменных
    Нельзя работать со всеми возможными показателями, нужно определиться со значимыми для вас. Определите ваш показатель вовлеченности
  7. Полагаться на результаты микротестирований
    Результат A/B теста — это сумма микротестов. Например, CTR — это показатель микротеста, который на итоговое количество регистраций влияет опосредованно
  8. Запускать абсолютно новый дизайн
    По мнению автора, самая большая ошибка, которую только можно допустить — это смена дизайна по причине того, что он старый и не соответствует духу времени

Полный перевод статьи 7 A/B Testing Blunders That Even Experts Make вы можете найти в 436 рассылке «Продвижение сайта. Профессиональные советы экспертов» (рекомендуем подписаться).

Интересны ли вам материалы с результатами проведения живых A/B тестов, хаками, рекомендациями?

Мы присутствуем в Facebook и во ВКонтакте.