От редакции
Мы начинаем новую рубрику «Эксперименты», в которой будем публиковать хаки от наших пользователей. Условия попадания в этот раздел очень простые: вы присылаете нам свой хак(лучше несколько) с описанием и скриншотами или схемами, как было и как стало. Плюс цифры (можно относительные), во что это вылилось. Наши читатели и мы подкинем вам дополнительные идеи, что еще можно улучшить в этом направлении, либо новые хаки для следующих экспериментов.
Открывает «Эксперименты» Алмас Абулхаиров.
Эксперимент
Мы создаем проект по lean-startup методологии. По крайней мере пробуем. Многие говорят «делайте так и так», но никто не показывает свои результаты (а скорее всего нихрена и не делают). Одна из задач lean-startup — это простыми и быстрыми тестами находить лучшие решения и мгновенно внедрять их в продукт.
Мы используем Optimizely для A/B тестирования сайта. Это потрясающе простой и мощный инструмент для улучшения любых конверсий.
Вот простой пример: кнопка регистрации.
Задача: найти название кнопки, которое заставит маесимальное число новых посетителей зарегистрироваться. Вот о чем идет речь:
Пробуем простые фразы:
- «Войти через ВК» (изначальное название, опорная точка, относительно которой измеряется улучшение)
- «Начать пользоваться»
- «Зарегистрироваться»
На всякий случай, дублируем вариацию «Войти через ВК» для A/A теста (т.е. проверка на то, чтобы одна и та же фраза примерно одинаково конвертировала).
Тест выполнили на 800 уникальных посетителях — достаточная выборка на фазе открытой беты. С ростом проекта, когда будут доступны в 10-100 раз большие выборки, тест перезапустим.
Результаты теста смотрим на картинках (оригинал по клику):
Как видим: «Начать пользоваться» — это improvement на почти 6%. Вери гуд. Actionable result ->Поставим эту фразу как главную.
Из ближайших интересуемых задач: поиск других фраз, проверка цветов, фраз лендинга, разные вариант компоновки лендинга, добавление секси-картинки в background страницы.
Даже «лучшие» 43% это херня, мне кажется. Целую половину аудитории теряем (либо это не качественный трафик). В любом случае, есть куда работать.
Да, кстати, считаю, что «A/A» тест на такой выборке удался. Быть может, на 10 000 посетителях значения их конверсий будут ближе.
И вообще, я к чему пишу: коллеги-стартаперы, не надо верить в «громкий» запуск проекта, иначе вы запуститесь с херовыми конверсиями и в жопу ваши деньги или деньги инвестора: из 1 млн посетителей вместо 500к юзеров к вам придут, например, 100к юзеров (в 5 раз потерян бюджет), а из оставшихся 100к когортный ретенш вообще будет печаль.
Продукт нужно постепенно улучшать, начиная с малого. Только тогда, когда контролируемой разработкой и измерениями вы почувствуете, что продукт объективно хорошо работает, можно говорить о больших кампаниях.
Если кто хочет: давайте в комментах заведем дискуссию, обменяемся мыслями и опытом, кто что делает, какими инструментами и практиками пользуется.
От редакции Growth Hacks: Очевидно, что в примере Алмаса было недостаточно трафика для того, чтобы считать эксперимент корректным. A/A тест дал разницу в 3,8%, тогда как само улучшение было только на 2,4%. Поэтому мнение редакции однозначное: молодцы, что сделали A/A тест, но доверять его результатам нельзя (кроме, пожалуй, вывода, что надпись «Зарегистрироваться» не подходит). Мы бы еще порекомендовали попробовать вариант, когда в зависимости от источника перехода (ФБ, ВК) текст на кнопке меняется.
Подписывайтесь на наши обновления в Facebook или во ВКонтакте.
Принимайте участие в рубрике Эксперименты.