Новая страница получила больше заявок, чем старая. Кажется, редизайн сработал. Но на новую версию мог прийти другой трафик, рекламное предложение могло измениться, а часть обращений — оказаться повторными.
Сравнение полезно только тогда, когда понятно, что именно вы проверяете. Иначе результат становится удобной историей о том, что команда и так хотела считать успешным.
Сформулируйте вопрос до запуска
«Какая страница лучше?» — слишком широкая задача. Более конкретная гипотеза: посетителям не хватает информации о составе услуги, поэтому уточнение первого экрана поможет им решить, подходит ли предложение.
Из такой гипотезы следуют изменение и критерий оценки. Если одновременно заменить дизайн, цену, аудиторию и форму заявки, отделить влияние одного элемента уже не получится.
Договоритесь о целевом действии
Отправка формы, запись на консультацию и квалифицированное обращение — разные результаты. Выберите основное действие и дополнительные проверки качества.
Например, увеличение отправок формы не обязательно полезно, если стало больше ошибочных обращений. Проверьте, не упростили ли вы действие так, что пользователи перестали понимать, на что соглашаются.
События должны учитываться одинаково на обеих версиях. До оценки результатов пройдите путь самостоятельно и убедитесь, что одно действие не записывается несколько раз.
Обеспечьте сопоставимость
Если одну страницу показывают новой аудитории, а другую — действующим клиентам, разница может объясняться составом посетителей. Аналогичная проблема возникает при сравнении разных сезонов или рекламных предложений.
По возможности сравнивайте варианты одновременно с корректным распределением посетителей. Если доступен только последовательный запуск, прямо отмечайте ограничения: это наблюдение до и после, а не чистое доказательство влияния дизайна.
Не назначайте победителя по первым заявкам
На небольших объёмах случайные колебания заметны особенно сильно. Универсального количества посетителей, после которого любой тест становится достоверным, нет.
План оценки зависит от исходной конверсии, ожидаемой разницы и выбранного метода. Если команда не умеет рассчитывать эти параметры, разумнее привлечь аналитика, чем пользоваться произвольным правилом «неделя прошла — пора выбирать».
Для длинных сделок нужно дождаться созревания результата. Заявка, полученная вчера, не обязана уже превратиться в продажу.
Запишите и неопределённый результат
Иногда данных недостаточно. Иногда варианты выглядят сопоставимо. Это нормальный итог, а не повод искать метрику, по которой новая страница всё-таки победила.
Сохраните гипотезу, период, версии страниц, источники аудитории и ограничения. Такой журнал защищает команду от повторения одного и того же эксперимента под разными названиями.
Хорошее сравнение не обязано закончиться громким ростом. Его задача — уменьшить неопределённость. Если вы теперь знаете, что проверить дальше и чего имеющиеся данные не доказывают, работа уже была полезной.
