За 9 месяцев нет изменений? #cro #ad #sale
На днях случился вот такой диалог.
— Можете помочь нам с конверсией?
— Расскажите, пожалуйста, о текущей ситуации и что необходимо
— У нас сейчас меняется product manager и уходит UX’ер. За 9 месяцев ничего так и не сдвинулось…
— А сколько экспериментов провели за это время?
— Не было проведено ни одного эксперимента. Было больше «я художник, я так вижу, ничего не тестируем, так внедряем».
… Стоп!
Если у вас похожая ситуация и есть желание пройти этот путь быстрее, то вот первый шаг: выполните все задания из этого практического курса по росту конверсии.
Очень рекомендую инвестировать эту сумму денег и своё время в курс чтобы:
1. Запустить реальные эксперименты
2. Избавиться от «я художник, я так вижу» и начать делать UX исследования
3. Перейти от шаманства и предсказаний к анализу данных
Пошаговая инструкция, куда идти и что делать, позволит сэкономить месяцы времени, избежать глупых ошибок и получить рост конверсии.
CRO is the most important marketing activity because it makes every visitor exponentially more valuable.©
На днях случился вот такой диалог.
— Можете помочь нам с конверсией?
— Расскажите, пожалуйста, о текущей ситуации и что необходимо
— У нас сейчас меняется product manager и уходит UX’ер. За 9 месяцев ничего так и не сдвинулось…
— А сколько экспериментов провели за это время?
— Не было проведено ни одного эксперимента. Было больше «я художник, я так вижу, ничего не тестируем, так внедряем».
… Стоп!
Если у вас похожая ситуация и есть желание пройти этот путь быстрее, то вот первый шаг: выполните все задания из этого практического курса по росту конверсии.
Очень рекомендую инвестировать эту сумму денег и своё время в курс чтобы:
1. Запустить реальные эксперименты
2. Избавиться от «я художник, я так вижу» и начать делать UX исследования
3. Перейти от шаманства и предсказаний к анализу данных
Пошаговая инструкция, куда идти и что делать, позволит сэкономить месяцы времени, избежать глупых ошибок и получить рост конверсии.
CRO is the most important marketing activity because it makes every visitor exponentially more valuable.©
Упражнение на проверку дизайна #cro #exercise
Ещё одно упражнение на повышение конверсии. Возьмите «человека с улицы» и покажите ему сайт, главную страницу, лендинг… на 10-20-30 секунд.
Потом задайте ряд вопросов
Что здесь продаётся?
Есть ли гарантия на услугу, какая? Есть ли доставка товара, какая? … По сути спрашивайте о важных деталях предложения.
Проверка
Если человек полностью пересказал важные элементы после вопроса «Что здесь продаётся?» - это успех. Каждому такому аспекту ставьте оценку +1.
Если человек верно ответил только после прямого вопроса, то ставьте 0.
Если не верно ответил или не ответил вовсе, то ставьте -1.
В результате получается табличка с деталями предложения, которым надо добавить акцент. Это может быть текст, фото, видео, любой контент и дизайн.
Ещё одно упражнение на повышение конверсии. Возьмите «человека с улицы» и покажите ему сайт, главную страницу, лендинг… на 10-20-30 секунд.
Потом задайте ряд вопросов
Что здесь продаётся?
Есть ли гарантия на услугу, какая? Есть ли доставка товара, какая? … По сути спрашивайте о важных деталях предложения.
Проверка
Если человек полностью пересказал важные элементы после вопроса «Что здесь продаётся?» - это успех. Каждому такому аспекту ставьте оценку +1.
Если человек верно ответил только после прямого вопроса, то ставьте 0.
Если не верно ответил или не ответил вовсе, то ставьте -1.
В результате получается табличка с деталями предложения, которым надо добавить акцент. Это может быть текст, фото, видео, любой контент и дизайн.
#nicehypothesis Разделение больших форм на пошаговое заполнение может дать рост в конверсии. Важно выполнить следующие условия.
Во-первых, показать все шаги, чтобы было понятно как много осталось и что будет. Во-вторых, сложные поля перенести ближе к окончанию. Здесь эффект последовательности и желание завершить будет работать нам на руку.
Во-первых, показать все шаги, чтобы было понятно как много осталось и что будет. Во-вторых, сложные поля перенести ближе к окончанию. Здесь эффект последовательности и желание завершить будет работать нам на руку.
А может вам и не надо это А/Б тестирование? #cro #exercise
Откройте сайт https://guessthetest.com/, смотрите на тесты и пытаетесь угадать какой тест выиграл.
Я не могу назвать это другим словом, только угадывать. Я уверен, что знать невозможно. Если у вас получилось угадать 10 из 10, то может и действительно ну его эти #splittest. С таким везением лучше сразу в казино.
Откройте сайт https://guessthetest.com/, смотрите на тесты и пытаетесь угадать какой тест выиграл.
Я не могу назвать это другим словом, только угадывать. Я уверен, что знать невозможно. Если у вас получилось угадать 10 из 10, то может и действительно ну его эти #splittest. С таким везением лучше сразу в казино.
GuessTheTest
Money-making A/B test case study results, ideas, and insights. Take gamified split-tests to inspire and validate your testing ideas with objective, real-life results. Apply the data to increase revenue and optimize your testing success.
Следующий уровень угадывания А/Б тестов #cro #exercise #splittest
Возвращаемся на сайт guessthetest.com, смотрим на тесты, смотрим какой выиграл, самостоятельно записываем «почему» тест выиграл и потом уже сверяем с описанием на сайте.
Более весёлой и поучительной эту затею может сделать участие коллег. Часто разные люди имеют разное мнение и разные истории по одинаковому поводу. #narrativefallacy
Возвращаемся на сайт guessthetest.com, смотрим на тесты, смотрим какой выиграл, самостоятельно записываем «почему» тест выиграл и потом уже сверяем с описанием на сайте.
Более весёлой и поучительной эту затею может сделать участие коллег. Часто разные люди имеют разное мнение и разные истории по одинаковому поводу. #narrativefallacy
Тестируйте пользовательский путь, а не интерфейс
На старте многие команды тестируют именно UX, а не userflow. И это, на мой взгляд, не верно.
Разница между #userflow и #ux следующая: UX - это внешний вид, Userflow - это последовательность информации (вопросы и ответы), путь которым пользователь приходит к решению о покупке.
Важно, что изменяя UX можно поменять и путь пользователя, а можно и не поменять конечно.
Изменение UX. Раньше пользователи могли добраться на страницу с условиями доставки только через меню в шапке сайта. Добавили ссылки в подвал сайта и в середину страницы. Путь не изменился. Следующим шагом люди и так хотели видеть условия доставки. Просто теперь стало легче.
Изменение пути. Раньше пользователи интересовались доставкой на странице товара и уходили на отдельную страницу, там они видели расширенную информацию и это их пугало. Мы вынесли основную информацию на карточку товара и необходимость переходить на отдельную страницу у большинства пользователей исчезла. Их больше ничего не смущает, конверсия должна увеличиться.
При составлении гипотез, фокусируйтесь на пользовательский путь. Это поможет делать сильные гипотезы и извлекать знания о пользователях.
На старте многие команды тестируют именно UX, а не userflow. И это, на мой взгляд, не верно.
Разница между #userflow и #ux следующая: UX - это внешний вид, Userflow - это последовательность информации (вопросы и ответы), путь которым пользователь приходит к решению о покупке.
Важно, что изменяя UX можно поменять и путь пользователя, а можно и не поменять конечно.
Изменение UX. Раньше пользователи могли добраться на страницу с условиями доставки только через меню в шапке сайта. Добавили ссылки в подвал сайта и в середину страницы. Путь не изменился. Следующим шагом люди и так хотели видеть условия доставки. Просто теперь стало легче.
Изменение пути. Раньше пользователи интересовались доставкой на странице товара и уходили на отдельную страницу, там они видели расширенную информацию и это их пугало. Мы вынесли основную информацию на карточку товара и необходимость переходить на отдельную страницу у большинства пользователей исчезла. Их больше ничего не смущает, конверсия должна увеличиться.
При составлении гипотез, фокусируйтесь на пользовательский путь. Это поможет делать сильные гипотезы и извлекать знания о пользователях.
#neuromarketing Абалденный пример
Нейромаркетинг - слово и понятие относительно новые и достаточно популярные. Но только сегодня я встретил действительно хороший пример, где объединены нейро и маркетинг в решение, которое приносит деньги.
Вводная
Феромоны (очень просто) - это то, чем пахнем мы и некоторые другие животные. Феромоны улавливаются обонянием, т.е. мы чувствуем их запах. Чувствуем мы это подсознательно и это влияет на наши предпочтения: нравится, не нравится, больше или меньше нравится.
Доказано, что женщины лучше реагируют на мужские феромоны, а мужчины на женские.
🙊 Шок-контент. Шанель№5 делают из пота абиссинских котов. Страшно даже подумать из чего делают остальное.
Задача
Цель бизнеса продать больше духов. Основная аудитория - женщины. Цель основной аудитории - приятно пахнуть, в основном для мужчин.
Вопрос. В духи надо добавлять Феромоны мужские или женские? И почему?
Ответ №1. Добавлять надо конечно же женские феромоны, тогда духи будут оказывать влияние на мужчин.
Ответ №2. Верный. Добавлять надо мужские феромоны. Решение женщина принимает в магазине, когда нюхает духи. Мужские Феромоны пахнут приятнее (привет #neuro) и потому решение принимается в сторону этих духов, что увеличивает продажи (привет #marketing).
😜 Не даёт заснуть.
Получается, что большинство духов содержит мужские феромоны. И те духи, что мужчинам нравятся, тоже содержат мужские феромоны... Мужчинам нравятся мужские Феромоны, практически только в одном случае ;)
p.s. не ясно пока как феромоны засунуть в веб или в телефон, но стоит подумать...
Нейромаркетинг - слово и понятие относительно новые и достаточно популярные. Но только сегодня я встретил действительно хороший пример, где объединены нейро и маркетинг в решение, которое приносит деньги.
Вводная
Феромоны (очень просто) - это то, чем пахнем мы и некоторые другие животные. Феромоны улавливаются обонянием, т.е. мы чувствуем их запах. Чувствуем мы это подсознательно и это влияет на наши предпочтения: нравится, не нравится, больше или меньше нравится.
Доказано, что женщины лучше реагируют на мужские феромоны, а мужчины на женские.
🙊 Шок-контент. Шанель№5 делают из пота абиссинских котов. Страшно даже подумать из чего делают остальное.
Задача
Цель бизнеса продать больше духов. Основная аудитория - женщины. Цель основной аудитории - приятно пахнуть, в основном для мужчин.
Вопрос. В духи надо добавлять Феромоны мужские или женские? И почему?
Ответ №1. Добавлять надо конечно же женские феромоны, тогда духи будут оказывать влияние на мужчин.
Ответ №2. Верный. Добавлять надо мужские феромоны. Решение женщина принимает в магазине, когда нюхает духи. Мужские Феромоны пахнут приятнее (привет #neuro) и потому решение принимается в сторону этих духов, что увеличивает продажи (привет #marketing).
😜 Не даёт заснуть.
Получается, что большинство духов содержит мужские феромоны. И те духи, что мужчинам нравятся, тоже содержат мужские феромоны... Мужчинам нравятся мужские Феромоны, практически только в одном случае ;)
p.s. не ясно пока как феромоны засунуть в веб или в телефон, но стоит подумать...
#nicehypothesis Используйте сегментацию на первом шаге, как возможность для персонализации на следующем шаге.
Мне нравится разделять критерии выбора на «предустановленные» и «изменяемые». Поясню…
Предустановленные - это те, что потребитель не может изменить. Например, посетитель сайта выбирает подарок на день рождения маме. Это значит, что «кому» есть предустановленные параметр, а в месте с тем и «пол получателя». Сюда же, пол и возраст ребёнка при выборе одежды. Сюда же специализация врача при заболевании… И т.д.
Изменяемые - это те, что могут изменится. Самый яркий пример - это стоимость. Можно купить дешевле или дороже.
Обратите внимание, что есть критерии, которые могут быть менять свой тип в зависимости от контекста. Например, скорость доставки. Если у нас есть крайний срок в виде дня рождения или вылета в отпуск, то ничего здесь не сделаешь. С другой стороны часто плюс/минус день или даже два никого не смущает. Посылка из Китая идёт доооолго.
Есть запросы (ключевые слова), которые не дают точного понимания, например, «детская куртка на зиму». Совсем не понятен пол и возраст.
Используйте сегментацию на первом шаге. Это позволит сделать более персонализированное предложение и избежать мысли «ой, здесь нет того, что я ищу».
Мне нравится разделять критерии выбора на «предустановленные» и «изменяемые». Поясню…
Предустановленные - это те, что потребитель не может изменить. Например, посетитель сайта выбирает подарок на день рождения маме. Это значит, что «кому» есть предустановленные параметр, а в месте с тем и «пол получателя». Сюда же, пол и возраст ребёнка при выборе одежды. Сюда же специализация врача при заболевании… И т.д.
Изменяемые - это те, что могут изменится. Самый яркий пример - это стоимость. Можно купить дешевле или дороже.
Обратите внимание, что есть критерии, которые могут быть менять свой тип в зависимости от контекста. Например, скорость доставки. Если у нас есть крайний срок в виде дня рождения или вылета в отпуск, то ничего здесь не сделаешь. С другой стороны часто плюс/минус день или даже два никого не смущает. Посылка из Китая идёт доооолго.
Есть запросы (ключевые слова), которые не дают точного понимания, например, «детская куртка на зиму». Совсем не понятен пол и возраст.
Используйте сегментацию на первом шаге. Это позволит сделать более персонализированное предложение и избежать мысли «ой, здесь нет того, что я ищу».
Тест для первого экрана мобильной версии сайта
#nicehypothesis #mobilefirst На сегодня мобильное устройство является приоритетным. Об этом не однократно заявлял Google. Что надо сделать?
Откройте топ-5 посадочных страниц своего сайта и напишите для каждой страницы самый важный вопрос, с которым посетитель приходит на эту страницу. Далее ответьте честно, есть ли в первом экране ответ на этот вопрос или нет.
Второй шаг: в первом экране присутствует информация следующего шага. Т.е. что надо сделать дальше.
Часто оказывается, что в первом экране присутствует намёк на ответ и дальше информация, которую хотят показать, а не нужная посетителю.
p.s. проверить это так же можно с помощью разных тепловых карт.
#nicehypothesis #mobilefirst На сегодня мобильное устройство является приоритетным. Об этом не однократно заявлял Google. Что надо сделать?
Откройте топ-5 посадочных страниц своего сайта и напишите для каждой страницы самый важный вопрос, с которым посетитель приходит на эту страницу. Далее ответьте честно, есть ли в первом экране ответ на этот вопрос или нет.
Второй шаг: в первом экране присутствует информация следующего шага. Т.е. что надо сделать дальше.
Часто оказывается, что в первом экране присутствует намёк на ответ и дальше информация, которую хотят показать, а не нужная посетителю.
p.s. проверить это так же можно с помощью разных тепловых карт.
Conversion And Analytics pinned «За 9 месяцев нет изменений? #cro #ad #sale На днях случился вот такой диалог. — Можете помочь нам с конверсией? — Расскажите, пожалуйста, о текущей ситуации и что необходимо — У нас сейчас меняется product manager и уходит UX’ер. За 9 месяцев ничего так…»
Зачем нужен минимально определяемый эффект
Во-первых, что это такое? Minimum detectable effect (#mde #splittest #abtest) - это минимальный рост (снижение) конверсии, который можно определить при заданных объёме трафика и базовой конверсии.
То есть, дано 10 тыс. посетителей на страницу в неделю и конверсия 5%. За три недели (30 тыс. всего) можно определить 14.2% роста. Это с 5% до 5.71%.
Далее. Зачем это надо?
Объём трафика и базовая конверсия известны нам заранее. Их можно всегда посмотреть в #googleanalytics. На основании этого можно посчитать #mde.
Ну посчитали и зачем???
А затем, что если там написано +100500%, то подумайте трижды, а действительно ли гипотеза на столько хороша, чтобы увеличить конверсию в столько раз???
Без шуток
Если пересчитать все тесты, которые мне приходилось наблюдать, то у многих #mde на столько высок, что не выдерживает никакой критики. Получается ресурсы на этот тест были потрачены абсолютно в пустую.
Оптимизм - это прекрасно, но надо уметь отличать оптимизм от фантазий.
Во-первых, что это такое? Minimum detectable effect (#mde #splittest #abtest) - это минимальный рост (снижение) конверсии, который можно определить при заданных объёме трафика и базовой конверсии.
То есть, дано 10 тыс. посетителей на страницу в неделю и конверсия 5%. За три недели (30 тыс. всего) можно определить 14.2% роста. Это с 5% до 5.71%.
Далее. Зачем это надо?
Объём трафика и базовая конверсия известны нам заранее. Их можно всегда посмотреть в #googleanalytics. На основании этого можно посчитать #mde.
Ну посчитали и зачем???
А затем, что если там написано +100500%, то подумайте трижды, а действительно ли гипотеза на столько хороша, чтобы увеличить конверсию в столько раз???
Без шуток
Если пересчитать все тесты, которые мне приходилось наблюдать, то у многих #mde на столько высок, что не выдерживает никакой критики. Получается ресурсы на этот тест были потрачены абсолютно в пустую.
Оптимизм - это прекрасно, но надо уметь отличать оптимизм от фантазий.
www.evanmiller.org
Sample Size Calculator
Visual, interactive sample size calculator ideal for planning online experiments and A/B tests.
Идея для борьбы с демпингом #nicehypothesis
Ценовая конкуренция заставляет недобросовестные и/или глупые компании снижать цены и идти на демпинг. Это приводит к неправильному пониманию цен на рынке со стороны потенциальных клиентов.
Попробуйте предложить потенциальным клиентам на выбор три пакета: «Эконом», «Стандарт», «Элит / Стандарт+». Обязательно сначала показать, что есть 3 предложения.
На такое предложение резонно возникает вопрос «В чём отличие?». Это тот самый повод объяснить, что можно получить за минимальную цену, а где хорошее качество.
В таком подходе на пакет «Эконом» можно ставить очень низкие цены, даже ниже чем у конкурентов и получать лиды. Потом на основе их потребности делать хорошее предложение.
Если в бизнесе есть входящий поток звонков, то рекомендую первый тест провести на них. Если клиенты будут следовать нашей логике, то можно переносить решение на сайт.
Ценовая конкуренция заставляет недобросовестные и/или глупые компании снижать цены и идти на демпинг. Это приводит к неправильному пониманию цен на рынке со стороны потенциальных клиентов.
Попробуйте предложить потенциальным клиентам на выбор три пакета: «Эконом», «Стандарт», «Элит / Стандарт+». Обязательно сначала показать, что есть 3 предложения.
На такое предложение резонно возникает вопрос «В чём отличие?». Это тот самый повод объяснить, что можно получить за минимальную цену, а где хорошее качество.
В таком подходе на пакет «Эконом» можно ставить очень низкие цены, даже ниже чем у конкурентов и получать лиды. Потом на основе их потребности делать хорошее предложение.
Если в бизнесе есть входящий поток звонков, то рекомендую первый тест провести на них. Если клиенты будут следовать нашей логике, то можно переносить решение на сайт.
Дайте потребителю попробовать товар #nicehypothesis
Посмотрите на эти предложения:
1. Бесплатный тест-драйв автомобиля
2. Бесплатный урок английского на курсах
3. Бесплатный пробный период использования сервиса
Все эти предложения объединяет две вещи:
1. Они дают возможность попробовать товар
2. Они бесплатны
В распространённой терминологии, это называют - лид-магнит #laedmagnet. Если конкретно у вас лид-магнит не работает, то скорее всего, вы не умеете его готовить. Хотя исключения бывают.
В моих архивах есть инструкция, как делать лид-магниты. Смотрите и тестируйте!
Посмотрите на эти предложения:
1. Бесплатный тест-драйв автомобиля
2. Бесплатный урок английского на курсах
3. Бесплатный пробный период использования сервиса
Все эти предложения объединяет две вещи:
1. Они дают возможность попробовать товар
2. Они бесплатны
В распространённой терминологии, это называют - лид-магнит #laedmagnet. Если конкретно у вас лид-магнит не работает, то скорее всего, вы не умеете его готовить. Хотя исключения бывают.
В моих архивах есть инструкция, как делать лид-магниты. Смотрите и тестируйте!
Калькулятор счастья #nicehypothesis
Для услуг и товаров под заказ попробуйте использовать калькулятор стоимость или калькулятор чего-то полезного.
С расчётом цены понятно, но вот и другой пример: для спортзала можно считать как быстро можно похудеть, если заниматься 2 раза, 3 раза, с тренером и без...
Это объясняется тем, что при использовании калькулятора увеличивается доверие к компании, которая создала калькулятор. А доверие - это один из 4-х самых важных факторов при покупке.
p.s. Я слышу возмущение, что калькулятор - это дорого, а кто его знает сработает или нет? Вот вам #mvp: тестируете кнопку «Калькулятор чего-то там» и даёте на скачивание excel файл или отправляете в google spreadsheets c формулами.
Тестируйте!
Для услуг и товаров под заказ попробуйте использовать калькулятор стоимость или калькулятор чего-то полезного.
С расчётом цены понятно, но вот и другой пример: для спортзала можно считать как быстро можно похудеть, если заниматься 2 раза, 3 раза, с тренером и без...
Это объясняется тем, что при использовании калькулятора увеличивается доверие к компании, которая создала калькулятор. А доверие - это один из 4-х самых важных факторов при покупке.
p.s. Я слышу возмущение, что калькулятор - это дорого, а кто его знает сработает или нет? Вот вам #mvp: тестируете кнопку «Калькулятор чего-то там» и даёте на скачивание excel файл или отправляете в google spreadsheets c формулами.
Тестируйте!
Лучше 1 раз увидеть чем 100 раз услышать #nicehypothesis
К сожалению, наш язык, устная речь, являются упрощённым отображением мира. Например, есть разные оттенки красного цвета, но в общем цвет называется красный. От сюда следует простой вывод: проще показать, чем рассказать.
Видео и фото передают больше информации. Можно попробовать описать всё, но скорее всего найдётся тот, для кого какая-то неописанная деталь окажется важной. На фото и видео эта деталь скорее всего попадёт, т.к. показывается весь товар.
Фото и видео спасают при разных названиях. Год назад я столкнулся с нишей, где потенциальные клиенты называли один и тот же товар тремя разными названиями. Названия разные, но потребность у ЦА одна. Видео и фото отлично показывают как товар поможет.
Да, снимайте видео и фото товара. Только покажите на фото / видео преимущества, как использовать и прочее. Вспомните, что посуду фотографируют с едой :).
p.s. опыт показывает, что на старте качество не так важно. Помните, первое, что надо клиенту - это контент, ответы на его вопросы, второе - чтобы донесение контента было качественно.
К сожалению, наш язык, устная речь, являются упрощённым отображением мира. Например, есть разные оттенки красного цвета, но в общем цвет называется красный. От сюда следует простой вывод: проще показать, чем рассказать.
Видео и фото передают больше информации. Можно попробовать описать всё, но скорее всего найдётся тот, для кого какая-то неописанная деталь окажется важной. На фото и видео эта деталь скорее всего попадёт, т.к. показывается весь товар.
Фото и видео спасают при разных названиях. Год назад я столкнулся с нишей, где потенциальные клиенты называли один и тот же товар тремя разными названиями. Названия разные, но потребность у ЦА одна. Видео и фото отлично показывают как товар поможет.
Да, снимайте видео и фото товара. Только покажите на фото / видео преимущества, как использовать и прочее. Вспомните, что посуду фотографируют с едой :).
p.s. опыт показывает, что на старте качество не так важно. Помните, первое, что надо клиенту - это контент, ответы на его вопросы, второе - чтобы донесение контента было качественно.
Оценка и приоритезация гипотез
Ранее я уже писал о #ICE. Есть расширенная версия и называется #RICE - R - Rich. По сути - это охват, на какую часть аудитории будет оказано воздействие.
Идея в том, что лучше на 10% увеличить метрику для 50% аудитории, чем на 100% для 1% аудитории.
Подводная скала прям (на примере #ecommerce)
Страница витрины имеет около 70% трафика и с точки зрения охвата является самой вкусной.
Страница корзины имеет ~4% и с точки зрения охвата вообще не интересна. Но корзина имеет самую большую ценность, что делает её одной из самых вкусных.
Что делать?
Собственно здесь и появляется два подхода, с которыми я сталкивался: можно считать Rich от всех посетителей (сессий) сайта, а можно считать только в сегменте покупателей. Как разновидность второго, можно считать по общей ценности страниц.
А какие страницы вы тестируете?
Ранее я уже писал о #ICE. Есть расширенная версия и называется #RICE - R - Rich. По сути - это охват, на какую часть аудитории будет оказано воздействие.
Идея в том, что лучше на 10% увеличить метрику для 50% аудитории, чем на 100% для 1% аудитории.
Подводная скала прям (на примере #ecommerce)
Страница витрины имеет около 70% трафика и с точки зрения охвата является самой вкусной.
Страница корзины имеет ~4% и с точки зрения охвата вообще не интересна. Но корзина имеет самую большую ценность, что делает её одной из самых вкусных.
Что делать?
Собственно здесь и появляется два подхода, с которыми я сталкивался: можно считать Rich от всех посетителей (сессий) сайта, а можно считать только в сегменте покупателей. Как разновидность второго, можно считать по общей ценности страниц.
А какие страницы вы тестируете?
Нашли дешевле? Сделаем скидку! #nicehypothesis
В случае жёсткой ценовой конкуренции и отсутствия противоречий с позиционированием, обязательно протестируйте сообщение «У нас самые лучшие цены! Нашли дешевле? Сделаем скидку!»
Во-первых, далеко не все потребители сравнивают цены и многие склонные верить на слово.
Во-вторых, если у вас РРЦ (рекомендованная розничная цена), то потребители помогут отслеживать нарушителей.
В-третьих, это работает своеобразным «якорем» для потребителя на начальной стадии.
В случае жёсткой ценовой конкуренции и отсутствия противоречий с позиционированием, обязательно протестируйте сообщение «У нас самые лучшие цены! Нашли дешевле? Сделаем скидку!»
Во-первых, далеко не все потребители сравнивают цены и многие склонные верить на слово.
Во-вторых, если у вас РРЦ (рекомендованная розничная цена), то потребители помогут отслеживать нарушителей.
В-третьих, это работает своеобразным «якорем» для потребителя на начальной стадии.
Какое преимущество показать и подчеркнуть?
Большинство исследований, который я проводил, показали, что посетителям не интересны преимущества сервиса, награды компании, почему компания лучшая и т.д.
Всем интересен один единственный вопрос: «Я хочу ЭТО, есть ли здесь то, что я хочу?». В процессе поиска и определения «это то, что я хочу или нет» посетителям можно и нужно «скормить» все преимущества и т.д.
Особым образом светятся «лишние» блоки на тепловых картах. Проверьте свои блоки. Что говорит о них аналитика?
Как находить подобные неработающие и лишние блоки на тепловых картах и другие практические приёмы описаны здесь. Окупается. Проверено!
Большинство исследований, который я проводил, показали, что посетителям не интересны преимущества сервиса, награды компании, почему компания лучшая и т.д.
Всем интересен один единственный вопрос: «Я хочу ЭТО, есть ли здесь то, что я хочу?». В процессе поиска и определения «это то, что я хочу или нет» посетителям можно и нужно «скормить» все преимущества и т.д.
Особым образом светятся «лишние» блоки на тепловых картах. Проверьте свои блоки. Что говорит о них аналитика?
Как находить подобные неработающие и лишние блоки на тепловых картах и другие практические приёмы описаны здесь. Окупается. Проверено!
Чек-лист запуска А/Б теста и непозволительная роскошь #cro #product #checklist #splittest #abtest
Буквально недавно чеклист запуска А/Б теста пополнился ещё одним важным и интересным пунктом: «Проверить точки входа в тест через сутки».
Смысл в том, что можно допустить ошибки в нескольких местах.
Первое это ошибка в дизайне теста. Что-то где-то недодумали, не исключили все лишние страницы или не добавили какую-то важную страницу.
Второе это ошибка в настройке теста. Если тестируем лендинг, то вроде понятно и просто. Если же тестируем несколько групп страниц с разными шаблонами URL и используем регулярки, то кто его знает, что там на выходе получится.
Третье это ошибка тоже в настройке, но немного другого типа. Если тестируем по определённому таргетингу, например, гео-таргетинг, то можно обнаружиться, что неверно определяется IP или что-то ещё важное.
Почему это офигеть как важно?
Потому что, самое важное в А/Б тесте, это то, что он сжирает время. За год в одной точке можно провести весьма ограниченное кол-во тестов. Тратить время на тесты с ошибками непозволительная роскошь.
Возражение
- Надо делать нормально сразу.
- Несомненно. Всё надо делать нормально сразу. И если бы так было, то понятие «проверить себя» не существовало бы.
Клик на ❤ если интересно весь чек-лист посмотреть
Буквально недавно чеклист запуска А/Б теста пополнился ещё одним важным и интересным пунктом: «Проверить точки входа в тест через сутки».
Смысл в том, что можно допустить ошибки в нескольких местах.
Первое это ошибка в дизайне теста. Что-то где-то недодумали, не исключили все лишние страницы или не добавили какую-то важную страницу.
Второе это ошибка в настройке теста. Если тестируем лендинг, то вроде понятно и просто. Если же тестируем несколько групп страниц с разными шаблонами URL и используем регулярки, то кто его знает, что там на выходе получится.
Третье это ошибка тоже в настройке, но немного другого типа. Если тестируем по определённому таргетингу, например, гео-таргетинг, то можно обнаружиться, что неверно определяется IP или что-то ещё важное.
Почему это офигеть как важно?
Потому что, самое важное в А/Б тесте, это то, что он сжирает время. За год в одной точке можно провести весьма ограниченное кол-во тестов. Тратить время на тесты с ошибками непозволительная роскошь.
Возражение
- Надо делать нормально сразу.
- Несомненно. Всё надо делать нормально сразу. И если бы так было, то понятие «проверить себя» не существовало бы.
Клик на ❤ если интересно весь чек-лист посмотреть
Часть 2. Нашли дешевле и скидка.
Сразу хочу подчеркнуть, что такая стратегия или как вы хотите это назвать, возможно только, если не противоречит вашему позиционированию.
Что делать, если клиент нашёл дешевле?
Во-первых, это огромный повод разведать что же там клиент нашёл. Возможно, это б/у товар. Возможно это товар с более слабой комплектацией. В общем, возможно, это не совсем тот товар, что у нас. Это очень важно объяснить и растолковать.
Во-вторых, если товар такой же, то конечно клиенту надо продать со скидкой, как и обещали.
Особую ценность этот подход представляет для не стандартизированных услуг. Цена является очень лёгким параметром в сравнении, а что под капотом могут и не спросить.
Цель подхода - не дать скидку. Цель подхода - получить лид для дальнейшего общения.
Сразу хочу подчеркнуть, что такая стратегия или как вы хотите это назвать, возможно только, если не противоречит вашему позиционированию.
Что делать, если клиент нашёл дешевле?
Во-первых, это огромный повод разведать что же там клиент нашёл. Возможно, это б/у товар. Возможно это товар с более слабой комплектацией. В общем, возможно, это не совсем тот товар, что у нас. Это очень важно объяснить и растолковать.
Во-вторых, если товар такой же, то конечно клиенту надо продать со скидкой, как и обещали.
Особую ценность этот подход представляет для не стандартизированных услуг. Цена является очень лёгким параметром в сравнении, а что под капотом могут и не спросить.
Цель подхода - не дать скидку. Цель подхода - получить лид для дальнейшего общения.
Вера в математику, стальные нервы, железная воля. #abtest #mindset
Дано тест, который идёт заранее определённое время и… и показывает изменение на минус 10% в Revenue. И так уже сложилось, что это не значимое изменение. Ну нет там стат достоверности ещё… Ой забыл… А целевая метрика была, ммм…. Регистрации и там, как положено +20% и всё достоверно.
Спрашивается - изменение будем внедрять на 100% или откатим?
Что вы успели сделать: пойти в калькуляторы, загнать данные и увидеть, что p-value где-то около 0.10+...
Спрашивается ещё раз - изменения таки будем внедрять или нет?
Так вот, кто бы, что не говорил, а как вы поступите в ситуации, знать заранее крайне сложно. Сейчас я говорю о людях, кто привязан к этим 10% Revenue. Математика, математикой, а минус 10% в личном доходе - это ощутимо. А лишиться годовой премии, потому что не дотянули до плана…
p.s. можно конечно подождать ещё недельку-другую… и каждый день заходить и смотреть как растёт пропасть между revenue в вариантах А и Б и считать свой недополученный доход :).
Дано тест, который идёт заранее определённое время и… и показывает изменение на минус 10% в Revenue. И так уже сложилось, что это не значимое изменение. Ну нет там стат достоверности ещё… Ой забыл… А целевая метрика была, ммм…. Регистрации и там, как положено +20% и всё достоверно.
Спрашивается - изменение будем внедрять на 100% или откатим?
Что вы успели сделать: пойти в калькуляторы, загнать данные и увидеть, что p-value где-то около 0.10+...
Спрашивается ещё раз - изменения таки будем внедрять или нет?
Так вот, кто бы, что не говорил, а как вы поступите в ситуации, знать заранее крайне сложно. Сейчас я говорю о людях, кто привязан к этим 10% Revenue. Математика, математикой, а минус 10% в личном доходе - это ощутимо. А лишиться годовой премии, потому что не дотянули до плана…
p.s. можно конечно подождать ещё недельку-другую… и каждый день заходить и смотреть как растёт пропасть между revenue в вариантах А и Б и считать свой недополученный доход :).