Следующий уровень угадывания А/Б тестов #cro #exercise #splittest

Возвращаемся на сайт guessthetest.com, смотрим на тесты, смотрим какой выиграл, самостоятельно записываем «почему» тест выиграл и потом уже сверяем с описанием на сайте.

Более весёлой и поучительной эту затею может сделать участие коллег. Часто разные люди имеют разное мнение и разные истории по одинаковому поводу. #narrativefallacy

Тестируйте пользовательский путь, а не интерфейс

На старте многие команды тестируют именно UX, а не userflow. И это, на мой взгляд, не верно.

Разница между #userflow и #ux следующая: UX - это внешний вид, Userflow - это последовательность информации (вопросы и ответы), путь которым пользователь приходит к решению о покупке.

Важно, что изменяя UX можно поменять и путь пользователя, а можно и не поменять конечно.

Изменение UX. Раньше пользователи могли добраться на страницу с условиями доставки только через меню в шапке сайта. Добавили ссылки в подвал сайта и в середину страницы. Путь не изменился. Следующим шагом люди и так хотели видеть условия доставки. Просто теперь стало легче.

Изменение пути. Раньше пользователи интересовались доставкой на странице товара и уходили на отдельную страницу, там они видели расширенную информацию и это их пугало. Мы вынесли основную информацию на карточку товара и необходимость переходить на отдельную страницу у большинства пользователей исчезла. Их больше ничего не смущает, конверсия должна увеличиться.

При составлении гипотез, фокусируйтесь на пользовательский путь. Это поможет делать сильные гипотезы и извлекать знания о пользователях.

#neuromarketing Абалденный пример

Нейромаркетинг - слово и понятие относительно новые и достаточно популярные. Но только сегодня я встретил действительно хороший пример, где объединены нейро и маркетинг в решение, которое приносит деньги.

Вводная
Феромоны (очень просто) - это то, чем пахнем мы и некоторые другие животные. Феромоны улавливаются обонянием, т.е. мы чувствуем их запах. Чувствуем мы это подсознательно и это влияет на наши предпочтения: нравится, не нравится, больше или меньше нравится.

Доказано, что женщины лучше реагируют на мужские феромоны, а мужчины на женские.

🙊 Шок-контент. Шанель№5 делают из пота абиссинских котов. Страшно даже подумать из чего делают остальное.

Задача
Цель бизнеса продать больше духов. Основная аудитория - женщины. Цель основной аудитории - приятно пахнуть, в основном для мужчин.

Вопрос. В духи надо добавлять Феромоны мужские или женские? И почему?

Ответ №1. Добавлять надо конечно же женские феромоны, тогда духи будут оказывать влияние на мужчин.

Ответ №2. Верный. Добавлять надо мужские феромоны. Решение женщина принимает в магазине, когда нюхает духи. Мужские Феромоны пахнут приятнее (привет #neuro) и потому решение принимается в сторону этих духов, что увеличивает продажи (привет #marketing).

😜 Не даёт заснуть.

Получается, что большинство духов содержит мужские феромоны. И те духи, что мужчинам нравятся, тоже содержат мужские феромоны... Мужчинам нравятся мужские Феромоны, практически только в одном случае ;)

p.s. не ясно пока как феромоны засунуть в веб или в телефон, но стоит подумать...

#nicehypothesis Используйте сегментацию на первом шаге, как возможность для персонализации на следующем шаге.


Мне нравится разделять критерии выбора на «предустановленные» и «изменяемые». Поясню…

Предустановленные - это те, что потребитель не может изменить. Например, посетитель сайта выбирает подарок на день рождения маме. Это значит, что «кому» есть предустановленные параметр, а в месте с тем и «пол получателя». Сюда же, пол и возраст ребёнка при выборе одежды. Сюда же специализация врача при заболевании… И т.д.

Изменяемые - это те, что могут изменится. Самый яркий пример - это стоимость. Можно купить дешевле или дороже.

Обратите внимание, что есть критерии, которые могут быть менять свой тип в зависимости от контекста. Например, скорость доставки. Если у нас есть крайний срок в виде дня рождения или вылета в отпуск, то ничего здесь не сделаешь. С другой стороны часто плюс/минус день или даже два никого не смущает. Посылка из Китая идёт доооолго.

Есть запросы (ключевые слова), которые не дают точного понимания, например, «детская куртка на зиму». Совсем не понятен пол и возраст.

Используйте сегментацию на первом шаге. Это позволит сделать более персонализированное предложение и избежать мысли «ой, здесь нет того, что я ищу».

Тест для первого экрана мобильной версии сайта

#nicehypothesis #mobilefirst На сегодня мобильное устройство является приоритетным. Об этом не однократно заявлял Google. Что надо сделать?

Откройте топ-5 посадочных страниц своего сайта и напишите для каждой страницы самый важный вопрос, с которым посетитель приходит на эту страницу. Далее ответьте честно, есть ли в первом экране ответ на этот вопрос или нет.

Второй шаг: в первом экране присутствует информация следующего шага. Т.е. что надо сделать дальше.

Часто оказывается, что в первом экране присутствует намёк на ответ и дальше информация, которую хотят показать, а не нужная посетителю.

p.s. проверить это так же можно с помощью разных тепловых карт.

Зачем нужен минимально определяемый эффект

Во-первых, что это такое? Minimum detectable effect (#mde #splittest #abtest) - это минимальный рост (снижение) конверсии, который можно определить при заданных объёме трафика и базовой конверсии.

То есть, дано 10 тыс. посетителей на страницу в неделю и конверсия 5%. За три недели (30 тыс. всего) можно определить 14.2% роста. Это с 5% до 5.71%.

Далее. Зачем это надо?
Объём трафика и базовая конверсия известны нам заранее. Их можно всегда посмотреть в #googleanalytics. На основании этого можно посчитать #mde.

Ну посчитали и зачем???
А затем, что если там написано +100500%, то подумайте трижды, а действительно ли гипотеза на столько хороша, чтобы увеличить конверсию в столько раз???

Без шуток
Если пересчитать все тесты, которые мне приходилось наблюдать, то у многих #mde на столько высок, что не выдерживает никакой критики. Получается ресурсы на этот тест были потрачены абсолютно в пустую.

Оптимизм - это прекрасно, но надо уметь отличать оптимизм от фантазий.

Идея для борьбы с демпингом #nicehypothesis

Ценовая конкуренция заставляет недобросовестные и/или глупые компании снижать цены и идти на демпинг. Это приводит к неправильному пониманию цен на рынке со стороны потенциальных клиентов.

Попробуйте предложить потенциальным клиентам на выбор три пакета: «Эконом», «Стандарт», «Элит / Стандарт+». Обязательно сначала показать, что есть 3 предложения.

На такое предложение резонно возникает вопрос «В чём отличие?». Это тот самый повод объяснить, что можно получить за минимальную цену, а где хорошее качество.

В таком подходе на пакет «Эконом» можно ставить очень низкие цены, даже ниже чем у конкурентов и получать лиды. Потом на основе их потребности делать хорошее предложение.

Если в бизнесе есть входящий поток звонков, то рекомендую первый тест провести на них. Если клиенты будут следовать нашей логике, то можно переносить решение на сайт.

Дайте потребителю попробовать товар #nicehypothesis

Посмотрите на эти предложения:
1. Бесплатный тест-драйв автомобиля
2. Бесплатный урок английского на курсах
3. Бесплатный пробный период использования сервиса

Все эти предложения объединяет две вещи:
1. Они дают возможность попробовать товар
2. Они бесплатны

В распространённой терминологии, это называют - лид-магнит #laedmagnet. Если конкретно у вас лид-магнит не работает, то скорее всего, вы не умеете его готовить. Хотя исключения бывают.

В моих архивах есть инструкция, как делать лид-магниты. Смотрите и тестируйте!

Калькулятор счастья #nicehypothesis

Для услуг и товаров под заказ попробуйте использовать калькулятор стоимость или калькулятор чего-то полезного.
С расчётом цены понятно, но вот и другой пример: для спортзала можно считать как быстро можно похудеть, если заниматься 2 раза, 3 раза, с тренером и без...

Это объясняется тем, что при использовании калькулятора увеличивается доверие к компании, которая создала калькулятор. А доверие - это один из 4-х самых важных факторов при покупке.

p.s. Я слышу возмущение, что калькулятор - это дорого, а кто его знает сработает или нет? Вот вам #mvp: тестируете кнопку «Калькулятор чего-то там» и даёте на скачивание excel файл или отправляете в google spreadsheets c формулами.
Тестируйте!

Лучше 1 раз увидеть чем 100 раз услышать #nicehypothesis

К сожалению, наш язык, устная речь, являются упрощённым отображением мира. Например, есть разные оттенки красного цвета, но в общем цвет называется красный. От сюда следует простой вывод: проще показать, чем рассказать.

Видео и фото передают больше информации. Можно попробовать описать всё, но скорее всего найдётся тот, для кого какая-то неописанная деталь окажется важной. На фото и видео эта деталь скорее всего попадёт, т.к. показывается весь товар.

Фото и видео спасают при разных названиях. Год назад я столкнулся с нишей, где потенциальные клиенты называли один и тот же товар тремя разными названиями. Названия разные, но потребность у ЦА одна. Видео и фото отлично показывают как товар поможет.

Да, снимайте видео и фото товара. Только покажите на фото / видео преимущества, как использовать и прочее. Вспомните, что посуду фотографируют с едой :).

p.s. опыт показывает, что на старте качество не так важно. Помните, первое, что надо клиенту - это контент, ответы на его вопросы, второе - чтобы донесение контента было качественно.

Оценка и приоритезация гипотез

Ранее я уже писал о #ICE. Есть расширенная версия и называется #RICE - R - Rich. По сути - это охват, на какую часть аудитории будет оказано воздействие.

Идея в том, что лучше на 10% увеличить метрику для 50% аудитории, чем на 100% для 1% аудитории.

Подводная скала прям (на примере #ecommerce)
Страница витрины имеет около 70% трафика и с точки зрения охвата является самой вкусной.
Страница корзины имеет ~4% и с точки зрения охвата вообще не интересна. Но корзина имеет самую большую ценность, что делает её одной из самых вкусных.

Что делать?
Собственно здесь и появляется два подхода, с которыми я сталкивался: можно считать Rich от всех посетителей (сессий) сайта, а можно считать только в сегменте покупателей. Как разновидность второго, можно считать по общей ценности страниц.

А какие страницы вы тестируете?

Нашли дешевле? Сделаем скидку! #nicehypothesis

В случае жёсткой ценовой конкуренции и отсутствия противоречий с позиционированием, обязательно протестируйте сообщение «У нас самые лучшие цены! Нашли дешевле? Сделаем скидку!»

Во-первых, далеко не все потребители сравнивают цены и многие склонные верить на слово.

Во-вторых, если у вас РРЦ (рекомендованная розничная цена), то потребители помогут отслеживать нарушителей.

В-третьих, это работает своеобразным «якорем» для потребителя на начальной стадии.

Какое преимущество показать и подчеркнуть?

Большинство исследований, который я проводил, показали, что посетителям не интересны преимущества сервиса, награды компании, почему компания лучшая и т.д.

Всем интересен один единственный вопрос: «Я хочу ЭТО, есть ли здесь то, что я хочу?». В процессе поиска и определения «это то, что я хочу или нет» посетителям можно и нужно «скормить» все преимущества и т.д.

Особым образом светятся «лишние» блоки на тепловых картах. Проверьте свои блоки. Что говорит о них аналитика?

Как находить подобные неработающие и лишние блоки на тепловых картах и другие практические приёмы описаны здесь. Окупается. Проверено!

Чек-лист запуска А/Б теста и непозволительная роскошь #cro #product #checklist #splittest #abtest

Буквально недавно чеклист запуска А/Б теста пополнился ещё одним важным и интересным пунктом: «Проверить точки входа в тест через сутки».

Смысл в том, что можно допустить ошибки в нескольких местах.

Первое это ошибка в дизайне теста. Что-то где-то недодумали, не исключили все лишние страницы или не добавили какую-то важную страницу.

Второе это ошибка в настройке теста. Если тестируем лендинг, то вроде понятно и просто. Если же тестируем несколько групп страниц с разными шаблонами URL и используем регулярки, то кто его знает, что там на выходе получится.

Третье это ошибка тоже в настройке, но немного другого типа. Если тестируем по определённому таргетингу, например, гео-таргетинг, то можно обнаружиться, что неверно определяется IP или что-то ещё важное.

Почему это офигеть как важно?
Потому что, самое важное в А/Б тесте, это то, что он сжирает время. За год в одной точке можно провести весьма ограниченное кол-во тестов. Тратить время на тесты с ошибками непозволительная роскошь.

Возражение
- Надо делать нормально сразу.
- Несомненно. Всё надо делать нормально сразу. И если бы так было, то понятие «проверить себя» не существовало бы.

Клик на ❤ если интересно весь чек-лист посмотреть

Часть 2. Нашли дешевле и скидка.

Сразу хочу подчеркнуть, что такая стратегия или как вы хотите это назвать, возможно только, если не противоречит вашему позиционированию.

Что делать, если клиент нашёл дешевле?

Во-первых, это огромный повод разведать что же там клиент нашёл. Возможно, это б/у товар. Возможно это товар с более слабой комплектацией. В общем, возможно, это не совсем тот товар, что у нас. Это очень важно объяснить и растолковать.

Во-вторых, если товар такой же, то конечно клиенту надо продать со скидкой, как и обещали.

Особую ценность этот подход представляет для не стандартизированных услуг. Цена является очень лёгким параметром в сравнении, а что под капотом могут и не спросить.

Цель подхода - не дать скидку. Цель подхода - получить лид для дальнейшего общения.

Вера в математику, стальные нервы, железная воля. #abtest #mindset

Дано тест, который идёт заранее определённое время и… и показывает изменение на минус 10% в Revenue. И так уже сложилось, что это не значимое изменение. Ну нет там стат достоверности ещё… Ой забыл… А целевая метрика была, ммм…. Регистрации и там, как положено +20% и всё достоверно.

Спрашивается - изменение будем внедрять на 100% или откатим?

Что вы успели сделать: пойти в калькуляторы, загнать данные и увидеть, что p-value где-то около 0.10+...

Спрашивается ещё раз - изменения таки будем внедрять или нет?

Так вот, кто бы, что не говорил, а как вы поступите в ситуации, знать заранее крайне сложно. Сейчас я говорю о людях, кто привязан к этим 10% Revenue. Математика, математикой, а минус 10% в личном доходе - это ощутимо. А лишиться годовой премии, потому что не дотянули до плана…

p.s. можно конечно подождать ещё недельку-другую… и каждый день заходить и смотреть как растёт пропасть между revenue в вариантах А и Б и считать свой недополученный доход :).

Мобильные и глубина скроллинга #nicehypothesis

Глубина скролла на мобильном скорее всего будет отличаться и отличаться в меньшую сторону. Это говорит о том, что интерес к сайту на мобильном меньше или более быстротечен.

Попробуйте три шага:
1) Узнать возможные цели посещения с мобильного. Это можно сделать с помощью опросов.
2) Удалить лишнюю информацию. Оставьте только ответы на вопросы, которые выяснили, всё остальное удалить.
3) Добавить более простой призыв к действию. Это же мобильный, решения принимаются быстро.

Иррациональность

Все знают, что по ту сторону #abtest находятся иррациональные люди. Мало кто осознаёт, что по эту сторону а/б тестов находятся всё такие же иррациональные люди.

Гласное или не гласное правило: все изменения проходят этап А/Б теста.

Наблюдение.
Если все ожидают нейтрального результата, а тест быстро проигрывает, то думают, что это те самые 5% ошибки и тест решают перезапустить.

Если же тест быстро выигрывают, то про 5% ошибки забывают и спешат развернуть на весь сайт.

Что это? Иррациональность или стратегия?

Не стандартизированные названия #nicehypothesis

Если продукт имеет несколько названий или сложное название, то используйте фотографии товара, процесса, результата.

Пожалуйста, вспомните провести лёгкий тест картинок (не А/Б тест) на целевой аудитории с вопросом «что вы видите на этом фото?». Ответом должно быть одно из названий вашего продукта, или процесс, или результат.

Всё это базируется на том, что язык лишь отражает то, что мы себе думаем и представляем. По каким-то данным (к сожалению не помню уже каким) язык передаёт лишь 7% информации. А около 90% мы получаем с помощью зрения.

Давайте прямые указания клиентам #nicehypothesis

Различные исследования давно доказали, что люди (и мы с вами в том числе) отлично выполняем директивные указания: прочитайте статью, оформите заказ, забронируйте комнату и т.д.

Очевидно, что чем «дороже» (сложнее) действие, тем меньше это будет работать. Есть много действий, которые простые: прочтите отзывы, проверьте места, уточните цену и т.д.

Что сделать
Добавьте в коммуникацию с посетителем директивные указания на «простые» действия, которые повышают доверие и/или продвигают посетителя по воронке вперёд.

Пример
Был у меня давно клиент и его клиенты, которые не смотрели конкурентов отмечали две основные причины заказа: рекомендация друзей и видели качество продукта в живую. Как следствие добавили в коммуникацию с клиентами рекомендацию попробовать продукт.

Обратите внимание, что сначала исследование, потом уже гипотеза.