#nicehypothesis Для тестирования предложения достаточно экспериментировать только с заголовком страницы, подзаголовком и тремя основными тезисами о предложении.
Это самое важное. У этой информации максимальных охват. Если предложение ценное, то это покажет результат. Всё остальное это тюнинг.
Это самое важное. У этой информации максимальных охват. Если предложение ценное, то это покажет результат. Всё остальное это тюнинг.
Решите задачу дизайна (проектирования) #splittest
Дано. Страница товара в интернет-магазине. Хотим возле каждого товара показывать сколько раз его купили за последние 3 дня. #hypothesis в том, что подобное социальное доказательство увеличит #conversionrate в покупку
.
Аналитика сказала, что у нас всего 10% товаров, которые купили хоть раз за последние 3 дня. И только 2% товаров, которые купили более 5 раз за последние 3 дня. Решили, что показывать #socialproof стоит только там, где товар был куплен 5+ раз.
Спрашивается. Что будет являться точкой входа в эксперимент? И самый главный вопрос: «почему?»
1⃣ Вариант 1. Все страницы товара являются точками входа.
2⃣ Вариант 2. Точкой входа считается только та страница товара, который был продан 5+ раз, т.е. там где буде показано сообщение.
Дано. Страница товара в интернет-магазине. Хотим возле каждого товара показывать сколько раз его купили за последние 3 дня. #hypothesis в том, что подобное социальное доказательство увеличит #conversionrate в покупку
.
Аналитика сказала, что у нас всего 10% товаров, которые купили хоть раз за последние 3 дня. И только 2% товаров, которые купили более 5 раз за последние 3 дня. Решили, что показывать #socialproof стоит только там, где товар был куплен 5+ раз.
Спрашивается. Что будет являться точкой входа в эксперимент? И самый главный вопрос: «почему?»
1⃣ Вариант 1. Все страницы товара являются точками входа.
2⃣ Вариант 2. Точкой входа считается только та страница товара, который был продан 5+ раз, т.е. там где буде показано сообщение.
#price является важным критерием выбора продукта, но часто не главным и уж точно не единственным.
#cro - это не про рост конверсии после снижения цен. Скорее наоборот. Тестировать снижение цены можно только для определения эластичности спроса. Внедрять снижение цены скорее не надо. Можно тестировать и внедрять повышение цен.
Кроме цены есть ещё много чего полезного и ценного для потребителя. Тестируйте там.
Если для продукта цена является единственным преимуществом, то срочно надо что-то менять. При чём сменить продукт, это тоже решение.
#cro - это не про рост конверсии после снижения цен. Скорее наоборот. Тестировать снижение цены можно только для определения эластичности спроса. Внедрять снижение цены скорее не надо. Можно тестировать и внедрять повышение цен.
Кроме цены есть ещё много чего полезного и ценного для потребителя. Тестируйте там.
Если для продукта цена является единственным преимуществом, то срочно надо что-то менять. При чём сменить продукт, это тоже решение.
Как ни удивительно, но #splittest имеет смысл тогда, когда #hypothesis может быть неверна. То есть допускаем, что можем ошибиться. По сути запуск экспериментов - это инструмент проверки. Ни более, ни менее.
Оппонентом тестирования выступают «проверенные фишки». Это такие изменения, которые всегда приносят рост. На языке вероятности, это звучит так: вероятность улучшения составляет 1 (100%). Именно такая формулировка уже на интуитивном уровне вызывает сомнения.
Навскидку список «проверенных фишек»: чат на сайте, форма захвата звонка, всплывающие уведомления аля #socialproof, таймер обратного отсчёта, чем меньше полей в форме, тем лучше… и т.д.
Все «проверенные фишки» не всегда приносят рост. Для определённых тематик, для определённых проектов вероятность роста высока. Для среднего пациента в больнице, вероятность роста больше 50%. Но попадает ли проект в эти «больше 50%» или нет, никто заранее не знает.
Я видел как проигрывали и выигрывали тесты по всем «проверенным фишкам», что привел выше. Тестируйте и растите.
Оппонентом тестирования выступают «проверенные фишки». Это такие изменения, которые всегда приносят рост. На языке вероятности, это звучит так: вероятность улучшения составляет 1 (100%). Именно такая формулировка уже на интуитивном уровне вызывает сомнения.
Навскидку список «проверенных фишек»: чат на сайте, форма захвата звонка, всплывающие уведомления аля #socialproof, таймер обратного отсчёта, чем меньше полей в форме, тем лучше… и т.д.
Все «проверенные фишки» не всегда приносят рост. Для определённых тематик, для определённых проектов вероятность роста высока. Для среднего пациента в больнице, вероятность роста больше 50%. Но попадает ли проект в эти «больше 50%» или нет, никто заранее не знает.
Я видел как проигрывали и выигрывали тесты по всем «проверенным фишкам», что привел выше. Тестируйте и растите.
Ответ на задачу про дизайн (проектирование) #splittest.
Если пропустили задачу, смотрите ранее в ленте.
Верный ответ - вариант 2. Точкой входа считается только та страница товара, который был продан 5+ раз, т.е. там где буде показано сообщение.
Почему?
Во-первых, в тест должны попасть только те, кто могут увидеть изменения. Посетители, которые смотрят товар, который не соответствовал условиям, не увидят социальное доказательство в принципе, потому участниками теста не должны становиться.
Во-вторых, выборка будет меньше (только посетители конкретных страниц), базовая конверсия будет больше (т.к. это уже популярные товары), а потому и тест завершится быстрее.
Если пропустили задачу, смотрите ранее в ленте.
Верный ответ - вариант 2. Точкой входа считается только та страница товара, который был продан 5+ раз, т.е. там где буде показано сообщение.
Почему?
Во-первых, в тест должны попасть только те, кто могут увидеть изменения. Посетители, которые смотрят товар, который не соответствовал условиям, не увидят социальное доказательство в принципе, потому участниками теста не должны становиться.
Во-вторых, выборка будет меньше (только посетители конкретных страниц), базовая конверсия будет больше (т.к. это уже популярные товары), а потому и тест завершится быстрее.
Есть распространённая мантра, что тестировать надо всё. К сожалению, это не так.
Представьте гору. Задача добраться до вершины. Каждый шаг мы можем измерять нашу высоту с помощью GPS. Следовательно делая шаг, мы знаем в нужном направлении мы его сделали или нет. Отличная стратегия.
А теперь представьте, что рядом с горой А, стоит гора Б. Вторая гора сильно выше первой. Наша задача всё так же забраться на самый верх, но так уж сложилось, что мы сейчас находимся на горе А. Используя предыдущую стратегию, добраться до вершины Б невозможно.
Что можно изменить?
Первое. Можно измерять высоту не каждый шаг, а раз в 10 минут или каждые 1000 шагов. Таким образом у нас будет 1000 шагов, чтобы перебраться с горы А на гору Б на более высокую точку. Иначе надо будет вернуться.
Представьте гору. Задача добраться до вершины. Каждый шаг мы можем измерять нашу высоту с помощью GPS. Следовательно делая шаг, мы знаем в нужном направлении мы его сделали или нет. Отличная стратегия.
А теперь представьте, что рядом с горой А, стоит гора Б. Вторая гора сильно выше первой. Наша задача всё так же забраться на самый верх, но так уж сложилось, что мы сейчас находимся на горе А. Используя предыдущую стратегию, добраться до вершины Б невозможно.
Что можно изменить?
Первое. Можно измерять высоту не каждый шаг, а раз в 10 минут или каждые 1000 шагов. Таким образом у нас будет 1000 шагов, чтобы перебраться с горы А на гору Б на более высокую точку. Иначе надо будет вернуться.
По разным данным при тестировании гипотез проигрывает всегда больше половины #splittest. Проигрывает - означает, что тестируемая идея не лучше оригинала, т.е. никакого улучшения в целевой метрике нет.
Лично я часто говорю, что проигрывает 2 из 3 тестов. Недавно коллеги по рынку сказали, что 9 из 10 проигрывает. Так же я знаю одного продакта, который как-то сказал, что у них коэффициент выигравших тестов 45%. Т.е. 4+ теста из 10 выигрывают.
От чего это зависит. Если тестировать всё подряд, то получится скорее 1 к 10, т.к. оснований у #hypothesis будет мало. Если выделять время на разработку и проработку гипотез, то есть шанс приблизиться к 45%.
Лично я часто говорю, что проигрывает 2 из 3 тестов. Недавно коллеги по рынку сказали, что 9 из 10 проигрывает. Так же я знаю одного продакта, который как-то сказал, что у них коэффициент выигравших тестов 45%. Т.е. 4+ теста из 10 выигрывают.
От чего это зависит. Если тестировать всё подряд, то получится скорее 1 к 10, т.к. оснований у #hypothesis будет мало. Если выделять время на разработку и проработку гипотез, то есть шанс приблизиться к 45%.
Философия #abtesting хорошо описывается цитатой «Я не терпел поражений. Я просто нашёл 10 000 способов, которые не работают.» — Томас Эдисон
#nicehypothesis Добавьте «предложение приманку» и увеличьте конверсию в нужный пакет. Этим же образом достигается повышение среднего чека.
Данный подход работает, если у вас есть как минимум 2 товара и вам надо привлечь внимание к одному из них. В статье приводится пример с билетами:
1) Билет за $400 с ожиданием пересадки 60 минут
2) Билет за $330 с ожиданием пересадки 150 минут
Если хотите, чтобы покупали 1, то добавьте
3) Билет за $435 с ожиданием пересадки 60 минут
Если хотите, чтобы покупали 2, то добавьте
3) Билет за $330 с ожиданием пересадки 195 минут
Более детально и с дополнительными примерами описано в статье по ссылке ниже. Так же в статье есть ссылка на книгу, где описаны многие другие полезные эффекты.
Данный подход работает, если у вас есть как минимум 2 товара и вам надо привлечь внимание к одному из них. В статье приводится пример с билетами:
1) Билет за $400 с ожиданием пересадки 60 минут
2) Билет за $330 с ожиданием пересадки 150 минут
Если хотите, чтобы покупали 1, то добавьте
3) Билет за $435 с ожиданием пересадки 60 минут
Если хотите, чтобы покупали 2, то добавьте
3) Билет за $330 с ожиданием пересадки 195 минут
Более детально и с дополнительными примерами описано в статье по ссылке ниже. Так же в статье есть ссылка на книгу, где описаны многие другие полезные эффекты.
#nicehypothesis Посетители больше предпочитают информацию в виде списка, нежели в виде отдельных небольших параграфов текста. Есть информация, что люди больше вспоминают из списков по сравнению с простым текстом.
Полноценный редизайн или путь улучшений?
В большинстве случаев необходимо выбирать постепенные улучшения. Полноценную переработку следует затевать только в этих случаях:
1. Сайт имеет проблемы с новыми технологиями, надо обновлять. Здесь имеется ввиду mobile friendly и другие front-элементы.
2. Сайт достиг локального максимума. Это значит, что с текущим дизайном никаких значимых улучшений уже не получить.
В большинстве случаев необходимо выбирать постепенные улучшения. Полноценную переработку следует затевать только в этих случаях:
1. Сайт имеет проблемы с новыми технологиями, надо обновлять. Здесь имеется ввиду mobile friendly и другие front-элементы.
2. Сайт достиг локального максимума. Это значит, что с текущим дизайном никаких значимых улучшений уже не получить.
Что значит локальный максимум и как понять, что его достигли?
Ранее я описывал пример с горой, а точнее с двумя. Гора - это и есть локальный максимум. Где-то может быть другая гора, больше и лучше текущей, но для этого надо слезть с текущей и пойти на новую гору.
В моей практике достижение максимума видно по двум факторам:
1. #hypothesis заканчиваются. Все уже сами понимают, что тестируют какую-то ерунду.
2. #splittest перестают выигрывать совсем. Это логично. Если достигли вершины, то никакой шаг не приведёт нас в ещё более высокую точку.
Ранее я описывал пример с горой, а точнее с двумя. Гора - это и есть локальный максимум. Где-то может быть другая гора, больше и лучше текущей, но для этого надо слезть с текущей и пойти на новую гору.
В моей практике достижение максимума видно по двум факторам:
1. #hypothesis заканчиваются. Все уже сами понимают, что тестируют какую-то ерунду.
2. #splittest перестают выигрывать совсем. Это логично. Если достигли вершины, то никакой шаг не приведёт нас в ещё более высокую точку.
#nicehypothesis Отличные наблюдения коллег по рынку для тестирования. Чем больше текста со смыслом, а не воды, в предложении (заголовок, описание), тем быстрее посетители его замечают и тем дольше и внимательнее они его изучают.
#nicehypothesis Простота всегда даёт свои результаты. Снижение когнитивной нагрузки позволяет делать выбор легче, быстрее и в нашу пользу.
Упрощение стоимости доставки позволяет быстро и просто посчитать полную стоимость покупки для клиента. Меньше вероятность ошибиться и как следствие меньше шанс получить негативный опыт при получении заказа.
Стоимость доставки считается по километражу? Посчитайте среднюю для городов и сёл. Клиент за наложенный платёж должен заплатить какой-то %? Посчитайте среднее для заказов и поставьте одну цифру. Клиенты это оценят.
Упрощение стоимости доставки позволяет быстро и просто посчитать полную стоимость покупки для клиента. Меньше вероятность ошибиться и как следствие меньше шанс получить негативный опыт при получении заказа.
Стоимость доставки считается по километражу? Посчитайте среднюю для городов и сёл. Клиент за наложенный платёж должен заплатить какой-то %? Посчитайте среднее для заказов и поставьте одну цифру. Клиенты это оценят.
Можно или нет тестировать два изменения в одном тесте?
Есть мнение, что нельзя. Почему? Потому что вероятность выиграть у каждого изменения примерно 30%. Если тестировать их вместе, то вероятность уменьшается до 9%. Получается, что чем больше изменений в один тест, тем меньше вероятность, что тест выиграет.
Математика этого мнения основана на том, что эти события не связаны. Но, что если первое изменение - это добавить к меню первые блюда, а второе изменение - это добавить к приборам ложки? Пример утрирован. Очевидно, то первое без ложки и ложка без первого не выиграют.
Другое мнение. Если планируемые изменения сильно и очевидно усиливают друг друга, то можно тестировать вместе.
Есть мнение, что нельзя. Почему? Потому что вероятность выиграть у каждого изменения примерно 30%. Если тестировать их вместе, то вероятность уменьшается до 9%. Получается, что чем больше изменений в один тест, тем меньше вероятность, что тест выиграет.
Математика этого мнения основана на том, что эти события не связаны. Но, что если первое изменение - это добавить к меню первые блюда, а второе изменение - это добавить к приборам ложки? Пример утрирован. Очевидно, то первое без ложки и ложка без первого не выиграют.
Другое мнение. Если планируемые изменения сильно и очевидно усиливают друг друга, то можно тестировать вместе.
Это для меня? #nicehypothesis
Используйте маркеры «для кого» этот товар: для любящих мам, для заботливых мам, для экономных мам и т.д. Если описание совпадает с самоидентификацией, то вероятность покупки увеличивается.
Используйте маркеры «для кого» этот товар: для любящих мам, для заботливых мам, для экономных мам и т.д. Если описание совпадает с самоидентификацией, то вероятность покупки увеличивается.
Петля роста в CRO
В последнее время много информации и шума вокруг #growthloop. О том, что #cro обладает подобным известно очень давно. Смотрите:
Доход = Трафик х Конверсия х Средний чек
Берём ресурс (деньги) и делаем CRO > Конверсия увеличивается > Увеличивается доход > Дополнительный доход вкладываем в трафик > Больше трафика дают больше знаний об аудитории и данных для CRO > Увеличивается эффективность CRO > и так по кругу.
Дополнительный круг (петля) образуется, когда деньги вкладываем в трафик > больше трафика приносит больше дохода (объём в текущих каналах или выход в новые каналы) > доход реинвестируем в трафик.
Так же CRO хорошо справляется с задачей роста среднего чека. Потому там тоже образуется ещё одна петля.
В последнее время много информации и шума вокруг #growthloop. О том, что #cro обладает подобным известно очень давно. Смотрите:
Доход = Трафик х Конверсия х Средний чек
Берём ресурс (деньги) и делаем CRO > Конверсия увеличивается > Увеличивается доход > Дополнительный доход вкладываем в трафик > Больше трафика дают больше знаний об аудитории и данных для CRO > Увеличивается эффективность CRO > и так по кругу.
Дополнительный круг (петля) образуется, когда деньги вкладываем в трафик > больше трафика приносит больше дохода (объём в текущих каналах или выход в новые каналы) > доход реинвестируем в трафик.
Так же CRO хорошо справляется с задачей роста среднего чека. Потому там тоже образуется ещё одна петля.
Парадокс выбора и #nicehypothesis
В теории принятия решений часто можно наблюдать парадокс, который заключается в том, что чем больше возможностей для выбора, тем сложнее его сделать, что приводит к ухудшению качества принимаемого решения или вообще к отказу принимать решение.
На языке интернет магазинов это может звучать так: широкий ассортимент уменьшает вероятность сделать покупку для каждого конкретного посетителя, т.к. затрудняет принятие решение.
Помогите посетителю сделать выбор быстрее и проще. Добавьте признак (эмблему, надпись), что этот товар самый лучший, самый популярный, оптимальный в рамках «цена-качество» и т.д.
В теории принятия решений часто можно наблюдать парадокс, который заключается в том, что чем больше возможностей для выбора, тем сложнее его сделать, что приводит к ухудшению качества принимаемого решения или вообще к отказу принимать решение.
На языке интернет магазинов это может звучать так: широкий ассортимент уменьшает вероятность сделать покупку для каждого конкретного посетителя, т.к. затрудняет принятие решение.
Помогите посетителю сделать выбор быстрее и проще. Добавьте признак (эмблему, надпись), что этот товар самый лучший, самый популярный, оптимальный в рамках «цена-качество» и т.д.
Парадокс выбора и #nicehypothesis
Продолжаем тему парадокса выбора. Предложите посетителям простые и быстрые фильтры для сужения ассортимента товара.
Фильтры должны содержать параметры, над которыми не надо думать: подарок мужчине или женщине? на сколько человек бронируете номер? в отпуск с детьми? корм для кота до 7 лет или старше?
Не используйте фильтры, над которыми человеку надо размышлять. Фильтруйте только необходимость человека, всё остальное можно обсуждать и предлагать решения.
Продолжаем тему парадокса выбора. Предложите посетителям простые и быстрые фильтры для сужения ассортимента товара.
Фильтры должны содержать параметры, над которыми не надо думать: подарок мужчине или женщине? на сколько человек бронируете номер? в отпуск с детьми? корм для кота до 7 лет или старше?
Не используйте фильтры, над которыми человеку надо размышлять. Фильтруйте только необходимость человека, всё остальное можно обсуждать и предлагать решения.
Почему важно делать следующие итерации тестов.
Вероятность выиграть у теста равна примерно 30%. Может отличаться в разных командах. Таким образом практика показывает, что первая идея, первая реализация идеи и т.д. скорее будут ошибочными и ничего не принесут.
Проведённый тест - это не только проверка гипотезы на Да / Нет, но и источник знаний для последующих улучшений.
Вот пример эволюции:
Добавление отзывов на сайт магазина повысит конверсию. Результат теста: нет изменений, нейтральный. Карта скроллинга показала, что отзывы разместили слишком низко.
Добавление отзывов на сайт в первый экран на карточке товара повысит конверсию. Результат теста: нет изменений, нейтральный. Опрос показал, что отзывам не верят.
Добавление отзывов с соц. идентификацией на сайт повысит конверсию.
И так далее...
Вероятность выиграть у теста равна примерно 30%. Может отличаться в разных командах. Таким образом практика показывает, что первая идея, первая реализация идеи и т.д. скорее будут ошибочными и ничего не принесут.
Проведённый тест - это не только проверка гипотезы на Да / Нет, но и источник знаний для последующих улучшений.
Вот пример эволюции:
Добавление отзывов на сайт магазина повысит конверсию. Результат теста: нет изменений, нейтральный. Карта скроллинга показала, что отзывы разместили слишком низко.
Добавление отзывов на сайт в первый экран на карточке товара повысит конверсию. Результат теста: нет изменений, нейтральный. Опрос показал, что отзывам не верят.
Добавление отзывов с соц. идентификацией на сайт повысит конверсию.
И так далее...
Упражнение на проверку дизайна #cro #exercise
Задача дизайна - это помогать в продаже, а точнее в достижении целей. Обычно продаёт текст, фото или видео о продукте. Как оценить, что дизайн помогает это делать?
Возьмите дизайн и переведите весь текст на странице на китайский или арабский. Суть в том, что буквы должны быть абсолютны не знакомы. То есть вы и понятия не должны иметь, что написано в заголовке, в меню, на кнопках и прочее.
Теперь показываем эту страницу нашим респондентам, просим бегло посмотреть на дизайн и рассказать, что значит каждый блок, кнопки и т.д. Идеально если респондент: понимает, что здесь продаётся и какое целевое действие от него ждут, как его сделать.
Задача дизайна - это помогать в продаже, а точнее в достижении целей. Обычно продаёт текст, фото или видео о продукте. Как оценить, что дизайн помогает это делать?
Возьмите дизайн и переведите весь текст на странице на китайский или арабский. Суть в том, что буквы должны быть абсолютны не знакомы. То есть вы и понятия не должны иметь, что написано в заголовке, в меню, на кнопках и прочее.
Теперь показываем эту страницу нашим респондентам, просим бегло посмотреть на дизайн и рассказать, что значит каждый блок, кнопки и т.д. Идеально если респондент: понимает, что здесь продаётся и какое целевое действие от него ждут, как его сделать.