За последние несколько лет я провёл около сотни алгоритмических интервью в роли интервьюера.
Самое интересное, что проблемы не только в алгоритмах.

Вот мой топ-10 ❗️ самых частых ошибок, которые вижу снова и снова 👇

1. Кандидат не берёт на себя лидерство.
Мне часто приходится пушить: давай кодить, а что дальше, а какую идею выбираем, а давай теперь протестируем твой подход.
Кандидат должен вести процесс. Кандидат - звезда на собеседовании, не интервьюер ✍️

2. Не собирают требования.
Пример: shortest path - кандидат не уточнил про отрицательные числа, полез писать Dijkstra, а оказалось, что бывают данные с отрицательными числами, но Dijkstra не работает, если есть отрицательные числа. Как итог - алгоритм не работает.

3. Вспоминают про требования очень поздно.
Кандидаты часто вспоминают про constraints через 15–20 минут, когда алгоритм уже выбран или даже уже написана часть кода. Представь, если на работе начать делать задачу до того, как собрать требования - получится не то, что требует бизнес.

4. Прыгают между подходами.
Предложил идею → не договорил → перескочил → вернулся обратно. Без структуры. 😭

5. Пытаются придумать сразу “идеальное” решение.
Часто кандидат предлагает brute force решение и, до того как уточнить у интервьюера, начинает говорить, что это неэффективно и нужно предложить идею получше. Во-первых, это опять возвращает нас к сбору требований, а во-вторых, есть шанс, что самое эффективное решение не нужно для интервьюера и твоего подхода будет достаточно.

6. Думают молча.
Если нужно подумать - скажите это интервьюеру, который, конечно же, даст вам время чтобы подумать. Но когда кандидат читает задачу про себя, молча придумывает решение и молча пишет код - интервьюеру вообще непонятно, как вы мыслите и как вам помочь в процессе.
Решение простое: тренируйтесь решать задачи вслух.

7. Не вовлекают интервьюера.
Почти никто не спрашивает:
• То, что я сейчас объяснил понятно ли вам?
• Желаете ли чтобы я подумал над другим более оптимальным решением или этого достаточно?
Как и было сказано ранее: бывает, что brute force уже достаточно - но чтобы это узнать, нужно коммуницировать с интервьюером. Помните, интервьюер здесь, чтобы помочь вам, а не "потопить" вас.

8. Не следят за временем.
Бывает так, что кандидат рассуждает 30–40 минут так и не успев полностью написать решение.
Как ни крути, все сводится к тому есть ли решение или его нет.
Тайминг - ответственность кандидата.

9. Слишком много или слишком мало заметок 😄
Либо вообще ничего. Либо пишут всё подряд.
Оптимально будет написать ключевые пункты:
• approach 1: brute force: do this, do that, time, space.
• approach 2: binary search: do this, do that, time, space.

10. "Грязный" код.
Опечатки, портянка кода без разделения на методы, странные имена переменных типа: int number, string s. Это все мелочи, но они сильно бьют по impression.

🤪 TL;DR:
Алгоритмы - это только половина успеха.
Вторая половина - коммуникация, структура и контроль процесса.

Округлые кнопки увеличивают конверсию на 55% (или нет 🤓)

В 2024 году в Journal of Consumer Research вышло исследование, что более скругленные кнопки на сайтах увеличивают конверсию в клик. В одном из тестов конверсия выросла с 7.2% до 11.2% – рост на 55%, с p-value 0.037 🚀
Аргументация авторов: округлые углы приятнее глазу, ассоциируются с безопасностью и меньшей жесткостью. Звучит как легкий способ поднять метрики без регистрации и смс)

Ну как, вы уже пошли проверять форму кнопок в своём продукте?

Но не торопимся скруглять кнопки – Рон Кохави (босс A/B тестов, автор книги "Trustworthy Online Controlled Experiments") с коллегами попытался воспроизвести эти результаты на реальном трафике. И вот что показали масштабные A/B тесты в 4 разных компаниях:

🟡SeaWorld Orlando – 2.9 млн пользователей, эффект +0.16%, p-value=0.20, незначимо
🟡Obs (норвежский ритейл) – 1.8 млн пользователей, эффект 0.73, p-value=0.09, незначимо
🟡Obs-BYGG (норвежский ритейл) – 2.2 млн пользователей, эффект +0.3%, p-value=0.29, незначимо
🟡Metro Russia – 7.4 млн пользователей, эффект -0.07%, p-value=0.83, незначимо. Пример скругленных и квадратных кнопок прикреплен к посту.

Каждая репликация была в тысячи раз масштабнее оригинала, но ни одна не подтвердила такую ракету роста.
В эксперименте от Metro Russia было еще интересное о правильном выборе ключевой метрики, подробнее можно почитать в посте Андрея Андреева (Head of eMerchandising). Коротко: разница между бинарной метрикой (добавил в корзину – да/нет) и счетчиком (количество добавлений) увеличивает нужный размер выборки в 8 раз – для счетчика выборка нужна больше. Вместо 1 млн пользователей вам нужно 8 млн и крутить тест 16 недель. Но в любом случае отсутствие эффекта было показано как на бинарной метрике, так и на счетчике.

А почему в исходном исследовании был показан рост на +55%?

Это классическое проклятие победителя (winner's curse) – когда публикуют только значимые результаты, причем самые успешные, с завышением истинной оценки эффекта. Часто в A/B тестировании можно обнаружить эффект больше, чем реально существующий (как посчитать реальный эффект рассказывал Сергей Матросов на прошлом матемаркетинге).
В оригинальном тесте было всего по ~450 человек на группу. На такой маленькой выборке рост конверсии по случайным причинам может превратиться в статистически значимый результат. Кохави применил метод Small Telescopes – суть в том, что если эффект, обнаруженный на малой выборке, действительно существует, то на миллионах пользователях мы его тем более обнаружим. Однако реального эффекта обнаружено не было, мощность оригинального исследования была недостаточной и есть серьезные основания думать, что рост конверсии на 55% был получен по случайным причинам.

Круто, а есть еще подобное?

История с круглыми кнопками это часть большого проекта: Кохави с коллегами запустили проект Trustworthy A/B Patterns – независимую проверку популярных UX-паттернов, которые считаются рабочими. Эксперты работают бесплатно, помогают компаниям правильно спроектировать и провести эксперименты, а взамен получают право публиковать результаты (тут самое сложное согласовать это со своим PR-отделом 🤓).
В очереди на проверку – открытие ссылок в новой вкладке, анализ размера поля купона, подчеркивание ссылок и не только, буду писать здесь о новых интересных результатах.

А вам больше нравятся круглые или квадратные кнопки?

#analytics #AB_tests