Основные изменения в tidyverse 2.0.0

Совсем недавно (31 октября) вышла новая версия R 4.3.2 и я обнаружила, что на домашнем ноутбуке сижу на версии R уже прошлого года, а значит пора обновиться. К тому же при подготовке лекции по tidyverse обнаружила, что у меня не самая актуальная версия, а ведь еще в марте вышло обновление tidyverse до 2.0.0 версии, о чем мы сегодня поговорим.

Наиболее полно описаны основные изменения в статье Mine Çetinkaya-Rundel "Teaching the tidyverse in 2023", здесь я выделю ключевые моменты.
1) lubridate стал одним из уже 9 пакетов core tidyverse, что для меня довольно удобно, потому что все время нужен для работы с датами и временем.
2) Немного изменился синтаксис функции dplyr::case_when(), теперь значение по умолчанию пишется как .default = , а не TRUE ~ , как было раньше. При этом синтаксис с TRUE все еще работает, что радует, хотя в новых скриптах стоит переходить на новый.
3) Функции if_else() и case_when() перестали быть настолько строгими с пропущенными значениями, так, раньше:

# previously
df |>
  mutate(
    x = case_when(
       ~ "value 1",
       ~ "value 2",
       ~ "value 3",
      TRUE          ~ NA_character_
    )
  )

в случае использования NA в качестве результата выражения, необходимо было прописывать тип пропущенных значений (NA_character_, NA_real_ и тп). Теперь это отменили, что неплохо, хотя мне казалось полезным контролировать тип пропущенных значений. Но если честно, ошибка была непонятная, в случае если не знаешь в чем дело.

4) Появилась возможность прописывать группировку непосредственно в функции summarise() аргументом .by.

# previously
df |>
  group_by(x) |>
  summarize(mean(y))

Это важно, поскольку после group_by() + summarise() датафрейм остается сгруппированным, что может повлиять на дальнейшие расчеты, и иногда необходимо разгруппировать датафрейм. Теперь, если сгруппированный датафрейм не нужен в дальнейшем, то можно написать так:

# now, optionally
df |>
  summarize(
    mean(y), 
    .by = x
  )

Звучит неплохо, но связка group_by+summarise уже настолько привычна, что отвыкать придется долго.
В целом, после обновления обратная совместимость сохраняется, порадовало например, что синтаксис с TRUE в case_when() не сломался.

И помимо этого, в телеграме появилась возможность использовать подсветку синтаксиса для чанков с кодом с версии 4.11 для десктопа. Это очень круто, кто еще не сделал, обновите телеграм, код получается супер красивым и отформатированным. Для подсветки синтаксиса используются три бэктика ``` и название языка, далее код и три закрывающих бэктика. По умолчанию такое форматирование делает reprex::reprex() (про репрекс можно почитать мой пост, который не утратил актуальности).

Также планирую в ближайшие две недели продолжить запись лекций по R, так что обязательно следите за новостями!

Пишите комментарии, заценили ли обновление tidyverse и телеграма, используете ли аргумент .by вместо group_by() и любые вопросы!

#R #tidyverse

Поправки на множественное тестирование

Возвращение долгожданных лонгридов по статистике!

На подготовку материала потребовалось достаточно много времени, но думаю получилось очень интересно, читаем пост по ссылке:
https://ubogoeva.github.io/R4Analytics/posts/multiple_testing.html

Если понравилось, обязательно делитесь с друзьями и коллегами, материалов про поправки на русском языке немного, и мне самой в свое время очень бы пригодился подробный разбор.

Также пишите комментарии, какие поправки вы используете в работе, как их выбираете и любые вопросы, дополнения, замечания по посту!

#stats #stat_hard

Статистика и R

Один статистик 40 лет проработал в самой успешной биотех компании. Долго, хорошо работал, тимлидом стал.
И была у него всю жизнь одна привычка: каждое утро он открывал левый верхний ящичек стола, заглядывал в него, а потом закрывал на ключик. Когда он ушел на пенсию, сотрудники бросились к столу и вскрыли этот ящик – там лежала старая-старая, потрепанная бумажка, на которой было написано: "p-value это вероятность получить такое же или еще более экстремальное значение тестовой статистики при условии верности нулевой гипотезы"

#stat_fun

@stats_for_science

Дорогие подписчики, посты на телеграм-канал возвращаются. Немного выпала из публикаций, в связи с относительно большой преподавательской нагрузкой:

Я все еще провожу репетиторство по основам R и статистики, актуальная стоимость: 2500р в час. А также участвую в проекте Статистика и R для селекционеров (кстати, если кому-то интересно, то еще можно присоединиться).

Еще у Александра Гинько выходит перевод легендарной книги Хэдли Викхама Advanced R, прочитать про перевод можно здесь, а также получить промокод на скидку. Очень здорово, что выходит перевод такой книги, планирую заказать бумажный вариант (в оригинале читала, но на бумаге почитать тоже приятно). От переводчика я ранее читала перевод книги Mastering Shiny, качество перевода очень высокое.

В настоящий момент я больше занимаюсь изучением продуктовой аналитики: продуктовые метрики, A/B тесты и прочие связанные вещи. Собираюсь делиться интересными мыслями на эти темы здесь на канале. От основного фокуса канала, отраженного в названии, не отказываюсь, но хочу немного расширить профиль.

На первый взгляд, продуктовая аналитика может быть вариантом для тех, кто имеет академический бэкграунд и хочет сменить сферу деятельности, но есть проблема, что в большинстве вакансий требуется уже опыт продуктовым аналитиком. Тем не менее, как-то же люди получают опыт, посмотрим. Если тут есть продуктовые аналитики, пожалуйста отметьтесь в комментариях, я бы хотела расспросить про то, как удалось сменить область.

По статистике: я готовлю пост про роль нормального распределения для параметрических статистических тестов, так что оставайтесь на связи, в течение месяца планирую дописать.

Статистика и R

Не только tidyverse: материалы по data.table

По работе понадобилось разбираться с data.table, который я игнорировала достаточно долгое время, в силу отсутствия особой необходимости работы с большими объемами данных. На самом деле давно пора было, потому что он реально нужен в арсенале инструментов аналитика данных.

Для быстрого освоения data.table рекомендую материалы (учебник и запись вебинаров) Филиппа Управителева, очень здорово расписано. Также документация по dt написана достаточно лаконично и исчерпывающе (что соответствует dt-подходу в целом).

В целом, в извечном споре tidyverse vs data.table (спор при этом не совсем корректен, так как tidyverse — экосистема пакетов, а data.table один пакет для обработки таблиц) можно не занимать какую-то сторону, а использовать преимущества обоих подходов, подробнее можно почитать у Ильи Шутова на канале R in Action.

Еще вчера вышел перевод Advanced R от Александра Гинько, я уже купила pdf-версию, хочу более внимательно прочитать часть про метапрограммирование, круто, что такие книги появляются на русском языке + можно купить бумажное издание.

#R #tidyverse #data_table

Статистика и R

Новое видео про описательные статистики 📊

Я после перерыва выпустила первое видео из серии статистики, посмотреть его можно здесь. К сожалению не успела на этих выходных записать продолжение, но чуть позже должна найти время на запись. Немного непривычен формат коротких лекций без общения с аудиторией, психологически проще рассказывать кому-то и в менее сжатой форме. Для ютуб-формата нужно делать материал более концентрированным с четкими границами тем. Думаю, это более удобно для слушателя, но сложнее для лектора.

А какой формат для восприятия более удобен и привычен вам? Короткие 10-15 минутные видео по одной теме или полуторачасовые лекции на более широкий спектр тем? Пишите в комментарии или ставьте реакции: ✍️ за длинные лекции, 👀 за более короткий ютуб-формат.

#stats #base_stat

Пост-знакомство с Еленой, создательницей и ведущей этого канала

Всем привет! В последнее время появилось много новых подписчиков, а общее число перевалило за 2000. Новым подписчикам — добро пожаловать, старым — спасибо, что остаетесь и продолжаете читать.

Этот пост, чтобы обновить информацию о себе, потому что про себя я рассказывала почти два года назад, за это время много что изменилось.

Я решила уйти из биоинформатической аспирантуры и перейти в дата аналитику. На первую работу в этой области устроилась в мае 2023 года, а в настоящий момент уже два месяца работаю в X5 Tech (в направлении аналитики и визуализации), стек SQL (ClickHouse), R, Grafana.

Мне нравится, что в нашей группе получается применить навыки работы в R + использовать самые передовые подходы, например работу в data.table. Задач по статистике пока нет, но мне хватает преподавания и записи ютуб-лекций. Кроме этого, изучаю материалы по продуктовой аналитике, в особенности что касается проведения A/B тестов.

Для перехода в DA понадобилось выучить SQL и научиться работать с дашбордами, а R и python у меня уже были на достаточно хорошем уровне. Если интересно, могу в следующих постах рассказать чуть более подробно про то, насколько сложно было перекатиться в другую область.

По поводу преподавания можно посмотреть обновленную информацию здесь.

На канале собираюсь выкладывать в том числе материалы, посвященные продуктовой аналитике

Статистика и R

Пятничный мем

— Привет.
— Привет.
— Как там ваши дела с Кристиной? Еще не поженились?
— Нет, мы расстались.
— А что случилось?
— Мне надоело, у нее были слишком большие запросы.
— Например какие?
— Ну например update instance inner join (select groupid as group_id, (select messageid from message inner join thread on threadid = message.thread_id where location_id = location_id and language_id = language_id and concat(group_key, '.') like concat(group.key, '.%') order by message.created desc limit 1) as last_message_id, (select count(*) from thread where location_id = location_id and language_id = language_id and concat(group_key, '.') like concat(group.key, '.%')) as thread_count, (select if(sum(thread.message_count) is null, 0, sum(thread.message_count)) from thread where location_id = location_id and language_id = language_id and concat(group_key, '.') like concat(group.key, '.%')) as message_count from group where group_key like concat(key, '.%')) as statistics on statistics.group_id = instance.group_id set instance.message_id = statistics.last_message_id, instance.thread_count = statistics.thread_count, instance.message_count = statistics.message_count where instance.location_id = location_id and instance.language_id = language_id;

Статистика и R

#SQL #stat_fun

Задачка по дизайну A/B тестов

Пару недель назад участвовала в контесте от Samokat.tech по продуктовой аналитике. Вчера объявили результаты, оказалось, я попала в топ-10 лучших решений и выиграла оффлайн-билет на конференцию Aha'24 в Москве 🎉🎉🎉 (в прикрепленном фото результаты отсортированы по алфавиту, точных баллов не говорили, а имена остальных участников скрыты из соображений приватности).

Суть задачи была в том, чтобы
1) предложить продуктовые решения по борьбе с мошенниками-продавцами на маркетплейсе;
2) сделать дизайн A/B теста, который будет сравнивать новую ML-модель детекции мошенников с ручным определением. Соответственно, нужно было определить, какой статистический тест использовать, рассчитать MDE и мощность, сплит на группы и разобраться с данными, которые предоставили для решения.

Было очень интересно решать реальную задачу e-commerce, где понятно, что за продукт и почему это важно, так что спасибо команде организаторов конференции и аналитиков самоката за возможность проверить свои силы на реальной задаче.

С моим решением можно ознакомиться по ссылке, пишите вопросы и комментарии, если возникли.

#product

@stats_for_science

Всем привет!

Написала обещанный большой пост о моем переходе из биоинформатики в аналитику данных. Подробно расписала мотивацию и выбор области, а также курсы и рекомендации.

Пишите комментарии, вопросы, на все постараюсь ответить!

#analytics

О пуш-уведомлениях, определении целевых пользователей и выгоде годовой подписки

Я пользуюсь разными приложениями для аренды самокатов 🛴 и в одном из них даже оплатила годовую подписку на бесплатный старт. Подписка продавалась по скидке, и я посчитала, что примерно за 10 поездок смогу отбить ее стоимость. Однако мне все еще поступают пуш-уведомления с предложением купить подписку на один или три месяца. Это слегка раздражает и говорит о том, что в компании видимо не проводят сегментацию пользователей и просто раскатывают пуши на всех, вне зависимости, есть ли у них уже подписка или нет.

Для начинающего продуктового аналитика очень полезно пытаться рассмотреть все, что используешь в повседневной жизни, с точки зрения продукта. Я попробовала накидать идей, как можно было бы улучшить взаимодействие с пользователем посредством пушей, и в целом подумать о метриках и механиках монетизации продукта.

Например, в другом приложении был полезным пуш, о том что я давно не каталась на самокатах, со скидкой 20% на следующую поездку. Мне как раз тогда нужно было поехать на самокате, и пуш, и скидка были очень вовремя, я воспользовалась предложением и повысила их метрику конверсий пушей в поездки 😎. Для первого упомянутого приложения тоже намного более полезным было бы напомнить о наличии подписки, о бесплатном старте, чтобы я как пользователь чаще каталась.
Тут правда возникла мысль, что возможно из-за бесплатного старта самокаты начинают работать в убыток 🤔, и им выгоднее, чтобы люди купили подписку и как можно реже пользовались. Но все равно мне кажется продукту нужно увеличивать метрики DAU, WAU, MAU (это аббревиатуры daily, weekly, monthly active users), плюс удержание пользователей (retention), и вряд ли наличие подписки это как-то отменяет. Я понимаю, что метрики активности пользователей не являются самоцелью, а конечная цель продукта состоит в получении прибыли, но поскольку поездки при наличии подписки не становятся бесплатными, значит, юзер будет продолжать приносить прибыль, пользуясь самокатами и при наличии подписки. Так что я не думаю, что при бесплатном старте самокаты становятся убыточными, такая бизнес-схема была бы странной.

А что думаете вы по этому поводу? Выгодно ли при наличии подписки напоминать пользователю о себе, или оптимально, если человек купил и забыл про нее и не использовал приложение?

#product #analytics

@stats_for_science

С днем рождения меня 🎈

И почти с днем рождения телеграм-канал, он был основан 26 августа 2021-го года 🎉
Очень приятно, что мой канал с заметками по статистике так расширился, и здесь собрались настолько разные подписчики: биологи, психологи, социологи, аналитики данных, даже есть представители астрофизики! (в комментариях к опросу можно заценить, а также написать свою область 😎)

Лучшим поздравлением для меня будет поделиться ссылкой с друзьями и коллегами, а также написать в комментариях, что интереснее всего читать, в чем для вас канал представляет ценность.

Спасибо всем, что читаете, комментируете, ставите реакции, это мотивирует развиваться и писать еще!