Всем привет! Я завел уютный блог DataWondering.com, чтобы постить статьи про DS/ML/HealthTech и прочие любопытные для меня вещи.

Этот канал — русскоязычное продолжение блога, куда я в дополнение буду кидать материалы из моих курсов, лекции, статьи и рандомные заметки :)

Несколько слов обо мне (@dmitryserg):
▫️ Меня зовут Дима и я руковожу европейской Data Science командой в компании ŌURA, которая выпускает умные кольца

▫️ В HealthTech работаю c 2019-го, хотя начинал свою карьеру в геймдеве, что было крайне весело и полезно для развития навыков

▫️ Здесь [ссылка на запись] можно послушать, как я рассказывал про Data Science в HealthTech на ФКН ВШЭ (спасибо @Ppilif за приглашение)

▫️ А здесь [ссылка на запись] про Data Science в геймдеве

▫️ Я очень люблю заниматься нестандартными и иногда трешовыми исследованиями, особенно на открытых данных: [Анализ стенограмм Госдумы], [Предсказание распространения ковида], [Парсинг мемов в питоне]

▫️ Последние 10 лет активно преподаю в разных местах, от приглашенных лекций в разных универах, до собственных онлайн курсов и специализаций. Некоторые материалы периодически выкладываю в открытый доступ, например, здесь [ссылка на гитхаб] можно найти несколько открытых уроков из моей Data Science специализации в OTUS, а здесь [ссылка на медиум] лежит мой лонгрид по временным рядам из открытого курса по машинному обучению от ODS.ai

И еще немного ссылок:
▫️ [GitHub]
▫️ [LinkedIn]
▫️ [Medium]

But where is everybody?

Первая статья, которую я написал для блога, не связана напрямую с анализом данных или машинным обучением, хотя и использует открытые данные.

Идея появилась, когда я прочитал трилогию Лю Цысиня “Remembrance of Earth’s Past”, гораздо более известную по названию первой книги серии: “The Three-Body Problem” или “Задача трех тел”. Крайне рекомендую эти книги всем, кто любит суровую научную фантастику. Читается на одном дыхании и оставляет приятное послевкусие экзистенциального ужаса.

Во второй книге серии, “The Dark Forest”, подробно разбирается одно из самых захватывающих объяснений парадокса Ферми — теория Темного Леса. Согласно теории, самое лучшее, что может сделать космическая цивилизация для своей безопасности — это молчать.

Мне стало интересно проверить при помощи теории игр, действительно ли эта стратегия такая уж выигрышная, если принять предпосылки, предложенные в книге? Неужели внеземные цивлизации не могут быть такими же дружелюбными и добрососедствующими, как наш замечательный N=1 земной пример? Можно ли оценить, насколько мы уже обречены из-за нашего неосторожного обращения с радио и посланиями в космос? И кто подставил кролика Роджера?

Ответы на эти и на многие другие вопросы вы узнаете в мой статье: Where be the Aliens? Game Theory, Dark Forest, and Earth’s Survival

P.S. Адаптация The Three-Body Problem от Netflix, как обычно, не очень. Лучше сначала прочитать книги.

Вдогонку к прошедшему дню знаний

После трехлетнего перерыва наконец-то возвращаюсь к активному преподаванию. Очень скучал по этому делу и вот наконец-то снова появилось время, чтобы перестать перебиваться приглашенными лекциями и заняться новым полноценным курсом. Преподавать буду снова в Отусе, который я люблю и уважаю. На этот раз курс полностью посвящен управлению ML/DS командой.

Буду много рассказывать про построение адекватных процессов (а не очередной agile ради agile), что работает для дата сайентистов, а что нет, как заниматься наймом и развитием команды, что такое MLOps, AI Governance и многое другое. Все это будет обильно сдобрено примерами из компаний разного масштаба и зрелости — от стартапов в несколько человек, в которых мне довелось работать или консультировать, до контор побольше вроде Oura и Rovio.

Как и на предыдущих моих курсах, постараюсь проводить много открытых уроков и выкладывать часть материалов в открытый доступ на гитхабе. Все это можно будет найти по ссылке https://github.com/DmitrySerg/otus-public :)

Recipe for Disaster: Modeling Viral Infection Spread in Python

В далеком январе 2020-го года я смотрел стримы людей, сидящих на карантине в Китае. Тогда все это выглядело довольно сюрреалистично — какой-то никому неизвестный новый вирус распространяется в городах, про которые я до этого никогда не слышал.

Про эпидемиологию я тоже знал чуть меньше, чем ничего, но мне захотелось посмотреть, можно ли смоделировать распространение вируса, используя только открытые данные? Уже к концу февраля все было готово и я даже успел рассказать про свое исследование на последнем (на тот момент) очном OpenDataDay в Москве перед тем, как и сам оказался в локдауне.

Сейчас наконец-то дошел до написания статьи, так что если вам интересно посмотреть на использование открытых данных, эпидемиологических моделей, графов и симуляций в питоне (с очень красивыми картинками), то добро пожаловать под кат: Recipe for Disaster: Modeling Viral Infection Spread in Python

#HealthTech

Очень люблю смотреть презентации Apple. Во-первых — до чего же красиво. Во вторых — периодически рассказывают про новые фичи для здоровья, а это всегда интересно. В Apple проводят масштабные лонгитюдные исследования в партнерстве с ведущими медицинскими институтами, так что наборы данных и модели получаются очень привлекательными.

В этот раз особенно понравился анонс детектирования Sleep Apnea (апноэ во сне). Остановка дыхания во сне — это довольно неприятная штука, которая может привести к разным сердечно-сосудистым осложнениям, повышает риски деменции и даже диабета. А самое грустное — в большинстве случаев нарушение остается не диагностированным, даже несмотря на то, что около 1 миллиарда людей ему подвержены.

Стандартный, но не очень точный, метод диагностики апноэ — это провести ночь в компании с пульсоксиметром. Но из-за того, что эпизоды остановки дыхания могут быть очень короткими, насыщенность кислородом крови не всегда падает в достаточной для детектирования степени. Гораздо более точный метод — полная полисомнография, но это вообще удовольствие для избранных, про которое как-нибудь расскажу в другой раз.

Apple решили пойти другим путем. Вместо того, чтобы пытаться задетектировать одиночные случаи остановки дыхания, они запилили долгосрочные 30-дневные оценки. Но самое необычное — это входные данные. Если верить анонсу, они умудрились сделать модель, которая работает на простом акселерометре.

> Breathing Disturbances is an innovative new Apple Watch metric that uses the accelerometer to detect small movements at the wrist associated with interruptions to normal respiratory patterns during sleep. 

Довольно необычный выбор, учитывая то, что у Apple Watch есть собственные пульсоксиметр и, казалось бы, для детекции остановки дыхания было бы крайне полезно следить за…дыханием?

Почему же Apple не использовали свой SpO2 сенсор, который они так активно рекламировали? А потому что они до сих пор судятся с другой калифорнийской компанией Masimo, которая запатентовала неинвазивные технологии пульсоксиметрии. С одной стороны — опять патенты встают на пути исследований, с другой — круто, что получилось построить алгоритм на данных от самого простого и доступного сенсора.

Теперь буду ждать независимой валидации алгоритмов, очень интересно узнать, как там дела с false positive rate :)