Оценка Каплан-Мейера, анализ выживаемости….
и загулявший дата-автор.
Привет, друзья! 🐥
Работая работу на днях столкнулась с цензурированными данными и задачей, на них поставленной, которая при другом сборе данных могла бы быть переформирована в задачу анализа выживаемости.
Для меня эти определения были новыми, но я нашла их полезными. Делюсь.
Что такое цензурированные данные?
Пусть поставлена задача наблюдать за объектами во времени. Пусть все объекты имеют какое-то свойство, которое может либо быть на отрезке времени, либо пропасть. Объект называется
- цензурированным справа, если для него известен момент появления наблюдаемого свойства и не известен исход.
- цензурированным слева, если для него не известен момент появления, но известен исход.
- цензурированным с обеих сторон, если для него не известны и момент появления и исход.
Да, тут цензурирование к изображениям они отношения не имеют (кто поймет шутку, тот поймет).
Пример:
Пусть мы наблюдаем за 11ю пациентами с циррозом печени в течение 3 месяцев. И на 2м месяце нам добавились еще 5 из больницы в деревне и для них момент начала цирроза не известен.
Рассмотрим первые 11 человек. Пусть для 7 из них известен момент появления цирроза и они выжили к концу наблюдения. Они цензурированы справа.
Пусть для 3х известен момент начала и они умерли в течение трех месяцев. Они не цензурированы.
И наверное логически вы уже догадались, что наша пятерка из другой больницы цензурирована….слева!
Моделируя задачу на этих данных может быть построена функция выживаемости.
Что за функция выживаемости?
Пусть случайная величина T соответствует продолжительности жизни в выборке из n наблюдений. Вероятность, что T (количество прожитых лет) будет меньше чем x определяет функцию распределения такой величины (пусть F(x)).
Дополнительная функция s(x) = 1 - F(x) называется функцией выживаемости и показывает вероятность прожить больше, чем x лет.
Эта красотка встречается в актуарных расчетах и в медицинских задачах, но может быть применена не только к оцениваю продолжительности жизни. Взмахпалочкой — и функция выживаемости становится функцией, отражающей срок работы устройства.
Как оценить вероятность пережить момент времени, если данные цензурированы?
Для этого может быть применена Оценка Каплан Мейера.
Для этого отрезок времени разбивается на интервалы. Для каждого интервала j считается частное отношения разности числа живых и выбывших в этом интервале к общему количеству наблюдений интервала. Если без букв, то эта величина есть:
П(Rj-dj)/Rj, где Rj — число объектов, доживших до времени j, dj число объектов, не переживших момент времени j, а П —страшненький какой есть знак произведения.
Подробнее + туториал на Python здесь.
И немного послесловия👇🏻
и загулявший дата-автор.
Привет, друзья! 🐥
Работая работу на днях столкнулась с цензурированными данными и задачей, на них поставленной, которая при другом сборе данных могла бы быть переформирована в задачу анализа выживаемости.
Для меня эти определения были новыми, но я нашла их полезными. Делюсь.
Что такое цензурированные данные?
Пусть поставлена задача наблюдать за объектами во времени. Пусть все объекты имеют какое-то свойство, которое может либо быть на отрезке времени, либо пропасть. Объект называется
- цензурированным справа, если для него известен момент появления наблюдаемого свойства и не известен исход.
- цензурированным слева, если для него не известен момент появления, но известен исход.
- цензурированным с обеих сторон, если для него не известны и момент появления и исход.
Да, тут цензурирование к изображениям они отношения не имеют (кто поймет шутку, тот поймет).
Пример:
Пусть мы наблюдаем за 11ю пациентами с циррозом печени в течение 3 месяцев. И на 2м месяце нам добавились еще 5 из больницы в деревне и для них момент начала цирроза не известен.
Рассмотрим первые 11 человек. Пусть для 7 из них известен момент появления цирроза и они выжили к концу наблюдения. Они цензурированы справа.
Пусть для 3х известен момент начала и они умерли в течение трех месяцев. Они не цензурированы.
И наверное логически вы уже догадались, что наша пятерка из другой больницы цензурирована….слева!
Моделируя задачу на этих данных может быть построена функция выживаемости.
Что за функция выживаемости?
Пусть случайная величина T соответствует продолжительности жизни в выборке из n наблюдений. Вероятность, что T (количество прожитых лет) будет меньше чем x определяет функцию распределения такой величины (пусть F(x)).
Дополнительная функция s(x) = 1 - F(x) называется функцией выживаемости и показывает вероятность прожить больше, чем x лет.
Эта красотка встречается в актуарных расчетах и в медицинских задачах, но может быть применена не только к оцениваю продолжительности жизни. Взмах
Как оценить вероятность пережить момент времени, если данные цензурированы?
Для этого может быть применена Оценка Каплан Мейера.
Для этого отрезок времени разбивается на интервалы. Для каждого интервала j считается частное отношения разности числа живых и выбывших в этом интервале к общему количеству наблюдений интервала. Если без букв, то эта величина есть:
П(Rj-dj)/Rj, где Rj — число объектов, доживших до времени j, dj число объектов, не переживших момент времени j, а П —
Подробнее + туториал на Python здесь.
И немного послесловия👇🏻
👍5🔥2
У меня большой кризис в ведении канала, и большой буст относительно работы, которую я делаю ежедневно с течением времени.
С одной стороны, я приобретаю тележку опыта, потому что веду в single проект по гранту, беру подработки по анализу данных и разминаю ручки и мозги на новый год участия в конференциях.
С другой — стопорюсь и "ссыкую", потому что переживаю, что вот этот вот опыт, выводы и какие-то новые штуки, открытые мною, совсем никому не сдались.
Так вот, да, мне как никогда поможет и помогает фидбек от вас — то, что вы как минимум никуда не уходите и ставите все эти чудные реакции 🫶🏻
Я стараюсь, но попутно борюсь с психологическим синдромом самозванца.
Ещё не в нокауте,
Ваш дата-автор!
С одной стороны, я приобретаю тележку опыта, потому что веду в single проект по гранту, беру подработки по анализу данных и разминаю ручки и мозги на новый год участия в конференциях.
С другой — стопорюсь и "ссыкую", потому что переживаю, что вот этот вот опыт, выводы и какие-то новые штуки, открытые мною, совсем никому не сдались.
Так вот, да, мне как никогда поможет и помогает фидбек от вас — то, что вы как минимум никуда не уходите и ставите все эти чудные реакции 🫶🏻
Я стараюсь, но попутно борюсь с психологическим синдромом самозванца.
Ещё не в нокауте,
Ваш дата-автор!
❤20😍3👍2🤮1
Потому что я снова пишу статью, и потому как был услышан запрос от Тимура — одного из читателей канала..
Привет, друзья! 🐥
Каждый раз, когда сажусь писать статью передо мной чистый лист. В последний раз (вчера), я написала на нём «НЕТ ПЛАНА» и ушла пить кофе.
Что писать, даже если это конференция из разряда [надо], что я делаю в такие моменты — делюсь опытом и материалами в посте!
И так, как писать статью, если…
🐷1. Есть тема, нет работы?
Значит вы выполняете обзор — ваш первый шаг. Вам можно попробовать:
— сформулировать свою задачу/тему/проблему так, чтобы ее можно было описать фразой до 5 слов и посмотреть, что в области делают в таких или схожих задачах;
— в качестве точки 0 ищем обзорную статью на свою задачу/фразу/область, чтобы узнать, что сделано из последнего и познакомиться с самыми свежими проблемами и экспериментами;
— если вы готовы и это возможно — проанализировать то, что уже было попробовано до вас. Постараться понять, почему один метод сработал хорошо, а другой хуже? Что я могу попробовать сам(а) и в ближайшее время? А какие идеи возникают у меня? Если идеи есть — записывайте до новой итерации поиска и будущей работы. Если идей нет — просто анализируйте! ;
— Записанные идеи формулируем также короткой фразой и снова идем искать! Вы можете найти либо точную реализацию (это нормально), либо сколь угодно схожую и подвернуть вдохновение для генерации идеи новой или для уточнения старой.
🐮2. Если темы нет:
— думаем, чем нравится заниматься — от общего к частному. Без этого никуда. С будущей научной работой вы будете спать и есть, так что момент «нравится» тут — критически важен.
Ход вашей мысли может быть примерно таков: «мне нравится CV» -> «CV в медицине» -> «а МРТ задачи особенно чудесны» и бинго! Далее ищем научного руководителя со схожей областью интересов и скорее всего идем в первый пункт поста.
🐓3. Если это из разряда надо:
Отдельный пункт. Такое бывает, увы нередко. Когда проходят внутренние конференции университета или кафедры и научный руководитель говорит про какое-то надо принять участие…внутри при таком может возникнуть особенно истерический бунт, (как у меня в первую конференцию) 😄
Что писать и готовить в таких случаях:
— Ревью на работу, которую вы сделали ранее — постарайтесь проанализировать свою прошлую статью, прогнать в голове свежую литературу, и подумать:
• Что я сделал(а) и что можно сделать лучше?
• Что делают в области в схожих задачах?
На основе этого можно родить даже хороший текст, который хотя и будет полу или совсем обзором, но будет цениться как источник информации.
— Обзорник — здесь снова идем в пункт 1.
Вот такие личные наблюдения. Из не личных (🤓), прикрепляю статью про то как писать статьи и на какие технические моменты лучше всего обращать внимание.
Дайте знать, если пост был вам полезен! Лучше всего огонечком!)
В комментариях всегда рада отвечать на вопросы и просто поболтать =)
Ушла агрессивно стучать по клавишам и парсить данные,
Ваш Дата-автор! 🐣
Привет, друзья! 🐥
Каждый раз, когда сажусь писать статью передо мной чистый лист. В последний раз (вчера), я написала на нём «НЕТ ПЛАНА» и ушла пить кофе.
Что писать, даже если это конференция из разряда [надо], что я делаю в такие моменты — делюсь опытом и материалами в посте!
И так, как писать статью, если…
🐷1. Есть тема, нет работы?
Значит вы выполняете обзор — ваш первый шаг. Вам можно попробовать:
— сформулировать свою задачу/тему/проблему так, чтобы ее можно было описать фразой до 5 слов и посмотреть, что в области делают в таких или схожих задачах;
— в качестве точки 0 ищем обзорную статью на свою задачу/фразу/область, чтобы узнать, что сделано из последнего и познакомиться с самыми свежими проблемами и экспериментами;
— если вы готовы и это возможно — проанализировать то, что уже было попробовано до вас. Постараться понять, почему один метод сработал хорошо, а другой хуже? Что я могу попробовать сам(а) и в ближайшее время? А какие идеи возникают у меня? Если идеи есть — записывайте до новой итерации поиска и будущей работы. Если идей нет — просто анализируйте! ;
— Записанные идеи формулируем также короткой фразой и снова идем искать! Вы можете найти либо точную реализацию (это нормально), либо сколь угодно схожую и подвернуть вдохновение для генерации идеи новой или для уточнения старой.
🐮2. Если темы нет:
— думаем, чем нравится заниматься — от общего к частному. Без этого никуда. С будущей научной работой вы будете спать и есть, так что момент «нравится» тут — критически важен.
Ход вашей мысли может быть примерно таков: «мне нравится CV» -> «CV в медицине» -> «а МРТ задачи особенно чудесны» и бинго! Далее ищем научного руководителя со схожей областью интересов и скорее всего идем в первый пункт поста.
🐓3. Если это из разряда надо:
Отдельный пункт. Такое бывает, увы нередко. Когда проходят внутренние конференции университета или кафедры и научный руководитель говорит про какое-то надо принять участие…внутри при таком может возникнуть особенно истерический бунт, (как у меня в первую конференцию) 😄
Что писать и готовить в таких случаях:
— Ревью на работу, которую вы сделали ранее — постарайтесь проанализировать свою прошлую статью, прогнать в голове свежую литературу, и подумать:
• Что я сделал(а) и что можно сделать лучше?
• Что делают в области в схожих задачах?
На основе этого можно родить даже хороший текст, который хотя и будет полу или совсем обзором, но будет цениться как источник информации.
— Обзорник — здесь снова идем в пункт 1.
Вот такие личные наблюдения. Из не личных (🤓), прикрепляю статью про то как писать статьи и на какие технические моменты лучше всего обращать внимание.
Дайте знать, если пост был вам полезен! Лучше всего огонечком!)
В комментариях всегда рада отвечать на вопросы и просто поболтать =)
Ушла агрессивно стучать по клавишам и парсить данные,
Ваш Дата-автор! 🐣
🔥8❤🔥6🤓2
Сёрфинг в интернете, которого вы заслужили: подборка красивых мест, где можно найти статьи. 🏖
Классика жанра:
- Google Академия — статьи по практически любым ключевым словам. На практике пользуюсь ею не чаще обычного гугл поиска, но, как ресурс, Академия достойна быть в списке.
- arxiv.org — от истоков — просто мой любимый ресурс на рандомно почитать статьи. Из перечисленных сайтов — наиболее продвинутая реализация продвинутого поиска. Кстати, очень хорошо размечена выдача для парсинга.
👑 С красивой визуализацией:
- pubmed — вопреки тому, что сайт не на дата-тематику, если интересуетесь делами каких-то методов AI в медицине — советую. Ценность даже больше не в том, чтобы находить статьи, а в том, чтобы прослеживать динамику популярности ключевых слов на боковой панели при расширенном поиске.
- dimensions.ai — товарищ, который по продвинутости и удобоваримости поиска спокойно отодвигает arxiv. Есть даже поиск по авторам! Сбоку также можно красиво и полезно отследить популярность запроса. Использую не так давно, но по функциональности и дизайну — о-гонь!)
- connectedpapers — подкинуто в комментариях! Если бы не совместный вклад, то мы бы и не увидели, где можно смотреть как связаны работы между собой.
Вишенка среди вишенок: 🤌🏻
- paperswithcode — воспроизводимость экспериментов иногда нервно плачет в углу. Однако не с этим инструментом. Просто советую, потому что здесь мой креатив закончился.
Просто существуют:
- sciencedirect и frontiersin — вдруг вам понадобятся больше, чем мне.
Как предпосылку к посту могу сказать только одно: "работаю")
Работаю и лопачу материал со скоростью, которая варьируется от "ленивец из мультика" до "кот, который испортил ботинок".
На связи,
Пекущий грантовый проект,
Ваш Дата автор!
Классика жанра:
- Google Академия — статьи по практически любым ключевым словам. На практике пользуюсь ею не чаще обычного гугл поиска, но, как ресурс, Академия достойна быть в списке.
- arxiv.org — от истоков — просто мой любимый ресурс на рандомно почитать статьи. Из перечисленных сайтов — наиболее продвинутая реализация продвинутого поиска. Кстати, очень хорошо размечена выдача для парсинга.
👑 С красивой визуализацией:
- pubmed — вопреки тому, что сайт не на дата-тематику, если интересуетесь делами каких-то методов AI в медицине — советую. Ценность даже больше не в том, чтобы находить статьи, а в том, чтобы прослеживать динамику популярности ключевых слов на боковой панели при расширенном поиске.
- dimensions.ai — товарищ, который по продвинутости и удобоваримости поиска спокойно отодвигает arxiv. Есть даже поиск по авторам! Сбоку также можно красиво и полезно отследить популярность запроса. Использую не так давно, но по функциональности и дизайну — о-гонь!)
- connectedpapers — подкинуто в комментариях! Если бы не совместный вклад, то мы бы и не увидели, где можно смотреть как связаны работы между собой.
Вишенка среди вишенок: 🤌🏻
- paperswithcode — воспроизводимость экспериментов иногда нервно плачет в углу. Однако не с этим инструментом. Просто советую, потому что здесь мой креатив закончился.
Просто существуют:
- sciencedirect и frontiersin — вдруг вам понадобятся больше, чем мне.
Как предпосылку к посту могу сказать только одно: "работаю")
Работаю и лопачу материал со скоростью, которая варьируется от "ленивец из мультика" до "кот, который испортил ботинок".
На связи,
Пекущий грантовый проект,
Ваш Дата автор!
Google
Google Scholar
Google Scholar provides a simple way to broadly search for scholarly literature. Search across a wide variety of disciplines and sources: articles, theses, books, abstracts and court opinions.
🔥10❤3
Доброго утра, друзья!
Для всех интересующихся — нашла новые статьи со свежего семинара Proceedings of The First International Workshop on eXplainable AI for the Arts (XAIxArts) [Первый международный семинар по объяснимому ИИ в искусстве] 🎨
Если наберем 30 огонечков — залезу, изучу, сделаю обзор! 🤓
А пока продолжаю тонну hard-work из серии "дедлайн вчера, а я уже в сегодня".
Желаю вам чудесных выходных!
Ваш дата-автор!
Для всех интересующихся — нашла новые статьи со свежего семинара Proceedings of The First International Workshop on eXplainable AI for the Arts (XAIxArts) [Первый международный семинар по объяснимому ИИ в искусстве] 🎨
Если наберем 30 огонечков — залезу, изучу, сделаю обзор! 🤓
А пока продолжаю тонну hard-work из серии "дедлайн вчера, а я уже в сегодня".
Желаю вам чудесных выходных!
Ваш дата-автор!
🔥16😢1
Доброго утра, друзья! 🐣
Провожу семантический анализ области Explainable AI и просто не могу не оставить это здесь, пусть это и плохо читаемо.
Видите, как интересно группируются в кластер эти слова, друзья?
Особенное внимание хочу обратить на слово dialogue, потому как использование диалоговых систем (LLM) один из трендов в XAI сейчас! =)
Если наберем (давайте 20!) 🔥, мне важна активность и жизнь здесь, то напишу про этот тренд :)
Чудесного дня,
Ваш дата-автор!
Провожу семантический анализ области Explainable AI и просто не могу не оставить это здесь, пусть это и плохо читаемо.
Видите, как интересно группируются в кластер эти слова, друзья?
Особенное внимание хочу обратить на слово dialogue, потому как использование диалоговых систем (LLM) один из трендов в XAI сейчас! =)
Если наберем (давайте 20!) 🔥, мне важна активность и жизнь здесь, то напишу про этот тренд :)
Чудесного дня,
Ваш дата-автор!
🔥23
🐓 XAI and LLM’s
Объяснение прогноза модели — частая задача для специалистов машинного обучения — даже за глубоким ходить не надо. Дело здесь касается не только критических областей — объяснимость важна и для рядовых бизнес-задач, как источник гипотез в отношении стратегии компании.
🤔 Или, всё-таки, надо сходить за глубоким?
В последнее время можно заметить чуть более широкое применение диалоговых агентов-помощников, и эта история не обошла область XAI.
🧷 Первая свежая ветка задач здесь: создание систем, способных не только осуществлять действие, но и давать его объяснение на естественном языке. Например система, осуществляющая объяснимый подбор работы или объяснимое вождение.
🧷Вторая свежая ветка задач: объяснение объяснений или, говоря более литературно — комбинация методов Explainable AI с LLM. Например, вооружившись GPT, недавно было осуществлено сравнение интерпретаций, получаемых традиционными методами (в частности, LIME) и при помощи языковой модели.
Исследование показало, что генерация объяснений языковым чудом не хуже объяснений, полученных LIME, является вычислительно более дешевой, но при этом отлична с ними по согласованности. В результате исследователи не могут сделать вывод превосходит ли одно объяснение другое, и в целом допускается, что из двух объяснений существует третье и для его нахождения нужны новые методы.
Однако при этом потенциал у систем-кобминаций XAI и LLM неплох. Например здесь исследователи демонстрируют систему для обнаружения кибератак, являющуюся комбинацией моделей машинного и глубокого обучения. Пользователь может получать не только объяснение, но и ответы на вопросы, связанные с тем что делать с этим объяснением.
Вот такой вот понедельничный вестник новостей, друзья! Бодрой вам недели и напоследок, один вопрос очень хотела задать вам на протяжении всего текста!
Прости господи, мне же не одной сокращение LLM’s напоминает M&M’s..? 💁🏻
Со всей своей огромной любовью и с желанием отличного вам начала недели,
Ваш Дата автор!
Объяснение прогноза модели — частая задача для специалистов машинного обучения — даже за глубоким ходить не надо. Дело здесь касается не только критических областей — объяснимость важна и для рядовых бизнес-задач, как источник гипотез в отношении стратегии компании.
🤔 Или, всё-таки, надо сходить за глубоким?
В последнее время можно заметить чуть более широкое применение диалоговых агентов-помощников, и эта история не обошла область XAI.
🧷 Первая свежая ветка задач здесь: создание систем, способных не только осуществлять действие, но и давать его объяснение на естественном языке. Например система, осуществляющая объяснимый подбор работы или объяснимое вождение.
🧷Вторая свежая ветка задач: объяснение объяснений или, говоря более литературно — комбинация методов Explainable AI с LLM. Например, вооружившись GPT, недавно было осуществлено сравнение интерпретаций, получаемых традиционными методами (в частности, LIME) и при помощи языковой модели.
Исследование показало, что генерация объяснений языковым чудом не хуже объяснений, полученных LIME, является вычислительно более дешевой, но при этом отлична с ними по согласованности. В результате исследователи не могут сделать вывод превосходит ли одно объяснение другое, и в целом допускается, что из двух объяснений существует третье и для его нахождения нужны новые методы.
Однако при этом потенциал у систем-кобминаций XAI и LLM неплох. Например здесь исследователи демонстрируют систему для обнаружения кибератак, являющуюся комбинацией моделей машинного и глубокого обучения. Пользователь может получать не только объяснение, но и ответы на вопросы, связанные с тем что делать с этим объяснением.
Вот такой вот понедельничный вестник новостей, друзья! Бодрой вам недели и напоследок, один вопрос очень хотела задать вам на протяжении всего текста!
Прости господи, мне же не одной сокращение LLM’s напоминает M&M’s..? 💁🏻
Со всей своей огромной любовью и с желанием отличного вам начала недели,
Ваш Дата автор!
👍7🔥2
Библиотеки для интерпретации глубоких моделей.
Привет, друзья!
Делаю еженедельный чёс по свежим статьям и вот нашла подборку свежих библиотек для интерпретации трансформеров и других глубоких моделей.
🐮 1. Captum — библиотека, с широким набором методов интерпретации для разных уровней детализации — на уровне признаков, слоев или нейронов. Второй плюс библиотеки — мультимодальность относительно данных — можно интерпретировать сети, обученные на изображениях, текстах, аудио или видео.
🐷 2. AttentionViz — библиотека, чьим преимуществом является визуализация во всех возможных плоскостях именно механизма внимания трансформеров. Посмотрите, как это красиво!
🐏 3. Quantus — библиотека, дающая ответ на вопрос о возможности измерения качества полученного объяснения. Пока из всех, встреченных мною, эта библиотека — первая с таким функционалом! 🔥
Как говорится, сохраняем, делимся, ставим огонёчки, друзья! И как всегда — отличного вам продолжения недели!
Не мерзните и не перерабатывайте,
Ваш Дата-автор!
Привет, друзья!
Делаю еженедельный чёс по свежим статьям и вот нашла подборку свежих библиотек для интерпретации трансформеров и других глубоких моделей.
🐮 1. Captum — библиотека, с широким набором методов интерпретации для разных уровней детализации — на уровне признаков, слоев или нейронов. Второй плюс библиотеки — мультимодальность относительно данных — можно интерпретировать сети, обученные на изображениях, текстах, аудио или видео.
🐷 2. AttentionViz — библиотека, чьим преимуществом является визуализация во всех возможных плоскостях именно механизма внимания трансформеров. Посмотрите, как это красиво!
🐏 3. Quantus — библиотека, дающая ответ на вопрос о возможности измерения качества полученного объяснения. Пока из всех, встреченных мною, эта библиотека — первая с таким функционалом! 🔥
Как говорится, сохраняем, делимся, ставим огонёчки, друзья! И как всегда — отличного вам продолжения недели!
Не мерзните и не перерабатывайте,
Ваш Дата-автор!
🔥10❤2☃1
🔥 Друзья! На самом деле, я стараюсь сделать некий пост с полезными ресурсами, но..
Но кажется если бы я не стеснялась орать дома вслух, я бы орала вслух и мне важно "проораться" хотя бы так!
ММРО — это просто огонь, среди конференций. Вы посмотрите на оргкомитет! Жуть, просто жуть! 🥹 (леплю оргкомитет)
Я очень надеялась попасть туда. И это просто как я не знаю что.
В декабре обязательно расскажу о том, как конференция пройдет/проходит!
И чуть позже вернусь с полезностями и ещё у меня для вас отличная рекомендация (с промокодом!:))
Пусть и ваш вечер будет радостным!
Ваш Дата-автор!
Но кажется если бы я не стеснялась орать дома вслух, я бы орала вслух и мне важно "проораться" хотя бы так!
ММРО — это просто огонь, среди конференций. Вы посмотрите на оргкомитет! Жуть, просто жуть! 🥹 (леплю оргкомитет)
Я очень надеялась попасть туда. И это просто как я не знаю что.
В декабре обязательно расскажу о том, как конференция пройдет/проходит!
И чуть позже вернусь с полезностями и ещё у меня для вас отличная рекомендация (с промокодом!:))
Пусть и ваш вечер будет радостным!
Ваш Дата-автор!
❤10🔥7👍1
Привет, друзья! 🐋
Я часто останавливаю себя от мысли что-то публиковать, сидя над материалом и вопросом: А достаточно ли в этом пользы?
Достаточно ли технически и круто? Достаточно ли много? Достаточно ли в тексте смысла, доброты, поддержки? Достаточно ли?
Вместе с этим, понятие смысла растяжимо, как таково. Иногда я вижу огромную ценность в чьих-то словах и эмоциях, пережитых на пути к событию, а иногда кладом оказывается ссылка на сайт из говна и палок с Богом забытой работой.
За кулисами того, что я пишу сюда не так часто, и уже который месяц пытаюсь наладить «частоту публикаций», проходит очень много.
Например сейчас я почти неделю саботировала работу по гранту, ожидая принятия/непринятия статьи на ММРО. Саботировала, потому что страшно и сомнений куча — а достаточно ли научно и ново то, что я делаю?
Аналогичным образом я вторую неделю откладываю пару, которую мне предложил прочитать лектор в университете.
И это всё стоит тонны мыслей, смыслов, гипотез и вопросов к себе. И к чему это я:
Просто хочу напомнить вам, друзья, никогда не «рано». Никогда не будет достаточно красиво, идеально и лучший момент тоже не настанет.
Делайте, потому что делаете. И что-то будет. 😌❤️🫶🏻
И если вам интересно то что иногда я буду делиться какими-то личностными мыслями и выводами, связанными со всей работой — дайте знать!
Я часто останавливаю себя от мысли что-то публиковать, сидя над материалом и вопросом: А достаточно ли в этом пользы?
Достаточно ли технически и круто? Достаточно ли много? Достаточно ли в тексте смысла, доброты, поддержки? Достаточно ли?
Вместе с этим, понятие смысла растяжимо, как таково. Иногда я вижу огромную ценность в чьих-то словах и эмоциях, пережитых на пути к событию, а иногда кладом оказывается ссылка на сайт из говна и палок с Богом забытой работой.
За кулисами того, что я пишу сюда не так часто, и уже который месяц пытаюсь наладить «частоту публикаций», проходит очень много.
Например сейчас я почти неделю саботировала работу по гранту, ожидая принятия/непринятия статьи на ММРО. Саботировала, потому что страшно и сомнений куча — а достаточно ли научно и ново то, что я делаю?
Аналогичным образом я вторую неделю откладываю пару, которую мне предложил прочитать лектор в университете.
И это всё стоит тонны мыслей, смыслов, гипотез и вопросов к себе. И к чему это я:
Просто хочу напомнить вам, друзья, никогда не «рано». Никогда не будет достаточно красиво, идеально и лучший момент тоже не настанет.
Делайте, потому что делаете. И что-то будет. 😌❤️🫶🏻
И если вам интересно то что иногда я буду делиться какими-то личностными мыслями и выводами, связанными со всей работой — дайте знать!
❤🔥9❤3
А пока вы отмечаете свое мнение и читаете прошлый пост, обещанная приятная рекомендация! ☺️
Что: курс "Рекуррентные сети в NLP и приложениях".
🐷 Когда: 5 декабря (первый вебинар)
Что проходится за месяц:
И также: вы сделаете проект, оформленный в виде FastAPI-сервиса!
Где: платформа Stepik, вебинары в zoom + записи на YouTube
🎉 Цена: 2900, а с промокодом имени моего старшего котаDARII — 2400 :)
За контент и за авторов курса — кладу голову на отсечение. Именно благодаря им, благодаря структуре курса (теория + практический сервис), я смогла доделать важную часть своей статьи для ММРО.
Всем отличной недели!
Где-то под кучкой работы,
Ваш Дата-автор!:)
Что: курс "Рекуррентные сети в NLP и приложениях".
🐷 Когда: 5 декабря (первый вебинар)
Что проходится за месяц:
• Работа с фреймворком PyTorch • Решение задач генерации текстов при помощи RNN • Использование RNN в других областяхИ также: вы сделаете проект, оформленный в виде FastAPI-сервиса!
Где: платформа Stepik, вебинары в zoom + записи на YouTube
🎉 Цена: 2900, а с промокодом имени моего старшего кота
За контент и за авторов курса — кладу голову на отсечение. Именно благодаря им, благодаря структуре курса (теория + практический сервис), я смогла доделать важную часть своей статьи для ММРО.
Всем отличной недели!
Где-то под кучкой работы,
Ваш Дата-автор!:)
Stepik: online education
Рекуррентные сети в NLP и приложениях
Интенсив посвящен рекуррентным нейронным сетям, применяющимся для решения широкого класса задач в области NLP, а также их приложениям в других областях.
Курс является вторым в линейке курсов по Natural Language Processing после курса "Основы нейронных сетей…
Курс является вторым в линейке курсов по Natural Language Processing после курса "Основы нейронных сетей…
❤🔥2🔥2
Доброго вам начала зимы, друзья! ❄️
Сейчас готовлю лекцию для магистров своего университета, и в рамках очередных поисков информации собрала для вас фреймворки для оценки качества объяснений.
Существует проблема:
Степень качества объяснения зависит от конечной цели и от лица, рассматривающего объяснение. Так, от хорошего объяснения мы можем требовать:
- Корректности в рамках предметной области
- Практической применимости
- Непротиворечивости (похожие примеры имеют похожие объяснения)
- Устойчивости (например, к состязательным возмущениям)
Некоторые примеры метрик я приводила в докладе.
Фреймворки для оценки качества объяснений:
🐏1. Quantus — уже знакомый нам товарищ. Содержит более 30 различных показателей для самых популярных методов объяснения моделей.
🦭2. Shapash — наш новый друг. Удобно и красиво, что с помощью Shapash вы можете создать веб-приложение, которое упрощает понимание взаимодействий между функциями модели и обеспечивает красивую навигацию.
🦥3. AI explainability 360 — тоже ключает в себя джентельменсткий набор алгоритмов, которые охватывают различные аспекты объяснений и косвенные показатели объяснимости. Поддерживает табличные, текстовые, графические данные и временные ряды. Еще у репозитория есть учебные пособия и книжки (английский).
На сегодня это всё! :) Впервые буду читать лекцию на полтора часа, так что пойду усердно готовиться.
А вам желаю отличных выходных!
Всем горячего шоколада, корицы и мандаринов,
Ваш Дата-автор!
Сейчас готовлю лекцию для магистров своего университета, и в рамках очередных поисков информации собрала для вас фреймворки для оценки качества объяснений.
Существует проблема:
Степень качества объяснения зависит от конечной цели и от лица, рассматривающего объяснение. Так, от хорошего объяснения мы можем требовать:
- Корректности в рамках предметной области
- Практической применимости
- Непротиворечивости (похожие примеры имеют похожие объяснения)
- Устойчивости (например, к состязательным возмущениям)
Некоторые примеры метрик я приводила в докладе.
Фреймворки для оценки качества объяснений:
🐏1. Quantus — уже знакомый нам товарищ. Содержит более 30 различных показателей для самых популярных методов объяснения моделей.
🦭2. Shapash — наш новый друг. Удобно и красиво, что с помощью Shapash вы можете создать веб-приложение, которое упрощает понимание взаимодействий между функциями модели и обеспечивает красивую навигацию.
🦥3. AI explainability 360 — тоже ключает в себя джентельменсткий набор алгоритмов, которые охватывают различные аспекты объяснений и косвенные показатели объяснимости. Поддерживает табличные, текстовые, графические данные и временные ряды. Еще у репозитория есть учебные пособия и книжки (английский).
На сегодня это всё! :) Впервые буду читать лекцию на полтора часа, так что пойду усердно готовиться.
А вам желаю отличных выходных!
Всем горячего шоколада, корицы и мандаринов,
Ваш Дата-автор!
🔥6👍2
🌲 Привет, друзья!
Возможно вы успели заметить раньше, но на всякий случай!
🐥 Уже второй год я занимаюсь проектом, посвященным объяснимому искусственному интеллекту (XAI).
Сначала это была база библиотек, позволяющих распаковывать алгоритмы. На данный момент в ней 23 библиотеки, классифицированных по:
фреймворкам
типам данных
методам интерпретации/объяснения моделей
теперь — это более масштабный проект, который планирует вылиться в полноценный продукт, облегчающий внедрение объяснения в повседневный pipeline. Планируемые работы и исследования я как раз буду представлять на ММРО.
На основе последних обновлений, я собрала и классифицировала уже 23 библиотеки. Призываю сохранять и пользоваться! =)
Сейчас я проектирую веб-сервис и готовлю семантический анализ области.
Общую таблицу (там все 3 на отдельных листах) вы можете найти здесь!
Буду рада вашей поддержке в виде обратной связи! И буду держать в курсе проекта)
Очень hard-working,
Ваш Дата-автор!
P.S. Кстати, прочитала лекцию в университете. Учиться читать мне еще и учиться, однако опыт веселый! 😄
Возможно вы успели заметить раньше, но на всякий случай!
🐥 Уже второй год я занимаюсь проектом, посвященным объяснимому искусственному интеллекту (XAI).
Сначала это была база библиотек, позволяющих распаковывать алгоритмы. На данный момент в ней 23 библиотеки, классифицированных по:
фреймворкам
типам данных
методам интерпретации/объяснения моделей
теперь — это более масштабный проект, который планирует вылиться в полноценный продукт, облегчающий внедрение объяснения в повседневный pipeline. Планируемые работы и исследования я как раз буду представлять на ММРО.
На основе последних обновлений, я собрала и классифицировала уже 23 библиотеки. Призываю сохранять и пользоваться! =)
Сейчас я проектирую веб-сервис и готовлю семантический анализ области.
Общую таблицу (там все 3 на отдельных листах) вы можете найти здесь!
Буду рада вашей поддержке в виде обратной связи! И буду держать в курсе проекта)
Очень hard-working,
Ваш Дата-автор!
P.S. Кстати, прочитала лекцию в университете. Учиться читать мне еще и учиться, однако опыт веселый! 😄
Google Docs
Library_framework
🔥14
🐥 Привет, друзья! Сегодня мне 22.
А три дня назад я выступила на конференции, до которой, казалось, нос не дорос. Годом до этого я выиграла грант. Ещё раньше — завела этот блог. До 20 впервые поучаствовала в создании научной статьи. А ещё раньше начала писать посты на Хабр.
И я пишу это не для того чтобы похвастаться. С этим у меня проблемы)
Я пишу это, чтобы сказать вот что:
в каждый, каждый момент времени мною двигало одно — игра. Мне было так интересно, по детски интересно. «Смогу ли я? А что будет если смогу? Поможет ли кому-то мой опыт? И что если просто начать делиться?»
В момент выступления на ММРО мне был задан вопрос: «А зачем ваше исследование?» И ребенок внутри меня не нашел что ответить, потому что фраза «мне просто интересно» действительно не доросла до серьёзного мира профессоров. Эмоционально было немного тяжело. С печалью и мыслями «ну да, зачем это всё?».
Но именно такой ребенок заставляет меня думать о проекте во сне. Делать блог, создавать веб-сервис, участвовать в конференциях и без конца учиться, вместо того чтобы обрести свободное время.
И я просто хочу в своей день рождения улыбнуться вам, поблагодарить за то, что вы здесь и пожелать, пусть и иногда ценой новых «очивок», не терять интерес. 🐣
Ко всему. 🫶🏼
Вы — чудо!
P.S. Если в комментариях напишите пару слов про блог, чего не хватает или что хотите увидеть — буду рада :)
Честно готовлю посты, но на декабрь в сессии и чокопаях,
Ваш Дата-автор!
А три дня назад я выступила на конференции, до которой, казалось, нос не дорос. Годом до этого я выиграла грант. Ещё раньше — завела этот блог. До 20 впервые поучаствовала в создании научной статьи. А ещё раньше начала писать посты на Хабр.
И я пишу это не для того чтобы похвастаться. С этим у меня проблемы)
Я пишу это, чтобы сказать вот что:
в каждый, каждый момент времени мною двигало одно — игра. Мне было так интересно, по детски интересно. «Смогу ли я? А что будет если смогу? Поможет ли кому-то мой опыт? И что если просто начать делиться?»
В момент выступления на ММРО мне был задан вопрос: «А зачем ваше исследование?» И ребенок внутри меня не нашел что ответить, потому что фраза «мне просто интересно» действительно не доросла до серьёзного мира профессоров. Эмоционально было немного тяжело. С печалью и мыслями «ну да, зачем это всё?».
Но именно такой ребенок заставляет меня думать о проекте во сне. Делать блог, создавать веб-сервис, участвовать в конференциях и без конца учиться, вместо того чтобы обрести свободное время.
И я просто хочу в своей день рождения улыбнуться вам, поблагодарить за то, что вы здесь и пожелать, пусть и иногда ценой новых «очивок», не терять интерес. 🐣
Ко всему. 🫶🏼
Вы — чудо!
P.S. Если в комментариях напишите пару слов про блог, чего не хватает или что хотите увидеть — буду рада :)
Честно готовлю посты, но на декабрь в сессии и чокопаях,
Ваш Дата-автор!
❤13🎉5👏2
🦭 OmniXAI
Привет, друзья!
OmniXAI — относительно новая библиотека для объяснимого искусственного интеллекта (Python с открытым исходным кодом).
🔥 В базе она уже 24я, и среди других её отличают:
- большой зоопарк методов интерпретации и объяснения (25 методов)
- поддержка моделей, обученных с помощью sklearn и torch/tensorflow
- поддержка основных модальностей данных (табличные, изображения, тексты, временные ряды),
- приятный теплой объяснений в виде интерактивного дашборда
- понятная карта применимости конкретных методов к конкретному типу моделей (в отличие от многих)
Подробнее смотрите в репозитории,
Плюс сравнение библиотеки с другими здесь,
Плюс статья
Где-то душой на каких-нибудь Канарах уже на сессии,
Ваш Дата-автор!
Привет, друзья!
OmniXAI — относительно новая библиотека для объяснимого искусственного интеллекта (Python с открытым исходным кодом).
🔥 В базе она уже 24я, и среди других её отличают:
- большой зоопарк методов интерпретации и объяснения (25 методов)
- поддержка моделей, обученных с помощью sklearn и torch/tensorflow
- поддержка основных модальностей данных (табличные, изображения, тексты, временные ряды),
- приятный теплой объяснений в виде интерактивного дашборда
- понятная карта применимости конкретных методов к конкретному типу моделей (в отличие от многих)
Подробнее смотрите в репозитории,
Плюс сравнение библиотеки с другими здесь,
Плюс статья
Где-то душой
Ваш Дата-автор!
🔥6
Привет, друзья! 🎄
На днях я выступила на ММРО-2023, конференции, в орг. комитет которой входят люди, уроки которых я 2 года назад сохраняла на YouTube и думала, что однажды точно дорасту, доберусь до них.
ММРО стала моим заключительным «покемоном» в коллекции — я прошла через конференции в стенах родного вуза, тематические конференции, косвенно связанные с целевой областью деятельности и вот — поучаствовала и в тематической конференция полностью связанной с целевой областью деятельности.
Немного поделюсь опытом. Цель этого текста — познакомить вас с внутренней кухней всех этих серьезных «штук с международным участием». И, быть может, кто-то сформирует новое к ним отношение. 👇🏻
🚒 С точки зрения soft skills всё отличный опыт ораторства, умения отвечать на вопросы и защищать свою работу. В этом смысле нет смысла особо чувствовать себя грустно, если выступление ограничивается родным университетом/коллегами и стараться сразу метить на какие-то крупные конференции. Первое выступление — оно и в стенах родной квартиры отличный опыт. Главное просто начать.
🚜 С точки зрения hard skills чем уже тематика конференции, тем больше требований к работе будет и тем более сильной вам работу придется сделать. Когда конференция сторонняя, порог входа будет казаться со стороны может даже выше, чем он есть на самом деле, потому что это, грубо говоря, паспорт ВУЗа/организации. И это будет требовать от вас новых достижений. И это же – отличный триггер для вашего роста.
👵🏼 С точки зрения «списка вещей, которые нужно успеть сделать до 30» — не вижу ничего такого, если вдруг университетское время проходит без конференций и других выступлений. Вырасти можно и без этого. Главное просто трудиться. Например, мне куда больше удовольствия доставил Data Fest, так что я даже задумалась над надобностью мне всей этой чудной реальности науки (по крайней мере здесь).
🐥 Лично про мои чувства — на каждой из конференций я либо злилась, либо чувствовала себя нервной (и счастливой) чихуахуа. И уровень тут был не при чем. Как в родном университете, так и в не родных, моя работа оценивалась от уровня условного плинтуса, до вполне себе достойного исследования. На одной конференции от меня в целом сразу ждали не так много, потому что я девушка =)
И вся обратная связь становилась триггером изменений, действий и новых фичей. Так что резюме такое:
если у вас есть возможность выступать — выступайте, как бы страшно это не было. Хуже не будет точно. А если универ давно позади — то вы ничего не потеряли. Иногда конференции сколь угодно неформальные дарят больше чудесных эмоций и уж точно не меньше опыта.
Вот такие дела! Надеюсь, вы в проводите это время в приятной суете, а если же нет — то желаю вам огнеупорных штанишек! 🧯 Прошлые года пережили и этот переживем!
С огромным приветом,
Ваш Дата-автор!
На днях я выступила на ММРО-2023, конференции, в орг. комитет которой входят люди, уроки которых я 2 года назад сохраняла на YouTube и думала, что однажды точно дорасту, доберусь до них.
ММРО стала моим заключительным «покемоном» в коллекции — я прошла через конференции в стенах родного вуза, тематические конференции, косвенно связанные с целевой областью деятельности и вот — поучаствовала и в тематической конференция полностью связанной с целевой областью деятельности.
Немного поделюсь опытом. Цель этого текста — познакомить вас с внутренней кухней всех этих серьезных «штук с международным участием». И, быть может, кто-то сформирует новое к ним отношение. 👇🏻
🚒 С точки зрения soft skills всё отличный опыт ораторства, умения отвечать на вопросы и защищать свою работу. В этом смысле нет смысла особо чувствовать себя грустно, если выступление ограничивается родным университетом/коллегами и стараться сразу метить на какие-то крупные конференции. Первое выступление — оно и в стенах родной квартиры отличный опыт. Главное просто начать.
🚜 С точки зрения hard skills чем уже тематика конференции, тем больше требований к работе будет и тем более сильной вам работу придется сделать. Когда конференция сторонняя, порог входа будет казаться со стороны может даже выше, чем он есть на самом деле, потому что это, грубо говоря, паспорт ВУЗа/организации. И это будет требовать от вас новых достижений. И это же – отличный триггер для вашего роста.
👵🏼 С точки зрения «списка вещей, которые нужно успеть сделать до 30» — не вижу ничего такого, если вдруг университетское время проходит без конференций и других выступлений. Вырасти можно и без этого. Главное просто трудиться. Например, мне куда больше удовольствия доставил Data Fest, так что я даже задумалась над надобностью мне всей этой чудной реальности науки (по крайней мере здесь).
🐥 Лично про мои чувства — на каждой из конференций я либо злилась, либо чувствовала себя нервной (и счастливой) чихуахуа. И уровень тут был не при чем. Как в родном университете, так и в не родных, моя работа оценивалась от уровня условного плинтуса, до вполне себе достойного исследования. На одной конференции от меня в целом сразу ждали не так много, потому что я девушка =)
И вся обратная связь становилась триггером изменений, действий и новых фичей. Так что резюме такое:
если у вас есть возможность выступать — выступайте, как бы страшно это не было. Хуже не будет точно. А если универ давно позади — то вы ничего не потеряли. Иногда конференции сколь угодно неформальные дарят больше чудесных эмоций и уж точно не меньше опыта.
Вот такие дела! Надеюсь, вы в проводите это время в приятной суете, а если же нет — то желаю вам огнеупорных штанишек! 🧯 Прошлые года пережили и этот переживем!
С огромным приветом,
Ваш Дата-автор!
mmro.ru
Математические методы распознавания образов
Конференция ММРО проводится один раз в два года и является самым представительным российским научным форумом в области интеллектуального анализа данных. С 2000
❤🔥10