Спонтанный привет, друзья!

Ну точно лопну, если не поделюсь — кажется нашла ферму, где трудятся — растят всякие «искусственные интеллекты» — маленькие дата-сатанисты — ML Mining😈😄

В реальности, конечно, ML Mining — крупная многофункциональная строительная компания в Ереване. Строят, сносят, материалы производят.

А жаль.

Всем много мемов в жизни!

Ваш, чуть выдохнувший в отпуске, Дата-автор :)

Привет, друзья!

🐥 Стала плотнее работать с библиотеками, предлагающими методы интерпретации. По пути стали встречаться ошибки и баги, так что я решила начать собирать возможные проблемы и решения в одном месте.

Красивое readme я добавлю позже, а пока приглашаю вас присоединяться к наполнению и использованию такой небольшой базы данных.

Ссылка на репозиторий: XAI_libraries_problems

Устала отдыхать, а у меня и не получается,

🌤 Ваш дата-автор!)

Привет друзья!

Линейная регрессия — алгоритм, с которого многие начинают свой путь в машинном обучении. Вопреки простоте и старости, линейная регрессия остается востребованной, поскольку относиться к интерпретируемым алгоритмам.

Интерпретируемость в данном случае — внутреннее свойство модели, отсюда, как ни странно, для интерпретации важностей признаков нам важно заглянуть внутрь — посмотреть веса.

На практике посмотреть — это полдела. А вторые полдела — проанализировать и продемонстрировать результаты.

В посте (я полюбила телеграф 🐥) собрала 5 методов, как это можно сделать! Внутри разобраны:

1. Прямое представление коэффициентов в виде барплота.
2. Представление коэффициентов виде круговой диаграммы.
3. Рассмотрение относительного вклада коэффициентов.
4. Анализ остатков модели.
5. Построение регионов уверенности.

Код с примерами из статьи доступен в ноутбуке. Там же небольшой cheat sheet по регрессии.

А впереди у нас пост про интерпретацию LLM, но мы еще пишем.

Желаю вам продуктивной работы и теплых дней уходящего лета,
Ваш Дата автор! 🐤

Не могу этим не поделиться.

Сделайте свой день чуднее — сгенерируйте смешного котика, ботинок, сумку или фасад из собственных каракуль!

Я вот постаралась. 🐥

Друзья! Кто открывал чудесный шевелящийся текст пару постов назад, тот видел, что готовится серия постов про  LLM.

Так вот, мы дописали! И нет, "мы" — это не я и мои кошки =)

Сегодня я закончила допрос Андрея (а Андрей — допрос меня), и мы сделали целых два поста про  LLM и интерпретацию этих моделей.

В первой части рассмотрены вопросы теории:

- Какие выделяются виды LLM моделей и откуда различия между ними?
- Почему мне и вам полезно знать про LLM и где они могут пригодиться?

Практики:

- Какие библиотеки будут полезны для работы с LLM, и какие используют наиболее?
- Где можно ли обойтись базовыми моделями типа W2V или BoW?

И момент мечтаний:

- Какой тренд в развитии LLM на базе последних исследований?

Мы мучили друг друга две недели и надеемся, что получилось awesome. Ждем вашего прочтения и если будут еще вопросы – ждем ещё вопросов!

А читать...читать здесь 🐤
Кооперация с @awesome_dl

Дата-автор покупает картошку. 🍠

Если вы слышите в магните человека, орущего: «Цивилизация, компьютерное зрение!!!» — это я)

P.S. Для малых городов — очень удивительная штука.

Вернёмся к LLM!

Друзья, творческие начала подвезли вторую часть моих дискуссий с Андреем про LLM!

Во второй части я постаралась (очень!) закрыть два основных вопроса — зачем:

- ...интерпретировать LLM?

И как:
- ...справляются в области со сложностями в интерпретации больших лучистых (вы поймете, открыв пост) LLM?

🍒 Вишенкой рассказала о применении самих LLM моделей как методов интерпретации.

С Андреем будем рады ещё вопросам! А если мы не ответим сразу, то быть может именно ваш вопрос станет триггером на новый deep-dive research.

Ну и Читать здесь!
Awesome кооперация с @awesome_dl

Отличного вам начала сентября, друзья! Запасайтесь уютом, теплом, тыквой и картошкой)

Привет, друзья! С Днём знаний! 🍁

Пишу закинуть интересную статью: «TRIVEA: Transparent Ranking Interpretation using Visual Explanation of Black-Box Algorithmic Rankers»

В ней методы explainable AI используются для обеспечения прозрачности решения задачи ранжирования.

Опуская другие детали (я не спец в задаче ранжирования), на основе статьи можно вынести два важных и интересных топика:

- методы explainable AI, заявляемые как model-agnostic — то есть применимые к любой модели — полно способны охватить классический кластер задач AI. Так, для анализа процесса ранжирования в статье применены LIME (Local Interpretable Model-Agnostic Explanations) и ICE (Individual Conditional Expectation).

- в применении post-hoc объяснений есть момент субъективности методов. Здесь это проявлено в том моменте, что в статье авторы, исследуя согласованность методов, обнаружили, что она не стабильна и зависит от свойств данных и задачи.

Вот такое спонтанное короткое включение.
Надеюсь, те из вас, кто с детьми, сохраняют бодрость духа, те, кто стартанул в новый учебный год — предвкушают новые события и знания, и те, у кого ничего не изменилось, держат дзен!)

Я где-то между второй и третьей группой,
Ваш Дата-автор! 🐥

Потому что подвожу итоги лета, а ещё потому что Евгений и Елена сильно помогли мне расширить список достижений

🐷 Друзья! Пишу сегодня вам ещё — порекомендовать шикарную школу AI Education и рассказать об их вот-вот стартующих буткемпах:

- Начало MLOps (бесплатный курс, старт 15.09)
- Основы нейронных сетей и NLP (платный курс, старт 20.09)

Пишу, потому что провела с AI Education почти всё лето и за это время:

- Наконец-то вникла, что такое контейнер и как его собрать, поднять и запушить
- Задеплоила веб-сервис с анализом данных и сделала демо веб-сервиса для подбора методик интерпретации (можно пользоваться, но я ещё его улучшу)
- Начала приручать бобра в лице DBeaver
- Повторила математику внутри KNN, регрессий и наивного Байесовского классификатора
- Повторила методы работы с несбалансированными данными

Попутно я перестала ругаться на декораторы, стала лучше чувствовать культуру ООП, ввела в плотную привычку работу через GitHub и вернула 80ГБ памяти на компьютер, но это другая история..:)

🍒 UPD: вишня, друзья! По промокоду DARII на все курсы AI Education у вас будет скидка!

Очень советую школу и не прощаюсь! На второй курс иду сама, потому что мне хочеться и нужно научиться парсить данные, на первый — может тоже, если не лопну от нагрузки)

На деле — рада тому, что вас всё больше, а стеснения у меня иной раз писать посты у меня всё меньше.

Поэтому продолжаю интенсивно стучать по клавишам,
Ваш Дата-автор! 🐓

P.S. не реклама, а, как говорят, "от души".
P.P.S хотела найти какой-нибудь промокод на степик, но не нашла, но потом организаторы курсов прислали мне вишню — и я стала самым счастливым Дата-автором. Пользуйтесь во благо! 😌
P.P.P.S если вы тоже изучили что-то отличное за лето — делитесь в комментариях! Знания — сила, даже когда кажется, что тема старая и всё уже известно)

Computation graph analysis — comgra library…
или привет, друзья! 🐓

Мне прилетела — делюсь дальше — comgra библиотека для анализа вычислительного графа нейронной сети.

Библиотека позволяет:

- анализировать тензоры нейроной сети и их поведение на разных шагах обучения.
- анализировать тензоры нейроной сети и их поведение на разных батчах и даже отдельных наблюдениях при обучении.
- отслеживать зависимость тензоров и градиентов друг от друга.

Если вы знакомы, то comgra некоторый нейросетевой аналог библиотеки treeinterpreter (она поддерживает все sklearn деревья и ансамбли).

Каждому начинающему библиотека будет полезна при учебном процессе, для более детального понимания логики работы сетей.

Продолжающим, и заявленный основной сценарий использования — отладка архитектуры при её разработке.

🐮Совместимость: pytorch

Покладистых всем нейронов, в том числе в голове,
Ваш Дата-автор!

Оценка Каплан-Мейера, анализ выживаемости….
и загулявший дата-автор.

Привет, друзья! 🐥

Работая работу на днях столкнулась с цензурированными данными и задачей, на них поставленной, которая при другом сборе данных могла бы быть переформирована в задачу анализа выживаемости.

Для меня эти определения были новыми, но я нашла их полезными. Делюсь.

Что такое цензурированные данные?

Пусть поставлена задача наблюдать за объектами во времени. Пусть все объекты имеют какое-то свойство, которое может либо быть на отрезке времени, либо пропасть. Объект называется

- цензурированным справа, если для него известен момент появления наблюдаемого свойства и не известен исход.
- цензурированным слева, если для него не известен момент появления, но известен исход.
- цензурированным с обеих сторон, если для него не известны и момент появления и исход.

Да, тут цензурирование к изображениям они отношения не имеют (кто поймет шутку, тот поймет).

Пример:

Пусть мы наблюдаем за 11ю пациентами с циррозом печени в течение 3 месяцев. И на 2м месяце нам добавились еще 5 из больницы в деревне и для них момент начала цирроза не известен.

Рассмотрим первые 11 человек. Пусть для 7 из них известен момент появления цирроза и они выжили к концу наблюдения. Они цензурированы справа.
Пусть для 3х известен момент начала и они умерли в течение трех месяцев. Они не цензурированы.
И наверное логически вы уже догадались, что наша пятерка из другой больницы цензурирована….слева!

Моделируя задачу на этих данных может быть построена функция выживаемости.

Что за функция выживаемости?

Пусть случайная величина T соответствует продолжительности жизни в выборке из n наблюдений. Вероятность, что T (количество прожитых лет) будет меньше чем x определяет функцию распределения такой величины (пусть F(x)).
Дополнительная функция s(x) = 1 - F(x) называется функцией выживаемости и показывает вероятность прожить больше, чем x  лет.

Эта красотка встречается в актуарных расчетах и в медицинских задачах, но может быть применена не только к оцениваю продолжительности жизни. Взмах палочкой — и функция выживаемости становится функцией, отражающей срок работы устройства.

Как оценить вероятность пережить момент времени, если данные цензурированы?

Для этого может быть применена Оценка Каплан Мейера.

Для этого отрезок времени разбивается на интервалы. Для каждого интервала j считается частное отношения разности числа живых и выбывших в этом интервале к общему количеству наблюдений интервала. Если без букв, то эта величина есть:

П(Rj-dj)/Rj, где Rj — число объектов, доживших до времени j, dj число объектов, не переживших момент времени j, а П — страшненький какой есть знак произведения.

Подробнее + туториал на Python здесь.

И немного послесловия👇🏻

У меня большой кризис в ведении канала, и большой буст относительно работы, которую я делаю ежедневно с течением времени.

С одной стороны, я приобретаю тележку опыта, потому что веду в single проект по гранту, беру подработки по анализу данных и разминаю ручки и мозги на новый год участия в конференциях.

С другой — стопорюсь и "ссыкую", потому что переживаю, что вот этот вот опыт, выводы и какие-то новые штуки, открытые мною, совсем никому не сдались.

Так вот, да, мне как никогда поможет и помогает фидбек от вас — то, что вы как минимум никуда не уходите и ставите все эти чудные реакции 🫶🏻

Я стараюсь, но попутно борюсь с психологическим синдромом самозванца.

Ещё не в нокауте,
Ваш дата-автор!

Потому что я снова пишу статью, и потому как был услышан запрос от Тимура — одного из читателей канала..

Привет, друзья! 🐥
Каждый раз, когда сажусь писать статью передо мной чистый лист. В последний раз (вчера), я написала на нём «НЕТ ПЛАНА» и ушла пить кофе.

Что писать, даже если это конференция из разряда [надо], что я делаю в такие моменты — делюсь опытом и материалами в посте!

И так, как писать статью, если…

🐷1. Есть тема, нет работы?

Значит вы выполняете обзор — ваш первый шаг. Вам можно попробовать:

— сформулировать свою задачу/тему/проблему так, чтобы ее можно было описать фразой до 5 слов и посмотреть, что в области делают в таких или схожих задачах;
— в качестве точки 0 ищем обзорную статью на свою задачу/фразу/область, чтобы узнать, что сделано из последнего и познакомиться с самыми свежими проблемами и экспериментами;
— если вы готовы и это возможно — проанализировать то, что уже было попробовано до вас. Постараться понять, почему один метод сработал хорошо, а другой хуже? Что я могу попробовать сам(а) и в ближайшее время? А какие идеи возникают у меня? Если идеи есть — записывайте до новой итерации поиска и будущей работы. Если идей нет — просто анализируйте! ;
— Записанные идеи формулируем также короткой фразой и снова идем искать! Вы можете найти либо точную реализацию (это нормально), либо сколь угодно схожую и подвернуть вдохновение для генерации идеи новой или для уточнения старой.

🐮2. Если темы нет:

— думаем, чем нравится заниматься — от общего к частному. Без этого никуда. С будущей научной работой вы будете спать и есть, так что момент «нравится» тут — критически важен.

Ход вашей мысли может быть примерно таков: «мне нравится CV» -> «CV в медицине» -> «а МРТ задачи особенно чудесны» и бинго! Далее ищем научного руководителя со схожей областью интересов и скорее всего идем в первый пункт поста.

🐓3. Если это из разряда надо:

Отдельный пункт. Такое бывает, увы нередко. Когда проходят внутренние конференции университета или кафедры и научный руководитель говорит про какое-то надо принять участие…внутри при таком может возникнуть особенно истерический бунт, (как у меня в первую конференцию) 😄

Что писать и готовить в таких случаях:

— Ревью на работу, которую вы сделали ранее — постарайтесь проанализировать свою прошлую статью, прогнать в голове свежую литературу, и подумать:
• Что я сделал(а) и что можно сделать лучше?
• Что делают в области в схожих задачах?

На основе этого можно родить даже хороший текст, который хотя и будет полу или совсем обзором, но будет цениться как источник информации.

— Обзорник — здесь снова идем в пункт 1.


Вот такие личные наблюдения. Из не личных (🤓), прикрепляю статью про то как писать статьи и на какие технические моменты лучше всего обращать внимание.

Дайте знать, если пост был вам полезен! Лучше всего огонечком!)
В комментариях всегда рада отвечать на вопросы и просто поболтать =)

Ушла агрессивно стучать по клавишам и парсить данные,
Ваш Дата-автор! 🐣

Сёрфинг в интернете, которого вы заслужили: подборка красивых мест, где можно найти статьи. 🏖

Классика жанра:

- Google Академия — статьи по практически любым ключевым словам. На практике пользуюсь ею не чаще обычного гугл поиска, но, как ресурс, Академия достойна быть в списке.

- arxiv.org — от истоков — просто мой любимый ресурс на рандомно почитать статьи. Из перечисленных сайтов — наиболее продвинутая реализация продвинутого поиска. Кстати, очень хорошо размечена выдача для парсинга.

👑 С красивой визуализацией:

- pubmed — вопреки тому, что сайт не на дата-тематику, если интересуетесь делами каких-то методов AI в медицине — советую. Ценность даже больше не в том, чтобы находить статьи, а в том, чтобы прослеживать динамику популярности ключевых слов на боковой панели при расширенном поиске.

- dimensions.ai — товарищ, который по продвинутости и удобоваримости поиска спокойно отодвигает arxiv. Есть даже поиск по авторам! Сбоку также можно красиво и полезно отследить популярность запроса. Использую не так давно, но по функциональности и дизайну — о-гонь!)

- connectedpapers — подкинуто в комментариях! Если бы не совместный вклад, то мы бы и не увидели, где можно смотреть как связаны работы между собой.

Вишенка среди вишенок: 🤌🏻

- paperswithcode — воспроизводимость экспериментов иногда нервно плачет в углу. Однако не с этим инструментом. Просто советую, потому что здесь мой креатив закончился.

Просто существуют:

- sciencedirect и frontiersin — вдруг вам понадобятся больше, чем мне.


Как предпосылку к посту могу сказать только одно: "работаю")

Работаю и лопачу материал со скоростью, которая варьируется от "ленивец из мультика" до "кот, который испортил ботинок".

На связи,
Пекущий грантовый проект,
Ваш Дата автор!

Доброго утра, друзья!

Для всех интересующихся — нашла новые статьи со свежего семинара Proceedings of The First International Workshop on eXplainable AI for the Arts (XAIxArts) [Первый международный семинар по объяснимому ИИ в искусстве] 🎨

Если наберем 30 огонечков — залезу, изучу, сделаю обзор! 🤓

А пока продолжаю тонну hard-work из серии "дедлайн вчера, а я уже в сегодня".

Желаю вам чудесных выходных!
Ваш дата-автор!

Доброго утра, друзья! 🐣

Провожу семантический анализ области Explainable AI и просто не могу не оставить это здесь, пусть это и плохо читаемо.

Видите, как интересно группируются в кластер эти слова, друзья?

Особенное внимание хочу обратить на слово dialogue, потому как использование диалоговых систем (LLM) один из трендов в XAI сейчас! =)

Если наберем (давайте 20!) 🔥, мне важна активность и жизнь здесь, то напишу про этот тренд :)

Чудесного дня,
Ваш дата-автор!

🐓 XAI and LLM’s

Объяснение прогноза модели — частая задача для специалистов машинного обучения — даже за глубоким ходить не надо. Дело здесь касается не только критических областей — объяснимость важна и для рядовых бизнес-задач, как источник гипотез в отношении стратегии компании.

🤔 Или, всё-таки, надо сходить за глубоким?

В последнее время можно заметить чуть более широкое применение диалоговых агентов-помощников, и эта история не обошла область XAI.

🧷 Первая свежая ветка задач здесь: создание систем, способных не только осуществлять действие, но и давать его объяснение на естественном языке. Например система, осуществляющая объяснимый подбор работы или объяснимое вождение.

🧷Вторая свежая ветка задач: объяснение объяснений или, говоря более литературно — комбинация методов Explainable AI с LLM. Например, вооружившись GPT, недавно было осуществлено сравнение интерпретаций, получаемых традиционными методами (в частности, LIME) и при помощи языковой модели.
Исследование показало, что генерация объяснений языковым чудом не хуже объяснений, полученных LIME, является вычислительно более дешевой, но при этом отлична с ними по согласованности. В результате исследователи не могут сделать вывод превосходит ли одно объяснение другое, и в целом допускается, что из двух объяснений существует третье и для его нахождения нужны новые методы.

Однако при этом потенциал у систем-кобминаций XAI и LLM неплох. Например здесь исследователи демонстрируют систему для обнаружения кибератак, являющуюся комбинацией моделей машинного и глубокого обучения. Пользователь может получать не только объяснение, но и ответы на вопросы, связанные с тем что делать с этим объяснением.

Вот такой вот понедельничный вестник новостей, друзья! Бодрой вам недели и напоследок, один вопрос очень хотела задать вам на протяжении всего текста!

Прости господи, мне же не одной сокращение LLM’s напоминает M&M’s..? 💁🏻

Со всей своей огромной любовью и с желанием отличного вам начала недели,
Ваш Дата автор!

Библиотеки для интерпретации глубоких моделей.

Привет, друзья!
Делаю еженедельный чёс по свежим статьям и вот нашла подборку свежих библиотек для интерпретации трансформеров и других глубоких моделей.

🐮 1. Captum — библиотека, с широким набором методов интерпретации для разных уровней детализации — на уровне признаков, слоев или нейронов. Второй плюс библиотеки — мультимодальность относительно данных — можно интерпретировать сети, обученные на изображениях, текстах, аудио или видео.

🐷 2. AttentionViz — библиотека, чьим преимуществом является визуализация во всех возможных плоскостях именно механизма внимания трансформеров. Посмотрите, как это красиво!

🐏 3. Quantus — библиотека, дающая ответ на вопрос о возможности измерения качества полученного объяснения. Пока из всех, встреченных мною, эта библиотека — первая с таким функционалом! 🔥

Как говорится, сохраняем, делимся, ставим огонёчки, друзья! И как всегда — отличного вам продолжения недели!

Не мерзните и не перерабатывайте,
Ваш Дата-автор!