Привет, друзья! 🦑

Я очень часто экспериментирую — просто стесняюсь делиться. Кажется, что мысли и идеи — тривиальны, а ещё я всегда боюсь дать что-то недостоверное (ну знаете там с ошибкой в коде, например).

Но решила попробовать! Моя первая рабочая неделя не прошла без работы над курсом, поэтому, в этой статье я даю небольшую вводную про Attention, показываю, как внимание влияет на качество модели и делюсь ролью механизма внимания в области explainable AI.

Можно ли использовать Attention в качестве объяснения и почему ответ на этот вопрос неоднозначный?

Читайте в статье!
Код к статье.

Жду вашей обратной связи, реакций и репостов!
И конечно желаю вам отличных выходных!

Ну или просто менее рабочих :)

Всегда ваш,

Дата-Автор!

Привет, друзья!

В меня прилетела интересеная библиотека — рекошечу ею вам.

🌳 supetree — пакет, для визуализации деревьев решений в интерактивном.

С помощью инструмента можно не только отображать деревья, но и "трогать их", а именно:

- масштабировать и рассматривать деревья как панораму
- сворачивать/развертывать выбранные узлы
- исследование структуры дерева интуитивно понятным и визуально красивым способом.

Почему делюсь — библиотеку можно рассмотреть в различных сценариях использования:

- При построении и анализе суррогатных древесных моделей (мета-модель над чёрным ящиком)
- Обучение машинному обучению — для тех, кто только начинает
- При анализе моделей, решающих какую-либо задачу

И на этой ноте, легкой рабочей вам недели!

Сейчас работаю над еще одним хорошим материалам, надеюсь, к середине будущей недели поделюсь)

Как всегда — ваш Дата-автор :)

Привет, друзья!
Это мог был бы быть пост про новую версию GPT,  но....

🌼 Нашла отличную штуку для новичков в области explainable AI — Xai-tree.

Что это: дерево решений, которое поможет вам понять, какой метод интерпретации может быть использован в вашем случае.

Плюсы: вопросно-отвеный путь — вам достаточно сформулировать запрос «я хочу использовать техники XAI», а дерево, ведя вас по узлам, приведет вас к конкретному способу это сделать. Кроме того, такой подход позволяет понять, как можно детализировать техники объяснения.

Минусы: узкий набор методов. Например отсутствуют градиентные и concept-based методы, а также моменты с визуализацией механизмов внимания. Кроме того, я сторонник применять разные методы объяснения к одному запросу, в силу возможной неэквивалентности результатов.

Но для начала — штука топ!

Аналоги:
Что-то подобное реализовано у меня, разве что я отталкиваюсь от фремворка и типа данных (не всё под всё подходит).

Оффтоп:
Вчера поставила последнюю точку в курсе, созданием которого я занималась в последнее время. Чувствую себя уставшей, довольной и немного выгоревшей — взяла паузу, чтобы понять, куда я хочу двигаться в исследованиях дальше 😌

Это просто как легкое напоминание и вам, друзья, что творческая усталость настигнуть может каждого :)

Отдыхайте и запасайтесь теплом!
Время осени.

Со всем самым добрым,
Ваш Дата-автор ☺️

Друзья, привет!

Вас становится всё больше и больше — радуюсь безумно!
Всем добро пожаловать! 🤗

Чувствую себя вернувшейся из творческого отпуска и готова продолжать наполнять канал.

Чтобы он был максимально полезным для вас — прошу тыкнуть в опросе ниже! 👇🏻

Из апдейтов — в субботу читаю семинар в онлайн-магистратуре ВШЭ.
Нервно готовлюсь! Или уже не совсем нервно)

Заряженный на много работы,
Ваш Дата-автор!

А вот и осенние вкусности! 🎃

Привет, друзья! Совсем свежее обновление в области XAI — shapiq, библиотека, расширяющая возможности известной shap для вычисления значений Шепли.

Основная цель: вместо отдельных значений Шепли, предоставить также количественный эффект взаимодействия между игроками (признаками или слабыми учениками в ансамблях).

Типы данных: таблички, текст, картинки.

Для текстов реализована поддержка pipelin’ов с Transformers, для картинок — пока только возможность запускать предобученные модельки (два VITа и Resnet18)

Плюсы — красиво!
Минусы — некультурно долгое вычисление. Считаю итерацию игры для одной картинки с 16ю игроками, а это 2^16 вариантов коалиций, уже 20 минут, и это принесло мне 4/100% вычислений. Если дождусь — поделюсь результатом =)

Думаю, у библиотеки есть потенциал, буду наблюдать.

P.S, а если наберем 9 реакций напишу пост про SHAP как базовый метод в explainable ai 👀

Чудного вам вечера!
Как всегда Ваш Дата-автор! :)

🍁 Привет, друзья!

Как обещала — подготовила пост по значениям Шепли! :)

В посте отмечено:

- Интуитивное определение
- Математическое определение
- Историческая справка
- Как метод работает на практике и ключевые моменты графика значений

Читать здесь!

Буду рада вашей обратной связи, реакциям и репостам!
И поздравляю с последним днем сентября 😌

Всегда ваш,
Дата-Автор!

Привет, друзья!

Сейчас готовлюсь к семинару про сверточные нейронные сети, захотелось наглядно показать, почему тепловые карты и извлечение паттернов можно применить не ко всем моделям. Смотрите картинку!

Я уже когда-то писала про patch embedding для изображений — и вот как забавно этот механизм показывает себя на тепловых картах :) Ноль информации — сплошные патчи! 🤓

Что же можно делать для ViTов:

1. Анализировать карты внимания (attention maps)
2. Использовать SHAP или LIME
3. Генерировать Counterfactual Explanations (Контрфактуальные объяснения)

Вот такой небольшой пост про вечерние рабочие примечания из области =)

Всем воодушевляющего начала октября!
Ваш Дата-автор!

Привет, друзья!

Работа над продуктом на базе chatGPT — увлекательное путешествие. Косяки в доработке — и можно натолкнуться на ситуацию, когда в скрытом смысле в качестве борьбы со страхом модель предложит спалить дом.

В последнюю неделю поставила себе задачу разобраться, как сделать модель прозрачнее, сильнее и лучше, потому что я делаю продукт для детей. И мне показалось важным и интересным поделиться найденными тезисами.

В посте:
1. Можно ли назвать ChatGPT объяснимой моделью и почему?
2. Самообъяснения и извлекаемые объяснения — спасение в ситуации закрытости или полумера?
3. Картинки от YandexART — мой восторг здесь не отнять

Welcome в пост!

P.S. Совсем пропала — октябрь не щадит никого!) Но зато как красиво кругом!

Надеюсь, ваша осень тоже красочна :)
Ваш Дата-автор!

Привет, друзья!

Мы с вами обсуждали значения Шепли пару постов назад. В исследованиях и на практике SHAP один из наиболее популярных методов интерпретации. Часто о нём говорят как методе из теории игр, и по определению, значения Шепли вычисляются по оценке вклада признака во все возможные "коалиции" (подмножества признаков).

Так, если у нас есть N признаков, нам необходимо перебрать 2^N комбинаций для оценки вклада каждого признака полностью. На практике этого не делается — применяется аппроксимация.

Отсюда возникают вопросы:

- достаточно ли такого нам весьма грубого вычисления (особенно, если у нас картинка, которую хотелось бы оценить максимально детально)?
- насколько значения Шепли случайны и основаны на данных?

Мне не хотелось оставлять эти вопросы неотвеченными, и я провела время с изучением литературы. Так родился пост на Хабр:
Практическая устойчивость значений Шепли в интерпретации моделей ИИ

В нём ответила на них!

И приглашаю вас к чтению :)

🍁🍁🍁

P.S. Я ужасно стрессую, когда пинаю что-то до Хабра, потому что личка на Хабр — иной раз отдельное искусство. Поэтому буду очень рада вашей поддержке в виде реакций/комментариев :)

P.P.S У меня есть к вам мини-просьба. Относительно скоро (через полтора месяца) у меня день рождения =)
И я бы очень хотела дойти до 1000 читателей (я люблю красивые цифры и галочки в списках желаний!)

Буду безумно рада и благодарна, если вы поделитесь блогом просто среди знакомых и тех, кому он может быть интересен!

Спасибо вам огромное, что читаете, наблюдаете и задаете вопросы!
Вы — лучшие!

Всегда ваш,
Дата-автор! 🫶🏻

Привет, друзья! 🪁

На днях потестировала новую для себя библиотеку moDel Agnostic Language for Exploration and eXplanation (DALEX)

Небольшой обзор, чтобы не теряться в уже весьма большом количестве либ и фильтровать, что must have, а что — нет.

Плюсы из коробки:

1. Предоставляет красивые визуализации для:

Графиков частичной зависимости (PDP plots);
Измерения важностей признаков на основе перестановки;
Графиков Break down — изменений прогноза при добавлении признака в модель.

2. Позволяет проанализировать взаимодействие

Из известных мне, первая питоновская библиотека, где коэффициенты влияния Feature Interaction можно просто достать из коробки, не задействуя применения статистического анализа.

3. Включает в себя SHAP, LIME (как самые популярные методы) и необходимый минимум классических методов

4. Безумно красиво описана математическая теория всех методов в библиотеке!

Приводят книгу, с которой можно пропасть, анализируя математическую основу методов (я просто немного пропала в ней! ☺️)

Минусы:

1. Частично повторяет существующие библиотеки или является добавлением красоты для классики, которую можно реализовать условно используя sklearn и matplotlib

2. Не дружит с catboost, lightgbm — тоже популярными в проде моделями

3.Не дружит с pyTorch

Совместимость:

scikit-learn, keras, H2O, xgboost, mlr (python) 
mlr3, tidymodels (R)

Саммари:

В общем и целом отлично подходит для красивых отчетов и беглой оценки анализа попарного взаимодействия, если нет времени провести статические тесты.

Как мнение — знать хорошо, использовать повседневно — зависит от сценариев.

Всё ещё ваш,
Дата-автор!

Привет, друзья!

Помните значения Шепли и их красивую идею — смотреть на признаки как на группы лиц, играющих в игру? Это даёт им ряд преимуществ, а математика показывает, что метод объективно обладает рядом хороших свойств. Теперь он не один!

Что если рассматривать признаки как членов парламента?

Про метод, основанный на идее выборов в парламент (который реально используется в ряде стран), а также про то, как сделать такой красивый график — читайте в статье! :)

P.S
Сейчас очень много исследую и работаю, так что декабрь обещает быть насыщенным.

Всем яркой зимы,
Ваш Дата-автор!

Привет, друзья!

Интерпретация влияний признаков на прогнозы в модели линейной регресии — база, фундамент и первый кирпич в построении объяснений.

По определению, мы можем смотреть на веса модели и считывать важность с них. Но всегда ли этого достаточно и точно ли это всё, что мы можем извлечь из модели?

📉 На практике — нет!

Подготовила для вас ноутбучек с 5ю методами для представления информации, которая заложена в весах модели и модели в целом:

1) Прямое рассмотрение коэффициентов в виде барплота.
2) Представление коэффициентов виде круговой диаграммы.
3) Рассмотрение относительного вклада коэффициентов.
4) Анализ остатков модели.
5) Построение регионов уверенности.

Приятной практики!
Ваш, Дата автор!

Постепенно готовлю обновления в курсе по XAI и пару открытых занятий, но сначала сессия. 🐈

Привет, друзья!

Мне хотелось дать вам что-то красивое в силу моего дня рождения. Так что здесь должен был быть красивый пост про оценку взаимодействия признаков с использованием H-статистики, но я всё ещё студент на сессии)

Так что хочу поделиться с вами скидкой на курс по XAI! Я делала и делаю его, основываясь на опыте, знаниях, лекциях, проводимых студентам в ПетрГУ и ВШЭ и их вопросов ☺️

Надеюсь, со временем курс будет становиться только больше и лучше.

Планы на будущий год — наполеоновские:
1. Продолжать развиваться как автор, преподаватель и ученый
2. Устроиться на стажировку по направлению XAI/механистической интерпретируемости — последнее — что-то удивительное и безумно красивое!
3. Закончить ВУЗ, стать математиком и поступить снова! :)

Очень рада, что вы у меня есть! Обожаю вас! ❤️

Скоро вернусь с постами, со всем самым добрым,
Ваш Дата-автор!

🎄Друзья, привет-привет!

Поговорим в субботу?)

Рома — разносторонний человек. С одной стороны, он AI-продакт в FinTech стартапе, с другой — в процессе написания диссертации по теме Reasoning и Long-term memory в наших удивительных ИИ моделях.

🎉И вот мы встречаем в ситуацию — что будет, если один компетентный в области человек начнет опрашивать другого про его области научных интересов?

Приглашаем послушать! 👇🏻