Data Blog
1.36K subscribers
97 photos
3 videos
4 files
160 links
Explainable AI и котики
Download Telegram
Привет, друзья! 🦑

Сейчас дошла до своего обучения (ура!) и прикоснулась области Super Resolution. Сразу стало интересно, как она применется в explainable AI.

👀 Чем занимается SR:

1. Улучшает разрешение изображений, увеличивая их размер и детализацию без значительных потерь в качестве.
2. Восстанавливает или улучшает изображения с низким разрешением, делая их более четкими и детализированными.
3. Убирает незначительные шумы.

Где используют SR: в медицинской визуализации, видеонаблюдении, мультимедия и научных исследованиях.

Что используют в SR: CNN, GANы, диффузионки, трансформеров.

🧐Куда прикручивать XAI?

Однозначно сходу — в медицину! Можно ковырять совсем крохотные структурки при помощи SR (например, есть целая "область" super-resolution microscopy).

В чем польза:

Так как анализ структур затруднен, ожидается, что применение XAI к области может например, позволить идентифицировать новые субклеточные структуры и процессы.

И польза настолько есть, что в SR даже пытаются делать свои техники объяснения моделей, например LAM. Но они базируются на классике (Integrated Gradients), про который, как раз, пост выше (и который я тоже даю на курсе)!


Меня это восхитило! 🦑
Представьте, друзья, чего можно достичь, верно комбинируя техники и направляя умы исследователей?) Просто восторг!

Вот такой легкий пост среды. :)

Желаю вам удивительного и доброго дня,
Ваш Дата-автор!
3🔥2
Привет, друзья! 🤓

Предлагаю к вашей понедельничной разминке задачу с курса. Задача отражает идею формирования бенчмарка для Concept Embedding models.

Кто такие CEM?
Concept Embedding Models представляют собой продолжение Concept Bottleneck Models. Идея таких моделей — добавить к задаче прогнозирование не только вероятности классов, но и вероятности наличия или отсутствия определенного концепта (смотрите архитектуру 1)

CEM — достаточно простая надстройка над CBM — мы прикручиваем к концептам ещё и эмбеддинги (смотрите архитектуру 2).

Идея этих моделей некультурно проста — хочется видеть в ответе больше человеко-понятных меток. Это помогает достичь интерпретируемости.

Чем плохи CBM/CEM:
Нужно аннотировать. Аннотировать, аннотировать и еще раз аннотировать. Это таке усложняет процесс бенчмаркинга моделей, однако авторы архитектур не отчаялись и предложили целых 3 красивых идеи — XOR, Dot и Trigonometry datasets. Разберем первые две.

1. Датасет XOR в качестве входных признаков использует непрерывную пару значений (x_1, x_2) из отрезка [0, 1]. Концептами в задаче являются булевы векторы, сформированные по правилу (Bool(c_1 > 0.5), Bool(c_2 > 0.5))

2. Датасет Dot основан на идее разделения плоскости. Предлагаю вам посмотреть на код формирования такого датасета и ответить на вопрос:

"Какие части плоскости делит Dot data?" 👀
1👍1
Какие части плоскости делит dot dataset?
Anonymous Poll
42%
1
16%
2
26%
3
16%
4
🗿9
И конечно я желаю вам продуктивного начала недели!

Куда без этого,
Ваш Дата-автор!
😌🫶🏻
4🔥1
Привет, друзья!

Пишу пожелать вам легкой, уютной и тёплой осени и делюсь красивым материалом:

Могут ли трансформеры думать? И почему, отвечая на этот вопрос, можно сказать «да»?

Читайте в статье моего товарища по научному руководителю в бакалавриате 👇🏻
🔥21
Могут ли трансформеры думать?

В этой статье мы разберем как трансформеры решают задачи рассуждения, какие цепочки формируются внутри и посмотрим на феномен гроккинга - когда модель начинает решать задачи на тестовой выборке, хотя по логике не должна. Подготовил большой ноутбук с кодом, где мы натренируем модель решать задачу рассуждения с помощью гроккинга с 100% метрикой.

Честно, мне эта статья очень понравилась - редко такое происходит, но тут на меня напала муза и заставила потратить часов 20-25 в последние выходные.

Так что, жду ваших оценок, репостов и комментариев

https://habr.com/ru/articles/840136/
7🔥3
Привет, друзья! 🦑

Я очень часто экспериментирую — просто стесняюсь делиться. Кажется, что мысли и идеи — тривиальны, а ещё я всегда боюсь дать что-то недостоверное (ну знаете там с ошибкой в коде, например).

Но решила попробовать! Моя первая рабочая неделя не прошла без работы над курсом, поэтому, в этой статье я даю небольшую вводную про Attention, показываю, как внимание влияет на качество модели и делюсь ролью механизма внимания в области explainable AI.

Можно ли использовать Attention в качестве объяснения и почему ответ на этот вопрос неоднозначный?

Читайте в статье!
Код к статье.

Жду вашей обратной связи, реакций и репостов!
И конечно желаю вам отличных выходных!

Ну или просто менее рабочих :)

Всегда ваш,

Дата-Автор!
❤‍🔥72👍2
Привет, друзья!

В меня прилетела интересеная библиотека — рекошечу ею вам.

🌳 supetree — пакет, для визуализации деревьев решений в интерактивном.

С помощью инструмента можно не только отображать деревья, но и "трогать их", а именно:

- масштабировать и рассматривать деревья как панораму
- сворачивать/развертывать выбранные узлы
- исследование структуры дерева интуитивно понятным и визуально красивым способом.

Почему делюсь — библиотеку можно рассмотреть в различных сценариях использования:

- При построении и анализе суррогатных древесных моделей (мета-модель над чёрным ящиком)
- Обучение машинному обучению — для тех, кто только начинает
- При анализе моделей, решающих какую-либо задачу

И на этой ноте, легкой рабочей вам недели!

Сейчас работаю над еще одним хорошим материалам, надеюсь, к середине будущей недели поделюсь)

Как всегда — ваш Дата-автор :)
❤‍🔥4🔥4
Привет, друзья!
Это мог был бы быть пост про новую версию GPT,  но....

🌼 Нашла отличную штуку для новичков в области explainable AI — Xai-tree.

Что это: дерево решений, которое поможет вам понять, какой метод интерпретации может быть использован в вашем случае.

Плюсы: вопросно-отвеный путь — вам достаточно сформулировать запрос «я хочу использовать техники XAI», а дерево, ведя вас по узлам, приведет вас к конкретному способу это сделать. Кроме того, такой подход позволяет понять, как можно детализировать техники объяснения.

Минусы: узкий набор методов. Например отсутствуют градиентные и concept-based методы, а также моменты с визуализацией механизмов внимания. Кроме того, я сторонник применять разные методы объяснения к одному запросу, в силу возможной неэквивалентности результатов.

Но для начала — штука топ!

Аналоги:
Что-то подобное реализовано у меня, разве что я отталкиваюсь от фремворка и типа данных (не всё под всё подходит).

Оффтоп:
Вчера поставила последнюю точку в курсе, созданием которого я занималась в последнее время. Чувствую себя уставшей, довольной и немного выгоревшей — взяла паузу, чтобы понять, куда я хочу двигаться в исследованиях дальше 😌

Это просто как легкое напоминание и вам, друзья, что творческая усталость настигнуть может каждого :)

Отдыхайте и запасайтесь теплом!
Время осени.

Со всем самым добрым,
Ваш Дата-автор ☺️
8
Друзья, привет!

Вас становится всё больше и больше — радуюсь безумно!
Всем добро пожаловать! 🤗

Чувствую себя вернувшейся из творческого отпуска и готова продолжать наполнять канал.

Чтобы он был максимально полезным для вас — прошу тыкнуть в опросе ниже! 👇🏻

Из апдейтов — в субботу читаю семинар в онлайн-магистратуре ВШЭ.
Нервно готовлюсь! Или уже не совсем нервно)

Заряженный на много работы,
Ваш Дата-автор!
3👍3🔥3
А вот и осенние вкусности! 🎃

Привет, друзья! Совсем свежее обновление в области XAI — shapiq, библиотека, расширяющая возможности известной shap для вычисления значений Шепли.

Основная цель: вместо отдельных значений Шепли, предоставить также количественный эффект взаимодействия между игроками (признаками или слабыми учениками в ансамблях).

Типы данных: таблички, текст, картинки.

Для текстов реализована поддержка pipelin’ов с Transformers, для картинок — пока только возможность запускать предобученные модельки (два VITа и Resnet18)

Плюсы — красиво!
Минусы — некультурно долгое вычисление. Считаю итерацию игры для одной картинки с 16ю игроками, а это 2^16 вариантов коалиций, уже 20 минут, и это принесло мне 4/100% вычислений. Если дождусь — поделюсь результатом =)

Думаю, у библиотеки есть потенциал, буду наблюдать.

P.S, а если наберем 9 реакций напишу пост про SHAP как базовый метод в explainable ai 👀

Чудного вам вечера!
Как всегда Ваш Дата-автор! :)
🔥172
Результат.

Легким движением руки было принято решение поменять число игроков — 512 считать приятнее, чем 65 536 :)
🗿3
🍁 Привет, друзья!

Как обещала — подготовила пост по значениям Шепли! :)

В посте отмечено:

- Интуитивное определение
- Математическое определение
- Историческая справка
- Как метод работает на практике и ключевые моменты графика значений

Читать здесь!

Буду рада вашей обратной связи, реакциям и репостам!
И поздравляю с последним днем сентября 😌

Всегда ваш,
Дата-Автор!
🔥10👍4
Привет, друзья!

Сейчас готовлюсь к семинару про сверточные нейронные сети, захотелось наглядно показать, почему тепловые карты и извлечение паттернов можно применить не ко всем моделям. Смотрите картинку!

Я уже когда-то писала про patch embedding для изображений — и вот как забавно этот механизм показывает себя на тепловых картах :) Ноль информации — сплошные патчи! 🤓

Что же можно делать для ViTов:

1. Анализировать карты внимания (attention maps)
2. Использовать SHAP или LIME
3. Генерировать Counterfactual Explanations (Контрфактуальные объяснения)

Вот такой небольшой пост про вечерние рабочие примечания из области =)

Всем воодушевляющего начала октября!
Ваш Дата-автор!
6
Привет, друзья!

Работа над продуктом на базе chatGPT — увлекательное путешествие. Косяки в доработке — и можно натолкнуться на ситуацию, когда в скрытом смысле в качестве борьбы со страхом модель предложит спалить дом.

В последнюю неделю поставила себе задачу разобраться, как сделать модель прозрачнее, сильнее и лучше, потому что я делаю продукт для детей. И мне показалось важным и интересным поделиться найденными тезисами.

В посте:
1. Можно ли назвать ChatGPT объяснимой моделью и почему?
2. Самообъяснения и извлекаемые объяснения — спасение в ситуации закрытости или полумера?
3. Картинки от YandexART — мой восторг здесь не отнять

Welcome в пост!

P.S. Совсем пропала — октябрь не щадит никого!) Но зато как красиво кругом!

Надеюсь, ваша осень тоже красочна :)
Ваш Дата-автор!
👍64🔥2❤‍🔥1
Привет, друзья!

Мы с вами обсуждали значения Шепли пару постов назад. В исследованиях и на практике SHAP один из наиболее популярных методов интерпретации. Часто о нём говорят как методе из теории игр, и по определению, значения Шепли вычисляются по оценке вклада признака во все возможные "коалиции" (подмножества признаков).

Так, если у нас есть N признаков, нам необходимо перебрать 2^N комбинаций для оценки вклада каждого признака полностью. На практике этого не делается — применяется аппроксимация.

Отсюда возникают вопросы:

- достаточно ли такого нам весьма грубого вычисления (особенно, если у нас картинка, которую хотелось бы оценить максимально детально)?
- насколько значения Шепли случайны и основаны на данных?

Мне не хотелось оставлять эти вопросы неотвеченными, и я провела время с изучением литературы. Так родился пост на Хабр:
Практическая устойчивость значений Шепли в интерпретации моделей ИИ

В нём ответила на них!

И приглашаю вас к чтению :)
🔥108
🍁🍁🍁

P.S. Я ужасно стрессую, когда пинаю что-то до Хабра, потому что личка на Хабр — иной раз отдельное искусство. Поэтому буду очень рада вашей поддержке в виде реакций/комментариев :)

P.P.S У меня есть к вам мини-просьба. Относительно скоро (через полтора месяца) у меня день рождения =)
И я бы очень хотела дойти до 1000 читателей (я люблю красивые цифры и галочки в списках желаний!)

Буду безумно рада и благодарна, если вы поделитесь блогом просто среди знакомых и тех, кому он может быть интересен!

Спасибо вам огромное, что читаете, наблюдаете и задаете вопросы!
Вы — лучшие!


Всегда ваш,
Дата-автор! 🫶🏻
🤝176👍2