Привет, друзья! 🍉
Обещала сделать обзор про Generative AI + XAI.
Генеративные модели делают переход от «распознавания верного решения задачи» к «генерации решения».
Требует ли такой манёвр радикальных изменений в техниках объяснения модели? 🧐
Нырок по статьям на эту тему показывает, что и да, и нет.
В этом посте выделила несколько тривиальных, но интересных штук по XAI для генеративных моделей:
1. Совместимость с классикой: с одной стороны, классические методы, такие как SHAP, LIME, Counterfactual explanations применимы как к моделям, решающим задачи в классической постановке, так и к генеративным моделям. С другой — сама идея генерации открывает новые возможности (а некоторые наоборот — частично закрывает), что, конечно, влияет и на объяснения.
2. Проблема доступа: широкое использование генеративок существует не только из-за эффективности моделей, но ещё и из-за их доступности — например, chatGPT привлекает более 100 миллионов посетителей каждый месяц.
Однако пользователи, заинтересованные в понимании процесса генерации, не могут получить доступ к внутренним компонентам моделей, что исключает подходы XAI, основанные на данных и на анализе внутренних слоев.
3. Самообъяснения и их неоднозначность: генеративные языковые модели можно попросить генерировать так называемую Chain-of-though, однако такой подход завязан на ряде недостатков. Например, цепочка рассуждений, которые модель может отдавать очень чувствительна к данным обучения — например, если слова вроде «потому что» удалить из данных обучения, то они никогда не будут сгенерированы.
🍉 А больше и ничего интересного мне не нашлось. Конечно, еще оптимизируют архитектуры для отдельных модальностей данных (натыкалась на статьи про Generative XAI for music и for art), но челленджей тут много.
Обещала сделать обзор про Generative AI + XAI.
Генеративные модели делают переход от «распознавания верного решения задачи» к «генерации решения».
Требует ли такой манёвр радикальных изменений в техниках объяснения модели? 🧐
Нырок по статьям на эту тему показывает, что и да, и нет.
В этом посте выделила несколько тривиальных, но интересных штук по XAI для генеративных моделей:
1. Совместимость с классикой: с одной стороны, классические методы, такие как SHAP, LIME, Counterfactual explanations применимы как к моделям, решающим задачи в классической постановке, так и к генеративным моделям. С другой — сама идея генерации открывает новые возможности (а некоторые наоборот — частично закрывает), что, конечно, влияет и на объяснения.
2. Проблема доступа: широкое использование генеративок существует не только из-за эффективности моделей, но ещё и из-за их доступности — например, chatGPT привлекает более 100 миллионов посетителей каждый месяц.
Однако пользователи, заинтересованные в понимании процесса генерации, не могут получить доступ к внутренним компонентам моделей, что исключает подходы XAI, основанные на данных и на анализе внутренних слоев.
3. Самообъяснения и их неоднозначность: генеративные языковые модели можно попросить генерировать так называемую Chain-of-though, однако такой подход завязан на ряде недостатков. Например, цепочка рассуждений, которые модель может отдавать очень чувствительна к данным обучения — например, если слова вроде «потому что» удалить из данных обучения, то они никогда не будут сгенерированы.
🍉 А больше и ничего интересного мне не нашлось. Конечно, еще оптимизируют архитектуры для отдельных модальностей данных (натыкалась на статьи про Generative XAI for music и for art), но челленджей тут много.
🔥7
Друзья, еще очень хочу сказать вам огромное спасибо за поддержку на Ютуб! 🥹
Для меня это какой-то новый опыт, и я очень настроена продолжать :)
Уже потихоньку планирую следующее видео!
Желаю вам чудного вечера,
Как всегда ваш,
Дата-автор!
Для меня это какой-то новый опыт, и я очень настроена продолжать :)
Уже потихоньку планирую следующее видео!
Желаю вам чудного вечера,
Как всегда ваш,
Дата-автор!
❤8🔥5👍2
Привет, друзья!
Основное время сейчас занимаюсь практическим контентом для курса — реализовываю методы fom scratch на торче, сравниваю их с библиотечными имплементациями и создаю задания.
🍉 Хочу поделиться наблюдением:
1. Если вы не знакомы с методами объяснения и хотите "пощупать что есть", то очень рекомендую библиотеку captum. Она собрала в себе абсолютное большинство методов, и именно её стоит использовать, чтобы потыкать, что подойдет лучше всего для вашей модели. НО!
2. Если вы уже знакомы с методами объяснения или у вас есть данные о том, что метод X сработал лучше всего, то ищите пользовательские реализации! Зачастую они дают много бонусов, таких как интерактивность, реализация модификаций метода и пр.
Например, рассмотрим метод LRP (Layer-wise Relevance Propagation).
Реализация в captum
VS
Пользовательская реализация с интерактивностью
пользовательская реализация с модификациями
В общем, так как область только развивается, смело ищите энтузиастов, которые адаптируют методы. Они есть!
Всем чудного и продуктивного дня,
Ваш Дата-автор! 🐥
Основное время сейчас занимаюсь практическим контентом для курса — реализовываю методы fom scratch на торче, сравниваю их с библиотечными имплементациями и создаю задания.
🍉 Хочу поделиться наблюдением:
1. Если вы не знакомы с методами объяснения и хотите "пощупать что есть", то очень рекомендую библиотеку captum. Она собрала в себе абсолютное большинство методов, и именно её стоит использовать, чтобы потыкать, что подойдет лучше всего для вашей модели. НО!
2. Если вы уже знакомы с методами объяснения или у вас есть данные о том, что метод X сработал лучше всего, то ищите пользовательские реализации! Зачастую они дают много бонусов, таких как интерактивность, реализация модификаций метода и пр.
Например, рассмотрим метод LRP (Layer-wise Relevance Propagation).
Реализация в captum
VS
Пользовательская реализация с интерактивностью
пользовательская реализация с модификациями
В общем, так как область только развивается, смело ищите энтузиастов, которые адаптируют методы. Они есть!
Всем чудного и продуктивного дня,
Ваш Дата-автор! 🐥
captum.ai
Captum · Model Interpretability for PyTorch
❤🔥8
Какой контент вы хотите видеть?
Anonymous Poll
53%
Разбор методов объяснения для DL
37%
Разбор методов объяснения для ML
64%
Юпитер-тетрадки с туториалами
3%
Свой вариант (напишу в комментах/в личку)
Также, друзья, прошу вашей помощи! Тыкните в опросе выше — это позволит мне сделать канал лучше и информативнее для вас! 😌
🤝3
🐔❗️Важное UPD:
Если вы пользовались приложением-табличкой для навигации по XAI библиотекам, ссылка обновилась (потому что я переименовала ветку на main ) :
Обновленная навигация
Буду благодарна, если пошарите её друзьям, и буду рада, если она окажется для вас полезной 😌
А табличный вариант по прежнему лежит на диске!
- Библиотека + фреймворк обучения
- Библиотека + метод
- Библиотека + тип данных
Спасибо!
Ваш Дата-автор!
Если вы пользовались приложением-табличкой для навигации по XAI библиотекам, ссылка обновилась (
Обновленная навигация
Буду благодарна, если пошарите её друзьям, и буду рада, если она окажется для вас полезной 😌
А табличный вариант по прежнему лежит на диске!
- Библиотека + фреймворк обучения
- Библиотека + метод
- Библиотека + тип данных
Спасибо!
Ваш Дата-автор!
Streamlit
main page
Here you can find a library offering model interpretation methods tailored to your needs. The cla...
❤3
Привет, друзья! 🐷
В последнее время много экспериментирую с методами объяснения DL моделей, в частности для проектирования интересных задач для студентов курса (и самой себя).
Последние пару дней копаюсь с методом Integrated Gradients, который мы с вами обсуждали в этом и этом посте.
Среди минусов, я упомянула чувствительность к baseline. Предлагаю воочию посмотреть что это такое.
Напоминание:
Baseline input — объект, который мы считаем некоторым "средним" относительно всей выборки тренировочных данных. Но что считать "средним" для изображений? Гауссовский шум, серую картинку, белый/черный input или какое-то случайное распределение? 👀
Ответ: для каждого объекта — лучше сработает свой baseline.
В качестве примера сгенерировала несколько базовых картинок и объяснения прогнозов ResNet.
Делюсь результатами! Как видите, что сработало для хрюши не сработало для собаки.
Вот такое творческое напоминание об экспериментах в explainable AI!
Весь в работе,
Ваш Дата автор! :)
В последнее время много экспериментирую с методами объяснения DL моделей, в частности для проектирования интересных задач для студентов курса (и самой себя).
Последние пару дней копаюсь с методом Integrated Gradients, который мы с вами обсуждали в этом и этом посте.
Среди минусов, я упомянула чувствительность к baseline. Предлагаю воочию посмотреть что это такое.
Напоминание:
Baseline input — объект, который мы считаем некоторым "средним" относительно всей выборки тренировочных данных. Но что считать "средним" для изображений? Гауссовский шум, серую картинку, белый/черный input или какое-то случайное распределение? 👀
Ответ: для каждого объекта — лучше сработает свой baseline.
В качестве примера сгенерировала несколько базовых картинок и объяснения прогнозов ResNet.
Делюсь результатами! Как видите, что сработало для хрюши не сработало для собаки.
Вот такое творческое напоминание об экспериментах в explainable AI!
Весь в работе,
Ваш Дата автор! :)
👍4🔥3
Привет, друзья! 🦑
Сейчас дошла до своего обучения (ура!) и прикоснулась области Super Resolution. Сразу стало интересно, как она применется в explainable AI.
👀 Чем занимается SR:
1. Улучшает разрешение изображений, увеличивая их размер и детализацию без значительных потерь в качестве.
2. Восстанавливает или улучшает изображения с низким разрешением, делая их более четкими и детализированными.
3. Убирает незначительные шумы.
Где используют SR: в медицинской визуализации, видеонаблюдении, мультимедия и научных исследованиях.
Что используют в SR: CNN, GANы, диффузионки, трансформеров.
🧐Куда прикручивать XAI?
Однозначно сходу — в медицину! Можно ковырять совсем крохотные структурки при помощи SR (например, есть целая "область" super-resolution microscopy).
В чем польза:
Так как анализ структур затруднен, ожидается, что применение XAI к области может например, позволить идентифицировать новые субклеточные структуры и процессы.
И польза настолько есть, что в SR даже пытаются делать свои техники объяснения моделей, например LAM. Но они базируются на классике (Integrated Gradients), про который, как раз, пост выше(и который я тоже даю на курсе ) !
Меня это восхитило! 🦑
Представьте, друзья, чего можно достичь, верно комбинируя техники и направляя умы исследователей?) Просто восторг!
Вот такой легкий пост среды. :)
Желаю вам удивительного и доброго дня,
Ваш Дата-автор!
Сейчас дошла до своего обучения (ура!) и прикоснулась области Super Resolution. Сразу стало интересно, как она применется в explainable AI.
👀 Чем занимается SR:
1. Улучшает разрешение изображений, увеличивая их размер и детализацию без значительных потерь в качестве.
2. Восстанавливает или улучшает изображения с низким разрешением, делая их более четкими и детализированными.
3. Убирает незначительные шумы.
Где используют SR: в медицинской визуализации, видеонаблюдении, мультимедия и научных исследованиях.
Что используют в SR: CNN, GANы, диффузионки, трансформеров.
🧐Куда прикручивать XAI?
Однозначно сходу — в медицину! Можно ковырять совсем крохотные структурки при помощи SR (например, есть целая "область" super-resolution microscopy).
В чем польза:
Так как анализ структур затруднен, ожидается, что применение XAI к области может например, позволить идентифицировать новые субклеточные структуры и процессы.
И польза настолько есть, что в SR даже пытаются делать свои техники объяснения моделей, например LAM. Но они базируются на классике (Integrated Gradients), про который, как раз, пост выше
Меня это восхитило! 🦑
Представьте, друзья, чего можно достичь, верно комбинируя техники и направляя умы исследователей?) Просто восторг!
Вот такой легкий пост среды. :)
Желаю вам удивительного и доброго дня,
Ваш Дата-автор!
MavMatrix
An Explainable Artificial Intelligence Approach to Convolutional Neural Network Optimization and Understanding
Advancements in artificial intelligence (AI) show promise for the technology’s use in widespread biomedical applications. As these models grow more complex, understanding how they work becomes increasingly more difficult. To use these systems in the healthcare…
❤3🔥2
Привет, друзья! 🤓
Предлагаю к вашей понедельничной разминке задачу с курса. Задача отражает идею формирования бенчмарка для Concept Embedding models.
Кто такие CEM?
Concept Embedding Models представляют собой продолжение Concept Bottleneck Models. Идея таких моделей — добавить к задаче прогнозирование не только вероятности классов, но и вероятности наличия или отсутствия определенного концепта (смотрите архитектуру 1)
CEM — достаточно простая надстройка над CBM — мы прикручиваем к концептам ещё и эмбеддинги (смотрите архитектуру 2).
Идея этих моделей некультурно проста — хочется видеть в ответе больше человеко-понятных меток. Это помогает достичь интерпретируемости.
Чем плохи CBM/CEM:
Нужно аннотировать. Аннотировать, аннотировать и еще раз аннотировать. Это таке усложняет процесс бенчмаркинга моделей, однако авторы архитектур не отчаялись и предложили целых 3 красивых идеи — XOR, Dot и Trigonometry datasets. Разберем первые две.
1. Датасет XOR в качестве входных признаков использует непрерывную пару значений (x_1, x_2) из отрезка [0, 1]. Концептами в задаче являются булевы векторы, сформированные по правилу (Bool(c_1 > 0.5), Bool(c_2 > 0.5))
2. Датасет Dot основан на идее разделения плоскости. Предлагаю вам посмотреть на код формирования такого датасета и ответить на вопрос:
"Какие части плоскости делит Dot data?" 👀
Предлагаю к вашей понедельничной разминке задачу с курса. Задача отражает идею формирования бенчмарка для Concept Embedding models.
Кто такие CEM?
Concept Embedding Models представляют собой продолжение Concept Bottleneck Models. Идея таких моделей — добавить к задаче прогнозирование не только вероятности классов, но и вероятности наличия или отсутствия определенного концепта (смотрите архитектуру 1)
CEM — достаточно простая надстройка над CBM — мы прикручиваем к концептам ещё и эмбеддинги (смотрите архитектуру 2).
Идея этих моделей некультурно проста — хочется видеть в ответе больше человеко-понятных меток. Это помогает достичь интерпретируемости.
Чем плохи CBM/CEM:
Нужно аннотировать. Аннотировать, аннотировать и еще раз аннотировать. Это таке усложняет процесс бенчмаркинга моделей, однако авторы архитектур не отчаялись и предложили целых 3 красивых идеи — XOR, Dot и Trigonometry datasets. Разберем первые две.
1. Датасет XOR в качестве входных признаков использует непрерывную пару значений (x_1, x_2) из отрезка [0, 1]. Концептами в задаче являются булевы векторы, сформированные по правилу (Bool(c_1 > 0.5), Bool(c_2 > 0.5))
2. Датасет Dot основан на идее разделения плоскости. Предлагаю вам посмотреть на код формирования такого датасета и ответить на вопрос:
"Какие части плоскости делит Dot data?" 👀
❤1👍1
🗿9
И конечно я желаю вам продуктивного начала недели!
Куда без этого,
Ваш Дата-автор! 😌🫶🏻
Куда без этого,
Ваш Дата-автор! 😌🫶🏻
❤4🔥1
Привет, друзья!
Пишу пожелать вам легкой, уютной и тёплой осени и делюсь красивым материалом:
Могут ли трансформеры думать? И почему, отвечая на этот вопрос, можно сказать «да»?
Читайте в статье моего товарища по научному руководителю в бакалавриате 👇🏻
Пишу пожелать вам легкой, уютной и тёплой осени и делюсь красивым материалом:
Могут ли трансформеры думать? И почему, отвечая на этот вопрос, можно сказать «да»?
Читайте в статье моего товарища по научному руководителю в бакалавриате 👇🏻
🔥2❤1
Forwarded from Идеальный стартап
Могут ли трансформеры думать?
В этой статье мы разберем как трансформеры решают задачи рассуждения, какие цепочки формируются внутри и посмотрим на феномен гроккинга - когда модель начинает решать задачи на тестовой выборке, хотя по логике не должна. Подготовил большой ноутбук с кодом, где мы натренируем модель решать задачу рассуждения с помощью гроккинга с 100% метрикой.
Честно, мне эта статья очень понравилась - редко такое происходит, но тут на меня напала муза и заставила потратить часов 20-25 в последние выходные.
Так что, жду ваших оценок, репостов и комментариев
https://habr.com/ru/articles/840136/
В этой статье мы разберем как трансформеры решают задачи рассуждения, какие цепочки формируются внутри и посмотрим на феномен гроккинга - когда модель начинает решать задачи на тестовой выборке, хотя по логике не должна. Подготовил большой ноутбук с кодом, где мы натренируем модель решать задачу рассуждения с помощью гроккинга с 100% метрикой.
Честно, мне эта статья очень понравилась - редко такое происходит, но тут на меня напала муза и заставила потратить часов 20-25 в последние выходные.
Так что, жду ваших оценок, репостов и комментариев
https://habr.com/ru/articles/840136/
Хабр
Могут ли трансформеры «думать»
Недавние исследования показывают, что модели трансформеров способны почти безошибочно решать задачи, требующие нескольких логических шагов. Например, из утверждения А вывести Б и дойти логически до В....
❤7🔥3
Привет, друзья! 🦑
Я очень часто экспериментирую — просто стесняюсь делиться. Кажется, что мысли и идеи — тривиальны, а ещё я всегда боюсь дать что-то недостоверное (ну знаете там с ошибкой в коде, например).
Но решила попробовать! Моя первая рабочая неделя не прошла без работы над курсом, поэтому, в этой статье я даю небольшую вводную про Attention, показываю, как внимание влияет на качество модели и делюсь ролью механизма внимания в области explainable AI.
Можно ли использовать Attention в качестве объяснения и почему ответ на этот вопрос неоднозначный?
Читайте в статье!
Код к статье.
Жду вашей обратной связи, реакций и репостов!
И конечно желаю вам отличных выходных!
Ну или просто менее рабочих :)
Всегда ваш,
Дата-Автор!
Я очень часто экспериментирую — просто стесняюсь делиться. Кажется, что мысли и идеи — тривиальны, а ещё я всегда боюсь дать что-то недостоверное (ну знаете там с ошибкой в коде, например).
Но решила попробовать! Моя первая рабочая неделя не прошла без работы над курсом, поэтому, в этой статье я даю небольшую вводную про Attention, показываю, как внимание влияет на качество модели и делюсь ролью механизма внимания в области explainable AI.
Можно ли использовать Attention в качестве объяснения и почему ответ на этот вопрос неоднозначный?
Читайте в статье!
Код к статье.
Жду вашей обратной связи, реакций и репостов!
И конечно желаю вам отличных выходных!
Ну или просто менее рабочих :)
Всегда ваш,
Дата-Автор!
Teletype
Attention: Attention!
В этой статье я даю небольшую вводную про Attention, показываю, как внимание влияет на качество модели и делюсь ролью Attention в explainable AI.
❤🔥7❤2👍2
Привет, друзья!
В меня прилетела интересеная библиотека — рекошечу ею вам.
🌳 supetree — пакет, для визуализации деревьев решений в интерактивном.
С помощью инструмента можно не только отображать деревья, но и "трогать их", а именно:
- масштабировать и рассматривать деревья как панораму
- сворачивать/развертывать выбранные узлы
- исследование структуры дерева интуитивно понятным и визуально красивым способом.
Почему делюсь — библиотеку можно рассмотреть в различных сценариях использования:
- При построении и анализе суррогатных древесных моделей (мета-модель над чёрным ящиком)
- Обучение машинному обучению — для тех, кто только начинает
- При анализе моделей, решающих какую-либо задачу
И на этой ноте, легкой рабочей вам недели!
Сейчас работаю над еще одним хорошим материалам, надеюсь, к середине будущей недели поделюсь)
Как всегда — ваш Дата-автор :)
В меня прилетела интересеная библиотека — рекошечу ею вам.
🌳 supetree — пакет, для визуализации деревьев решений в интерактивном.
С помощью инструмента можно не только отображать деревья, но и "трогать их", а именно:
- масштабировать и рассматривать деревья как панораму
- сворачивать/развертывать выбранные узлы
- исследование структуры дерева интуитивно понятным и визуально красивым способом.
Почему делюсь — библиотеку можно рассмотреть в различных сценариях использования:
- При построении и анализе суррогатных древесных моделей (мета-модель над чёрным ящиком)
- Обучение машинному обучению — для тех, кто только начинает
- При анализе моделей, решающих какую-либо задачу
И на этой ноте, легкой рабочей вам недели!
Сейчас работаю над еще одним хорошим материалам, надеюсь, к середине будущей недели поделюсь)
Как всегда — ваш Дата-автор :)
GitHub
GitHub - mljar/supertree: Visualize decision trees in Python
Visualize decision trees in Python. Contribute to mljar/supertree development by creating an account on GitHub.
❤🔥4🔥4
Привет, друзья!
Это мог был бы быть пост про новую версию GPT, но....
🌼 Нашла отличную штуку для новичков в области explainable AI — Xai-tree.
Что это: дерево решений, которое поможет вам понять, какой метод интерпретации может быть использован в вашем случае.
Плюсы: вопросно-отвеный путь — вам достаточно сформулировать запрос «я хочу использовать техники XAI», а дерево, ведя вас по узлам, приведет вас к конкретному способу это сделать. Кроме того, такой подход позволяет понять, как можно детализировать техники объяснения.
Минусы: узкий набор методов. Например отсутствуют градиентные и concept-based методы, а также моменты с визуализацией механизмов внимания. Кроме того, я сторонник применять разные методы объяснения к одному запросу, в силу возможной неэквивалентности результатов.
Но для начала — штука топ!
Аналоги:
Что-то подобное реализовано у меня, разве что я отталкиваюсь от фремворка и типа данных (не всё под всё подходит).
Оффтоп:
Вчера поставила последнюю точку в курсе, созданием которого я занималась в последнее время. Чувствую себя уставшей, довольной и немного выгоревшей — взяла паузу, чтобы понять, куда я хочу двигаться в исследованиях дальше 😌
Это просто как легкое напоминание и вам, друзья, что творческая усталость настигнуть может каждого :)
Отдыхайте и запасайтесь теплом!
Время осени.
Со всем самым добрым,
Ваш Дата-автор ☺️
Это мог был бы быть пост про новую версию GPT, но....
🌼 Нашла отличную штуку для новичков в области explainable AI — Xai-tree.
Что это: дерево решений, которое поможет вам понять, какой метод интерпретации может быть использован в вашем случае.
Плюсы: вопросно-отвеный путь — вам достаточно сформулировать запрос «я хочу использовать техники XAI», а дерево, ведя вас по узлам, приведет вас к конкретному способу это сделать. Кроме того, такой подход позволяет понять, как можно детализировать техники объяснения.
Минусы: узкий набор методов. Например отсутствуют градиентные и concept-based методы, а также моменты с визуализацией механизмов внимания. Кроме того, я сторонник применять разные методы объяснения к одному запросу, в силу возможной неэквивалентности результатов.
Но для начала — штука топ!
Аналоги:
Что-то подобное реализовано у меня, разве что я отталкиваюсь от фремворка и типа данных (не всё под всё подходит).
Оффтоп:
Вчера поставила последнюю точку в курсе, созданием которого я занималась в последнее время. Чувствую себя уставшей, довольной и немного выгоревшей — взяла паузу, чтобы понять, куда я хочу двигаться в исследованиях дальше 😌
Это просто как легкое напоминание и вам, друзья, что творческая усталость настигнуть может каждого :)
Отдыхайте и запасайтесь теплом!
Время осени.
Со всем самым добрым,
Ваш Дата-автор ☺️
❤8
Друзья, привет!
Вас становится всё больше и больше — радуюсь безумно!
Всем добро пожаловать! 🤗
Чувствую себя вернувшейся из творческого отпуска и готова продолжать наполнять канал.
Чтобы он был максимально полезным для вас — прошу тыкнуть в опросе ниже! 👇🏻
Из апдейтов — в субботу читаю семинар в онлайн-магистратуре ВШЭ.
Нервно готовлюсь! Или уже не совсем нервно)
Заряженный на много работы,
Ваш Дата-автор!
Вас становится всё больше и больше — радуюсь безумно!
Всем добро пожаловать! 🤗
Чувствую себя вернувшейся из творческого отпуска и готова продолжать наполнять канал.
Чтобы он был максимально полезным для вас — прошу тыкнуть в опросе ниже! 👇🏻
Из апдейтов — в субботу читаю семинар в онлайн-магистратуре ВШЭ.
Нервно готовлюсь! Или уже не совсем нервно)
Заряженный на много работы,
Ваш Дата-автор!
❤3👍3🔥3