🗿9
И конечно я желаю вам продуктивного начала недели!
Куда без этого,
Ваш Дата-автор! 😌🫶🏻
Куда без этого,
Ваш Дата-автор! 😌🫶🏻
❤4🔥1
Привет, друзья!
Пишу пожелать вам легкой, уютной и тёплой осени и делюсь красивым материалом:
Могут ли трансформеры думать? И почему, отвечая на этот вопрос, можно сказать «да»?
Читайте в статье моего товарища по научному руководителю в бакалавриате 👇🏻
Пишу пожелать вам легкой, уютной и тёплой осени и делюсь красивым материалом:
Могут ли трансформеры думать? И почему, отвечая на этот вопрос, можно сказать «да»?
Читайте в статье моего товарища по научному руководителю в бакалавриате 👇🏻
🔥2❤1
Forwarded from Идеальный стартап
Могут ли трансформеры думать?
В этой статье мы разберем как трансформеры решают задачи рассуждения, какие цепочки формируются внутри и посмотрим на феномен гроккинга - когда модель начинает решать задачи на тестовой выборке, хотя по логике не должна. Подготовил большой ноутбук с кодом, где мы натренируем модель решать задачу рассуждения с помощью гроккинга с 100% метрикой.
Честно, мне эта статья очень понравилась - редко такое происходит, но тут на меня напала муза и заставила потратить часов 20-25 в последние выходные.
Так что, жду ваших оценок, репостов и комментариев
https://habr.com/ru/articles/840136/
В этой статье мы разберем как трансформеры решают задачи рассуждения, какие цепочки формируются внутри и посмотрим на феномен гроккинга - когда модель начинает решать задачи на тестовой выборке, хотя по логике не должна. Подготовил большой ноутбук с кодом, где мы натренируем модель решать задачу рассуждения с помощью гроккинга с 100% метрикой.
Честно, мне эта статья очень понравилась - редко такое происходит, но тут на меня напала муза и заставила потратить часов 20-25 в последние выходные.
Так что, жду ваших оценок, репостов и комментариев
https://habr.com/ru/articles/840136/
Хабр
Могут ли трансформеры «думать»
Недавние исследования показывают, что модели трансформеров способны почти безошибочно решать задачи, требующие нескольких логических шагов. Например, из утверждения А вывести Б и дойти логически до В....
❤7🔥3
Привет, друзья! 🦑
Я очень часто экспериментирую — просто стесняюсь делиться. Кажется, что мысли и идеи — тривиальны, а ещё я всегда боюсь дать что-то недостоверное (ну знаете там с ошибкой в коде, например).
Но решила попробовать! Моя первая рабочая неделя не прошла без работы над курсом, поэтому, в этой статье я даю небольшую вводную про Attention, показываю, как внимание влияет на качество модели и делюсь ролью механизма внимания в области explainable AI.
Можно ли использовать Attention в качестве объяснения и почему ответ на этот вопрос неоднозначный?
Читайте в статье!
Код к статье.
Жду вашей обратной связи, реакций и репостов!
И конечно желаю вам отличных выходных!
Ну или просто менее рабочих :)
Всегда ваш,
Дата-Автор!
Я очень часто экспериментирую — просто стесняюсь делиться. Кажется, что мысли и идеи — тривиальны, а ещё я всегда боюсь дать что-то недостоверное (ну знаете там с ошибкой в коде, например).
Но решила попробовать! Моя первая рабочая неделя не прошла без работы над курсом, поэтому, в этой статье я даю небольшую вводную про Attention, показываю, как внимание влияет на качество модели и делюсь ролью механизма внимания в области explainable AI.
Можно ли использовать Attention в качестве объяснения и почему ответ на этот вопрос неоднозначный?
Читайте в статье!
Код к статье.
Жду вашей обратной связи, реакций и репостов!
И конечно желаю вам отличных выходных!
Ну или просто менее рабочих :)
Всегда ваш,
Дата-Автор!
Teletype
Attention: Attention!
В этой статье я даю небольшую вводную про Attention, показываю, как внимание влияет на качество модели и делюсь ролью Attention в explainable AI.
❤🔥7❤2👍2
Привет, друзья!
В меня прилетела интересеная библиотека — рекошечу ею вам.
🌳 supetree — пакет, для визуализации деревьев решений в интерактивном.
С помощью инструмента можно не только отображать деревья, но и "трогать их", а именно:
- масштабировать и рассматривать деревья как панораму
- сворачивать/развертывать выбранные узлы
- исследование структуры дерева интуитивно понятным и визуально красивым способом.
Почему делюсь — библиотеку можно рассмотреть в различных сценариях использования:
- При построении и анализе суррогатных древесных моделей (мета-модель над чёрным ящиком)
- Обучение машинному обучению — для тех, кто только начинает
- При анализе моделей, решающих какую-либо задачу
И на этой ноте, легкой рабочей вам недели!
Сейчас работаю над еще одним хорошим материалам, надеюсь, к середине будущей недели поделюсь)
Как всегда — ваш Дата-автор :)
В меня прилетела интересеная библиотека — рекошечу ею вам.
🌳 supetree — пакет, для визуализации деревьев решений в интерактивном.
С помощью инструмента можно не только отображать деревья, но и "трогать их", а именно:
- масштабировать и рассматривать деревья как панораму
- сворачивать/развертывать выбранные узлы
- исследование структуры дерева интуитивно понятным и визуально красивым способом.
Почему делюсь — библиотеку можно рассмотреть в различных сценариях использования:
- При построении и анализе суррогатных древесных моделей (мета-модель над чёрным ящиком)
- Обучение машинному обучению — для тех, кто только начинает
- При анализе моделей, решающих какую-либо задачу
И на этой ноте, легкой рабочей вам недели!
Сейчас работаю над еще одним хорошим материалам, надеюсь, к середине будущей недели поделюсь)
Как всегда — ваш Дата-автор :)
GitHub
GitHub - mljar/supertree: Visualize decision trees in Python
Visualize decision trees in Python. Contribute to mljar/supertree development by creating an account on GitHub.
❤🔥4🔥4
Привет, друзья!
Это мог был бы быть пост про новую версию GPT, но....
🌼 Нашла отличную штуку для новичков в области explainable AI — Xai-tree.
Что это: дерево решений, которое поможет вам понять, какой метод интерпретации может быть использован в вашем случае.
Плюсы: вопросно-отвеный путь — вам достаточно сформулировать запрос «я хочу использовать техники XAI», а дерево, ведя вас по узлам, приведет вас к конкретному способу это сделать. Кроме того, такой подход позволяет понять, как можно детализировать техники объяснения.
Минусы: узкий набор методов. Например отсутствуют градиентные и concept-based методы, а также моменты с визуализацией механизмов внимания. Кроме того, я сторонник применять разные методы объяснения к одному запросу, в силу возможной неэквивалентности результатов.
Но для начала — штука топ!
Аналоги:
Что-то подобное реализовано у меня, разве что я отталкиваюсь от фремворка и типа данных (не всё под всё подходит).
Оффтоп:
Вчера поставила последнюю точку в курсе, созданием которого я занималась в последнее время. Чувствую себя уставшей, довольной и немного выгоревшей — взяла паузу, чтобы понять, куда я хочу двигаться в исследованиях дальше 😌
Это просто как легкое напоминание и вам, друзья, что творческая усталость настигнуть может каждого :)
Отдыхайте и запасайтесь теплом!
Время осени.
Со всем самым добрым,
Ваш Дата-автор ☺️
Это мог был бы быть пост про новую версию GPT, но....
🌼 Нашла отличную штуку для новичков в области explainable AI — Xai-tree.
Что это: дерево решений, которое поможет вам понять, какой метод интерпретации может быть использован в вашем случае.
Плюсы: вопросно-отвеный путь — вам достаточно сформулировать запрос «я хочу использовать техники XAI», а дерево, ведя вас по узлам, приведет вас к конкретному способу это сделать. Кроме того, такой подход позволяет понять, как можно детализировать техники объяснения.
Минусы: узкий набор методов. Например отсутствуют градиентные и concept-based методы, а также моменты с визуализацией механизмов внимания. Кроме того, я сторонник применять разные методы объяснения к одному запросу, в силу возможной неэквивалентности результатов.
Но для начала — штука топ!
Аналоги:
Что-то подобное реализовано у меня, разве что я отталкиваюсь от фремворка и типа данных (не всё под всё подходит).
Оффтоп:
Вчера поставила последнюю точку в курсе, созданием которого я занималась в последнее время. Чувствую себя уставшей, довольной и немного выгоревшей — взяла паузу, чтобы понять, куда я хочу двигаться в исследованиях дальше 😌
Это просто как легкое напоминание и вам, друзья, что творческая усталость настигнуть может каждого :)
Отдыхайте и запасайтесь теплом!
Время осени.
Со всем самым добрым,
Ваш Дата-автор ☺️
❤8
Друзья, привет!
Вас становится всё больше и больше — радуюсь безумно!
Всем добро пожаловать! 🤗
Чувствую себя вернувшейся из творческого отпуска и готова продолжать наполнять канал.
Чтобы он был максимально полезным для вас — прошу тыкнуть в опросе ниже! 👇🏻
Из апдейтов — в субботу читаю семинар в онлайн-магистратуре ВШЭ.
Нервно готовлюсь! Или уже не совсем нервно)
Заряженный на много работы,
Ваш Дата-автор!
Вас становится всё больше и больше — радуюсь безумно!
Всем добро пожаловать! 🤗
Чувствую себя вернувшейся из творческого отпуска и готова продолжать наполнять канал.
Чтобы он был максимально полезным для вас — прошу тыкнуть в опросе ниже! 👇🏻
Из апдейтов — в субботу читаю семинар в онлайн-магистратуре ВШЭ.
Нервно готовлюсь! Или уже не совсем нервно)
Заряженный на много работы,
Ваш Дата-автор!
❤3👍3🔥3
Контент какой тематики вам хотелось бы видеть?
Anonymous Poll
51%
Разбор конкретных методов explainable в виде коротких/не очень постов
43%
Периодический разбор интересный статей
51%
Задачки на ML
47%
Примеры применения XAI в работе
0%
Напишу в комментарии
👍3
А вот и осенние вкусности! 🎃
Привет, друзья! Совсем свежее обновление в области XAI — shapiq, библиотека, расширяющая возможности известной shap для вычисления значений Шепли.
Основная цель: вместо отдельных значений Шепли, предоставить также количественный эффект взаимодействия между игроками (признаками или слабыми учениками в ансамблях).
Типы данных: таблички, текст, картинки.
Для текстов реализована поддержка pipelin’ов с Transformers, для картинок — пока только возможность запускать предобученные модельки (два VITа и Resnet18)
Плюсы — красиво!
Минусы — некультурно долгое вычисление. Считаю итерацию игры для одной картинки с 16ю игроками, а это 2^16 вариантов коалиций, уже 20 минут, и это принесло мне 4/100% вычислений. Если дождусь — поделюсь результатом =)
Думаю, у библиотеки есть потенциал, буду наблюдать.
P.S, а если наберем 9 реакций напишу пост про SHAP как базовый метод в explainable ai 👀
Чудного вам вечера!
Как всегда Ваш Дата-автор! :)
Привет, друзья! Совсем свежее обновление в области XAI — shapiq, библиотека, расширяющая возможности известной shap для вычисления значений Шепли.
Основная цель: вместо отдельных значений Шепли, предоставить также количественный эффект взаимодействия между игроками (признаками или слабыми учениками в ансамблях).
Типы данных: таблички, текст, картинки.
Для текстов реализована поддержка pipelin’ов с Transformers, для картинок — пока только возможность запускать предобученные модельки (два VITа и Resnet18)
Плюсы — красиво!
Минусы — некультурно долгое вычисление. Считаю итерацию игры для одной картинки с 16ю игроками, а это 2^16 вариантов коалиций, уже 20 минут, и это принесло мне 4/100% вычислений. Если дождусь — поделюсь результатом =)
Думаю, у библиотеки есть потенциал, буду наблюдать.
P.S, а если наберем 9 реакций напишу пост про SHAP как базовый метод в explainable ai 👀
Чудного вам вечера!
Как всегда Ваш Дата-автор! :)
GitHub
GitHub - mmschlk/shapiq: Shapley Interactions and Shapley Values for Machine Learning
Shapley Interactions and Shapley Values for Machine Learning - mmschlk/shapiq
🔥17❤2
🍁 Привет, друзья!
Как обещала — подготовила пост по значениям Шепли! :)
В посте отмечено:
- Интуитивное определение
- Математическое определение
- Историческая справка
- Как метод работает на практике и ключевые моменты графика значений
Читать здесь!
Буду рада вашей обратной связи, реакциям и репостам!
И поздравляю с последним днем сентября 😌
Всегда ваш,
Дата-Автор!
Как обещала — подготовила пост по значениям Шепли! :)
В посте отмечено:
- Интуитивное определение
- Математическое определение
- Историческая справка
- Как метод работает на практике и ключевые моменты графика значений
Читать здесь!
Буду рада вашей обратной связи, реакциям и репостам!
И поздравляю с последним днем сентября 😌
Всегда ваш,
Дата-Автор!
Teletype
SHAPley values
Значения Шепли — концепция из теории кооперативных игр. С 2017 года она нашла себя и в области ИИ. В этой статье предлагаю узнать о них больше! :)
🔥10👍4
Привет, друзья!
Сейчас готовлюсь к семинару про сверточные нейронные сети, захотелось наглядно показать, почему тепловые карты и извлечение паттернов можно применить не ко всем моделям. Смотрите картинку!
Я уже когда-то писала про patch embedding для изображений — и вот как забавно этот механизм показывает себя на тепловых картах :) Ноль информации — сплошные патчи! 🤓
Что же можно делать для ViTов:
1. Анализировать карты внимания (attention maps)
2. Использовать SHAP или LIME
3. Генерировать Counterfactual Explanations (Контрфактуальные объяснения)
Вот такой небольшой пост про вечерние рабочие примечания из области =)
Всем воодушевляющего начала октября!
Ваш Дата-автор!
Сейчас готовлюсь к семинару про сверточные нейронные сети, захотелось наглядно показать, почему тепловые карты и извлечение паттернов можно применить не ко всем моделям. Смотрите картинку!
Я уже когда-то писала про patch embedding для изображений — и вот как забавно этот механизм показывает себя на тепловых картах :) Ноль информации — сплошные патчи! 🤓
Что же можно делать для ViTов:
1. Анализировать карты внимания (attention maps)
2. Использовать SHAP или LIME
3. Генерировать Counterfactual Explanations (Контрфактуальные объяснения)
Вот такой небольшой пост про вечерние рабочие примечания из области =)
Всем воодушевляющего начала октября!
Ваш Дата-автор!
❤6
Привет, друзья!
Работа над продуктом на базе chatGPT — увлекательное путешествие. Косяки в доработке — и можно натолкнуться на ситуацию, когда в скрытом смысле в качестве борьбы со страхом модель предложит спалить дом.
В последнюю неделю поставила себе задачу разобраться, как сделать модель прозрачнее, сильнее и лучше, потому что я делаю продукт для детей. И мне показалось важным и интересным поделиться найденными тезисами.
В посте:
1. Можно ли назвать ChatGPT объяснимой моделью и почему?
2. Самообъяснения и извлекаемые объяснения — спасение в ситуации закрытости или полумера?
3. Картинки от YandexART — мой восторг здесь не отнять
Welcome в пост!
P.S. Совсем пропала — октябрь не щадит никого!) Но зато как красиво кругом!
Надеюсь, ваша осень тоже красочна :)
Ваш Дата-автор!
Работа над продуктом на базе chatGPT — увлекательное путешествие. Косяки в доработке — и можно натолкнуться на ситуацию, когда в скрытом смысле в качестве борьбы со страхом модель предложит спалить дом.
В последнюю неделю поставила себе задачу разобраться, как сделать модель прозрачнее, сильнее и лучше, потому что я делаю продукт для детей. И мне показалось важным и интересным поделиться найденными тезисами.
В посте:
1. Можно ли назвать ChatGPT объяснимой моделью и почему?
2. Самообъяснения и извлекаемые объяснения — спасение в ситуации закрытости или полумера?
3. Картинки от YandexART — мой восторг здесь не отнять
Welcome в пост!
P.S. Совсем пропала — октябрь не щадит никого!) Но зато как красиво кругом!
Надеюсь, ваша осень тоже красочна :)
Ваш Дата-автор!
Teletype
ChatGPT и explainable AI
“Unlike with most human creations, we don’t really understand the inner workings of neural networks” (c)
👍6❤4🔥2❤🔥1
Привет, друзья!
Мы с вами обсуждали значения Шепли пару постов назад. В исследованиях и на практике SHAP один из наиболее популярных методов интерпретации. Часто о нём говорят как методе из теории игр, и по определению, значения Шепли вычисляются по оценке вклада признака во все возможные "коалиции" (подмножества признаков).
Так, если у нас есть N признаков, нам необходимо перебрать 2^N комбинаций для оценки вклада каждого признака полностью. На практике этого не делается — применяется аппроксимация.
Отсюда возникают вопросы:
- достаточно ли такого нам весьма грубого вычисления (особенно, если у нас картинка, которую хотелось бы оценить максимально детально)?
- насколько значения Шепли случайны и основаны на данных?
Мне не хотелось оставлять эти вопросы неотвеченными, и я провела время с изучением литературы. Так родился пост на Хабр:
Практическая устойчивость значений Шепли в интерпретации моделей ИИ
В нём ответила на них!
И приглашаю вас к чтению :)
Мы с вами обсуждали значения Шепли пару постов назад. В исследованиях и на практике SHAP один из наиболее популярных методов интерпретации. Часто о нём говорят как методе из теории игр, и по определению, значения Шепли вычисляются по оценке вклада признака во все возможные "коалиции" (подмножества признаков).
Так, если у нас есть N признаков, нам необходимо перебрать 2^N комбинаций для оценки вклада каждого признака полностью. На практике этого не делается — применяется аппроксимация.
Отсюда возникают вопросы:
- достаточно ли такого нам весьма грубого вычисления (особенно, если у нас картинка, которую хотелось бы оценить максимально детально)?
- насколько значения Шепли случайны и основаны на данных?
Мне не хотелось оставлять эти вопросы неотвеченными, и я провела время с изучением литературы. Так родился пост на Хабр:
Практическая устойчивость значений Шепли в интерпретации моделей ИИ
В нём ответила на них!
И приглашаю вас к чтению :)
🔥10❤8
🍁🍁🍁
P.S. Я ужасно стрессую, когда пинаю что-то до Хабра, потому что личка на Хабр — иной раз отдельное искусство. Поэтому буду очень рада вашей поддержке в виде реакций/комментариев :)
P.P.S У меня есть к вам мини-просьба. Относительно скоро (через полтора месяца) у меня день рождения =)
И я бы очень хотела дойти до 1000 читателей (я люблю красивые цифры и галочки в списках желаний!)
Буду безумно рада и благодарна, если вы поделитесь блогом просто среди знакомых и тех, кому он может быть интересен!
Спасибо вам огромное, что читаете, наблюдаете и задаете вопросы!
Вы — лучшие!
Всегда ваш,
Дата-автор! 🫶🏻
P.S. Я ужасно стрессую, когда пинаю что-то до Хабра, потому что личка на Хабр — иной раз отдельное искусство. Поэтому буду очень рада вашей поддержке в виде реакций/комментариев :)
P.P.S У меня есть к вам мини-просьба. Относительно скоро (через полтора месяца) у меня день рождения =)
И я бы очень хотела дойти до 1000 читателей (я люблю красивые цифры и галочки в списках желаний!)
Буду безумно рада и благодарна, если вы поделитесь блогом просто среди знакомых и тех, кому он может быть интересен!
Спасибо вам огромное, что читаете, наблюдаете и задаете вопросы!
Вы — лучшие!
Всегда ваш,
Дата-автор! 🫶🏻
🤝17❤6👍2
Привет, друзья! 🪁
На днях потестировала новую для себя библиотеку moDel Agnostic Language for Exploration and eXplanation (DALEX)
Небольшой обзор, чтобы не теряться в уже весьма большом количестве либ и фильтровать, что must have, а что — нет.
Плюсы из коробки:
1. Предоставляет красивые визуализации для:
Графиков частичной зависимости (PDP plots);
Измерения важностей признаков на основе перестановки;
Графиков Break down — изменений прогноза при добавлении признака в модель.
2. Позволяет проанализировать взаимодействие
Из известных мне, первая питоновская библиотека, где коэффициенты влияния Feature Interaction можно просто достать из коробки, не задействуя применения статистического анализа.
3. Включает в себя SHAP, LIME (как самые популярные методы) и необходимый минимум классических методов
4. Безумно красиво описана математическая теория всех методов в библиотеке!
Приводят книгу, с которой можно пропасть, анализируя математическую основу методов (я просто немного пропала в ней! ☺️)
Минусы:
1. Частично повторяет существующие библиотеки или является добавлением красоты для классики, которую можно реализовать условно используя sklearn и matplotlib
2. Не дружит с catboost, lightgbm — тоже популярными в проде моделями
3.Не дружит с pyTorch
Совместимость:
Саммари:
В общем и целом отлично подходит для красивых отчетов и беглой оценки анализа попарного взаимодействия, если нет времени провести статические тесты.
Как мнение — знать хорошо, использовать повседневно — зависит от сценариев.
Всё ещё ваш,
Дата-автор!
На днях потестировала новую для себя библиотеку moDel Agnostic Language for Exploration and eXplanation (DALEX)
Небольшой обзор, чтобы не теряться в уже весьма большом количестве либ и фильтровать, что must have, а что — нет.
Плюсы из коробки:
1. Предоставляет красивые визуализации для:
Графиков частичной зависимости (PDP plots);
Измерения важностей признаков на основе перестановки;
Графиков Break down — изменений прогноза при добавлении признака в модель.
2. Позволяет проанализировать взаимодействие
Из известных мне, первая питоновская библиотека, где коэффициенты влияния Feature Interaction можно просто достать из коробки, не задействуя применения статистического анализа.
3. Включает в себя SHAP, LIME (как самые популярные методы) и необходимый минимум классических методов
4. Безумно красиво описана математическая теория всех методов в библиотеке!
Приводят книгу, с которой можно пропасть, анализируя математическую основу методов (я просто немного пропала в ней! ☺️)
Минусы:
1. Частично повторяет существующие библиотеки или является добавлением красоты для классики, которую можно реализовать условно используя sklearn и matplotlib
2. Не дружит с catboost, lightgbm — тоже популярными в проде моделями
3.Не дружит с pyTorch
Совместимость:
scikit-learn, keras, H2O, xgboost, mlr (python)
mlr3, tidymodels (R)
Саммари:
В общем и целом отлично подходит для красивых отчетов и беглой оценки анализа попарного взаимодействия, если нет времени провести статические тесты.
Как мнение — знать хорошо, использовать повседневно — зависит от сценариев.
Всё ещё ваш,
Дата-автор!
GitHub
GitHub - ModelOriented/DALEX: moDel Agnostic Language for Exploration and eXplanation
moDel Agnostic Language for Exploration and eXplanation - ModelOriented/DALEX
❤🔥6🔥5
Привет, друзья!
Бывают такие конференции, на которых важно выступить для университета. И хорошо, когда есть, с чем!
Прошедшим летом я много времени вложила в курс по Explainable AI. И так получилось, что курс, который благодаря AI Education появился на степик — первый на русском языке!
Поскольку я буду презентовать его — решила вообще проанализировать — насколько термин «объяснимый ИИ» популярен.
На Яндекс Вордстат перекати-поле, в Google Trends ситуация не лучше =(
(прилагаю картинки)
Бывают такие конференции, на которых важно выступить для университета. И хорошо, когда есть, с чем!
Прошедшим летом я много времени вложила в курс по Explainable AI. И так получилось, что курс, который благодаря AI Education появился на степик — первый на русском языке!
Поскольку я буду презентовать его — решила вообще проанализировать — насколько термин «объяснимый ИИ» популярен.
На Яндекс Вордстат перекати-поле, в Google Trends ситуация не лучше =(
(прилагаю картинки)
👍7❤4👀3