Привет, друзья! 🐣

Чего-то меня вчера вечером накрыло, и казалось, что пора всё бросать, так что я села посмотреть на какие-то достижения, и решила поделиться парой мыслей!

Сейчас я почти бакалавр-математик. И иногда мне кажется, что вся "тусня" с университетом — не самое лучшее занятие, особенно, если хочется развиваться в области. Хочется соскочить, пойти на собеседования, начать активно участвовать в соревнованиях или делать что-то еще, ибо есть ощущение, что то время, которое тратится на пары могло бы быть проведено более полезным образом.

Однако, каждые 45+45 минут на попе ровно — тоже рациональное вложение.

- Они учат опыту преподавания — тому, которое импонирует и тому, от которого тошнит;
- Они учат коммуницировать — открыто, честно, твердо, обоснованно и при том культурно;
- Они учат планировать — так, чтобы успеть и на пары, и поработать, и в салон красоты сходить;

В умных книжках часто пишут про "позитивное мышление". Но оно начинается не там, где сидя в луже вдруг начинаешь истерично смеяться, а там, где в той же луже начинаешь учиться плавать.

За январь удалось:

- Устроиться ревьюером на курсы по data science;
- Стать частью команды создателей буткемпов по DS от ВШЭ;
- Присоединиться к команде проверяющих магистратуры Вышки по DS;

и...
- Допечь удобоваримую навигацию по библиотекам Explainable AI! 🐥

Что я хочу донести этим постом?
1. Любой опыт является частью роста, даже если расти приходится через не самые приятные дебри эмоций
2. Скоро вернуться посты про XAI, потому что последнее время я тратила на табличку и прокрастинацию 🫠😄

Чудного вам вечера и успехов!

Ваш, уже живее после кризиса,
Дата-автор!

Привет, друзья! 🎹

Интерпретируемость и классика.

В начале нового учебного семестра закоммитились с другом на ряд целей. Он и я — на свои.

Одна из моих касается хорошего теоретического повторения всей возможной базы по машинному обучению.

Зачем — давно хочется! 🤓 И огромный «пинок» — возросший градус ответственности от того что я проверяю работы в магистратуре и на курсах по DS.

Небольшие заметки в контексте интерпретируемости:

Среди базовых алгоритмов, применимых для задачи классификации интерпретируемыми в вероятностном смысле (статья про различие объяснимости и интерпретируемости тут) являются Наивный Байес и Логистическая регрессия.

Почему?
Оба алгоритма прочно стоят ногами на математике. Логистическая регрессия на методе максимального правдоподобия, Байес — на теореме Байеса.
Обучая таким образом эти алгоритмы из коробки (например, используя sklearn), по итогу можно получать математически корректные вероятности.

Что делать с остальными?
Ответ — калибровать! Пока копалась на этой теме наткнулась на интересное исследование, показывающее, что калибровка существенно улучшает вероятности, прогнозируемые SVM/деревьями решений.

Как?
На этот случай нашла на Хабре большую заметку (переведенная статья с medium).

____________________________________
Пока тону где-то под работой и учебой, но надеюсь хотя бы раз в неделю-две что-то информативное сюда готовить. Ну, а пока...

Ваш, пекущий еду, вместо структурированных постов,
Дата-автор!

Продуктивной недели, друзья!

Привет, друзья!

Многие из вас помнят, что я учусь на математика, и Machine learning и AI для меня — это пока большое хобби, переросшее, благодаря университету, в научную деятельность.

Последние два дня я провела в небольшой перезагрузке, и, на вдохновении после курса Практический ML от AI Education, задумалась: в интернетах очень мало задач про ML и DL, которые надо решать ручками, с листочком, на бумажке.

И решила это исправить)

Экспериментально, пока раз в неделю, я буду публиковать 1 тестовую задачу. Разного уровня. На разные определения и метрики. Начнём с простого =)

Задача:

В качестве регуляризации модели мы можем прибегнуть к регуляризациям L1 и L2.

Их название связано с понятием нормы в векторном пространстве. Норма — это правило, сопоставляющее в данном случае вектору его длину.

Выберите верные утверждения:

Привет, друзья! 🐣

Думаю, 3 дня — достаточное время для хорошего интриганта. Время обсудить тест!

Верные ответы: 4 и 6!

Основная ошибка: пункт 2. Ln нормы существуют! Просто не являются столь же эффективными и осмысленными в большинстве задач так, как нормы L1 и L2. Небольшой обзор таких норм вы можете найти здесь.

Что ещё интересного можно сказать про регуляризацию:

Помимо того что она призвана уменьшить вероятность переобучения модели, сбалансировав её сложность, регуляризация также может быть применена к повышению интерпретируемости модели. И хотя на эту тему удалось найти только одну статью, упрощение сложности модели для повышения интерпретируемости — всегда хороший тон.

А как вы используете регуляризацию на практике или в учебных задачах?

На сим всё!

Ждущий огонечков, если продолжаем рубрику с задачами,
где-то под кучкой работы, 🦗🔥

Ваш дата-автор!

Привет, друзья!

Со мной тут поделились свежим манифестом об интерпретируемости.

Из него отдельно хочу отметить многогранность задач, возникающих в области Explainable AI.

🔥 В манифесте детализируются 9:

1. Creating explanations for new types of AI — например для генеративных (GANs) и языковых (LLM) моделей. Также отдельно авторы выделяют построение методов интерпретации для различных подходов к созданию "умного" алгоритма, таких как distributed и collaborative Learning (статья)

2. Augmenting and improving attribution methods что посвящено повышению устойчивости методов к возмущениям в данных и изменениям в гиперпараметрах модели. Тут же авторы выделяют достаточно новую ветку в XAI — генерацию объяснений при помощи GAN.

3. Clarifying the use of concepts in XAI — посвящено несогласованности терминологии. О нём я упоминала в докладах. Несогласованность возникает из-за большого количества областей и конечных приложений XAI.

4. Evaluating XAI methods and explanations — задача, направленная на создание объективных способов оценивать объяснения. Тут выделяют как проектирование новых фреймворков и метрик, но и привлечение людей к оценке объяснений.

5. Supporting the human-centeredness of explanations
— и если о людях-оценщиках говорила задача выше, эта говорит о предоставлении объяснений, уже специально адаптированных для людей, которые их получают.

6. Supporting the multi-dimensionality of explainability — поддерживать мультиразмерность, по другому я бы сказала "инклюзивность", XAI к различным конечным потребителям и уровням использования.

7. Adjusting XAI methods and explanations
— адаптировать объяснений для разных заинтересованных сторон, разных областей и разных целей.

8. Mitigating the negative impact of XAI — менеджерить возможное негативное влияние объяснений — разрабатывать критерии возможной их фальсификации.

9. Improving the societal impact of XAI — или, если переформулировать, повышение и обеспечения доверия к социальному воздействия XAI. Например, в случае генерации быть способными избегать случаев, когда модель генерирует данные, похожие на представителей обучающей выборки (например, пациентов).

Вместо вывода:

Такой разброс задач говорит о том, что область XAI  невероятно динамична и востребована в настоящий момент. Как самостоятельная дисциплина, она переходит от этапа формирования к полноправному существованию с генерацией челленджей и задач.

Читать манифест ⬅️

Всё ещё Ваш,
Дата-автор! =)

Визуальное представление целей и задач области в хорошем качестве вдогонку.

🤓 Интерпретируемость аудио-моделей.

Привет, друзья! Наткнулась сегодня на review по методам построения XAI в случае аудио-данных.
Готовьте ушки глазки!

Применение глубинного обучения к аудио-данным имеет достаточно интересную историю, начавшуюся в 88 годах с задачи автоматической генерации музыки. Первая волна работ была инициирована в 1988 году by Lewis и Todd, которые предложили использовать нейронные сети для автоматического создания музыки. Почитать и узнать подробнее.

Сейчас работа с аудиоданным успешно продолжается, не обходя стороной и область XAI.

Проблема: существующие методы объяснения глубинных моделей концентрируются в основном на задачах CV и NLP.

Что имеем на входе: waveforms (формы сигналов), spectrograms (спектрограммы) и другие способы представления аудио.

Что хотим на выходе: объяснение инференса глубокой модели.

Текущая ситуация в получении объяснений: в обзоре описано 18 методов извлечения дополнительно информации из представлений аудио-данных в виде wavefroms и spectrograms, 12 из них применинимы и к другим модальностям данных (наиболее популярные из них SHAP и LIME), 6 — реализованы специально под аудио. Таблички прикрепляю.

⬇️
Подробности, библиотеки для препроцессинга аудио и другие детали.

С пожеланием вам бодрого начала рабочей недели,
Ваш Дата-автор!

P.S. готовлю задачку и на эту неделю, просто балансирую на многозадачности 🐈

Привет, друзья! 🐈

Я пока еще не задачей, но с огромной просьбой к вам!
Сегодня добавила на сайт "Find a way to make your AI explainable" ещё две библиотеки! Из нового: нашла фреймворк, который в том числе дружит с h2o.

Хочу вас попросить: Если у вас есть какие-либо ресурсы/блоги и вы находите навигацию полезной, то буду рада, если вы сможете поделиться результатом моей работы ☺️

Как всегда, со всем самым добрым,
Премного обожающий вас,
Дата-автор =)

Привет, друзья!

Сегодня с нами дата-задача. 🤌🏻

Из теории известно, что ошибка модели может быть разложена на три компоненты: дисперсию, смещение и шум.

Внимание, вопрос:

Доброго воскресного, друзья!

Вы хороши! Спасибо каждому, кто тыкнул в опросе! 🤌🏻

Разберем верный ответ.

Ошибка модели может быть разложена на три компоненты: дисперсию, смещение и шум, при допущении о том, что:
- Шум в данных незначителен и имеет нормальное распределение со средним 0

И при условиях, что:
- мы рассматриваем в качестве ошибки Mean Squarred Error.

Про другие варианты:

Почему MSE/MAE/Logloss и вообще любые функции некорректно рассматривать вместе?
- Потому что они имеют разное аналитическое разложение — эта причина в целом покрывает пункты 1, 2, 4.

Чем так хороша MSE? 🤔
Аккуратное математическое разложение, по такой родной и знакомой формуле (a-b)^2 = a^2 - 2ab + b^2.

Стоит ли тогда рвать отношения с MAE/logloss и тд? ☹️
Нет конечно! Исследователи не спят и исследуют возможные разложения других функций. Для любителей зарыться ссылки ниже =)

Какое место у анализа bias-variance-decomposition в XAI? 👀
Разложение ошибки дает возможность понять генеральное поведение модели на всех данных. И чем лучше «чувствуется», насколько модель может "стрельнуть мимо" — тем лучше.

Ссылки для читающих:
1. Смотреть полное разложение для MSE
2. Разложение MAE на ошибки смещения, пропорциональности и несистематическую
3. Другое обобщение разложения

🍒 И самое вкусное:
4. Bias-Varince-Decomposition чтобы использовать ручками (кстати, не только для mse, но и для  0-1 loss)

Анализируйте свои модели, пейте вкусный кофе и сохраняйте тепло!

Со всем самым добрым,
Ждущий огоньков, если продолжаем и желающий вам чудесного дня,

Ваш Дата-автор!

Привет, друзья! Поговорим про XRL? 🤓

Что это:
XRL — Explainable Reinforcement Learning — дословно объяснимое обучение с подкреплением — подобласть объяснимого искусственного интеллекта в целом.

🧷Основные подходы области
Декомпозированы, как и сам процесс обучения с подкреплением, на 4 основных подхода:
- model-explaining — объяснение модели,
- reward-explaining — объяснение вознаграждения,
- state-explaining — объяснение состояния,
- task-explaining methods – объяснение задачи.

🦥Два суб-подхода основных подходов:
- self-explainable
- explanation-generating

В чём отличие:
Self-explainable — модели, призванные быть понятными при обучении. Базовый тип таких — деревья решений или просто логические правила.
Explanation-generating — модели, которые «за своё слово отвечают», генерируя объяснения. Пример — контрактные объяснения — к прогнозу генерируем ближайший прогноз противоположного класса.

🫡Как контролировать этот зоопарк?
Создавая бенчмарки — ориентиры по качеству. Пример такого XRL-Bench (репозиторий)

На что обратить внимание:
Если вы давно наблюдаете за постами, то можете заметить частоту, с которой встречается метод объяснения SHAP — здесь он не исключение. Вместо вывода — рекомендация — его понимание, уверена, войдет в джентельменсткий набор!

Вместо заключения — как всегда с припиской,

Желающий быть тюльпаном, а не человеком,
Вносящий правки в научно-технический отчет (о, это достойно отдельного поста),

Всё ещё ваш,
Дата-автор!