Друзья, по итогу стараюсь подготовить хотя бы часть из обещанного, но готовлю!
Просто много беготни с бумагами, университетом и «что мне вам сдать, чтобы вы не считали за пропуск моё отсутствие» 😄
Из интересного: у конференции СПбГУ будет трансляция. Так что если вы найдете для себя что-то в программе, то можете послушать по ссылкам на запись.
После конференции ещё поделюсь некоторыми материалами выступления и работы — чесслово поделюсь, с ними я уже успела 😅
Отличной вам субботы,
Ваш Дата-автор
Просто много беготни с бумагами, университетом и «что мне вам сдать, чтобы вы не считали за пропуск моё отсутствие» 😄
Из интересного: у конференции СПбГУ будет трансляция. Так что если вы найдете для себя что-то в программе, то можете послушать по ссылкам на запись.
После конференции ещё поделюсь некоторыми материалами выступления и работы — чесслово поделюсь, с ними я уже успела 😅
Отличной вам субботы,
Ваш Дата-автор
❤3
Привет, друзья! Я наконец-то выступила.
Опуская то, что я тот ещё пирожок и могла лучше, делюсь с вами итогом моей работы и начальным продуктом моих исследований.
Что это — репозиторий, который содержит библиотеки интерпретации моделек, проанализированные в трех разрезах:
- возможность интерпретировать модель в зависимости от типа данных, на которых она обучалась
- возможность интерпретировать модель в зависимости от фреймворка, с помощью которого вы обучили модель
- возможность интерпретировать специфической методикой
Буду рада вашей обратной связи!
И буду рада, если вам удастся распространить эту штуку среди тех, кому она может быть полезна.
Ссылка: https://github.com/SadSabrina/XAI
(А статья ещё месяц будет плавать на рецензировании, но её потом тоже подтяну (если опубликуют))
Со всей радостной усталостью и моргая синяками под глазами,
Ваш Дата-автор!
Опуская то, что я тот ещё пирожок и могла лучше, делюсь с вами итогом моей работы и начальным продуктом моих исследований.
Что это — репозиторий, который содержит библиотеки интерпретации моделек, проанализированные в трех разрезах:
- возможность интерпретировать модель в зависимости от типа данных, на которых она обучалась
- возможность интерпретировать модель в зависимости от фреймворка, с помощью которого вы обучили модель
- возможность интерпретировать специфической методикой
Буду рада вашей обратной связи!
И буду рада, если вам удастся распространить эту штуку среди тех, кому она может быть полезна.
Ссылка: https://github.com/SadSabrina/XAI
(А статья ещё месяц будет плавать на рецензировании, но её потом тоже подтяну (если опубликуют))
Со всей радостной усталостью и моргая синяками под глазами,
Ваш Дата-автор!
GitHub
GitHub - SadSabrina/XAI-open_materials
Contribute to SadSabrina/XAI-open_materials development by creating an account on GitHub.
❤🔥6👍2❤1
Здесь-там повыше должно было быть какое-то интро на тему важности интерпретации, но мне так лень, поэтому потом напишу...
А если есть вопросы можете задать, я постепенно поотвечаю)
А если есть вопросы можете задать, я постепенно поотвечаю)
😁2
Привет, друзья!
И так, я привела свои мешки под глазами в порядок и готова раздавать долги. На повестке дня тема — главные NLP-вещи в 2022! Но больше мне понравилось (и после прочтения всех постов вы поймете, почему), название доклада, предложенное самим Михаилом Бурцевым — Large language models, like a universal AI acid (Большие языковые модели, как универсальная кислота искусственного интеллекта).
Сегодня у нас будет 1 часть — небольшое введение. Завтра — пройдемся по конкретным моделям, недостаткам LLM и решениям этих недостатков. Послезавтра или также завтра (как успею) обсудим вещи, названные Михаилом "интереснее GPT" (и он прав!).
И так, для начала аккуратное введение:
Кто такие LLM?
Если вы занимаетесь машин-лергингом, вам сто процентов известно семейство BERTов.Если же машин-лернингом вы не занимаетесь или BERTы были в стороне от вашей ветки исследование, то вам сто, двести, триста процентов известны GPT =)
BERTы и GPT-шки — самые известные подходы, относящиеся к LLM.
В чем разница:
BERT (статья) (Bidirectional Encoder Representations from Transformers) — относится к mask language models — модели, костяки которых обучаются на восстановлении замаскированных токенов. (Было предложение “Мама мыла раму”, учимся в “Мама ___ раму” восстанавливать слово “мыло”, но можно и другое, годное по контексту).
К этому пред обученному костяку добавляется то, что называется “голова”, которая уже дообучается на конкретную задачу.
GPT (статья) — generative pretrained transformers. Здесь задача обучения исходной модели строится не как восстановление токенов, а как предсказание следующего токена последовательности. (Как это работает “Мама ___ ___”, учимся предсказывать, что там мама делала).
Плюшка такого подхода состоит в том, что можно формулировать модели на вход задачу, а она, тк обучена предсказывать следующий токен, естественным outputом генерит решение задачи (привет наш chat-с-GPT).
И то, и то позволяет обучаться в режиме self supervised learning. Плюсы GPT — удобное использование в формате “zero-shot” (без до обучения на конкретную задачу). Кроме того, при “дообучении” тут выяснено,что при подаче даже только одного примера (“one-shot”), качество решения может возрасти до 4х раз, но это справедливо только при достаточно большом количестве внутренних параметров модели. Ну и с подачей бОльшего числа примеров (“few-shot”), качество решения растет дальше.
И для введения это всё.
Отдельно подмечу, что в LLM-ках архитектуру трансформер и подход масок можно сейчас встречать почти всегда.
До второй части,
Ваш дата-автор!
И так, я привела свои мешки под глазами в порядок и готова раздавать долги. На повестке дня тема — главные NLP-вещи в 2022! Но больше мне понравилось (и после прочтения всех постов вы поймете, почему), название доклада, предложенное самим Михаилом Бурцевым — Large language models, like a universal AI acid (Большие языковые модели, как универсальная кислота искусственного интеллекта).
Сегодня у нас будет 1 часть — небольшое введение. Завтра — пройдемся по конкретным моделям, недостаткам LLM и решениям этих недостатков. Послезавтра или также завтра (как успею) обсудим вещи, названные Михаилом "интереснее GPT" (и он прав!).
И так, для начала аккуратное введение:
Кто такие LLM?
Если вы занимаетесь машин-лергингом, вам сто процентов известно семейство BERTов.Если же машин-лернингом вы не занимаетесь или BERTы были в стороне от вашей ветки исследование, то вам сто, двести, триста процентов известны GPT =)
BERTы и GPT-шки — самые известные подходы, относящиеся к LLM.
В чем разница:
BERT (статья) (Bidirectional Encoder Representations from Transformers) — относится к mask language models — модели, костяки которых обучаются на восстановлении замаскированных токенов. (Было предложение “Мама мыла раму”, учимся в “Мама ___ раму” восстанавливать слово “мыло”, но можно и другое, годное по контексту).
К этому пред обученному костяку добавляется то, что называется “голова”, которая уже дообучается на конкретную задачу.
GPT (статья) — generative pretrained transformers. Здесь задача обучения исходной модели строится не как восстановление токенов, а как предсказание следующего токена последовательности. (Как это работает “Мама ___ ___”, учимся предсказывать, что там мама делала).
Плюшка такого подхода состоит в том, что можно формулировать модели на вход задачу, а она, тк обучена предсказывать следующий токен, естественным outputом генерит решение задачи (привет наш chat-с-GPT).
И то, и то позволяет обучаться в режиме self supervised learning. Плюсы GPT — удобное использование в формате “zero-shot” (без до обучения на конкретную задачу). Кроме того, при “дообучении” тут выяснено,что при подаче даже только одного примера (“one-shot”), качество решения может возрасти до 4х раз, но это справедливо только при достаточно большом количестве внутренних параметров модели. Ну и с подачей бОльшего числа примеров (“few-shot”), качество решения растет дальше.
И для введения это всё.
Отдельно подмечу, что в LLM-ках архитектуру трансформер и подход масок можно сейчас встречать почти всегда.
До второй части,
Ваш дата-автор!
👍4👨💻1
Привет, друзья! Сегодня я закончу (ура) с NLP. Сложная неделя была — готовилась к ещё одной конференции (схожий доклад, 2 место 🤓).
Теперь, к делу:
На 2022 были отмечены публикации некоторых LLM моделек в open-source.
Одной такой красоткой была BLOOM (176 миллиардов параметров, обучена на ROOTS corpus, 46 естественных языков и 13 языков). Её архитектура аналогична GPT-3 – авторегрессионная модель для прогнозирования следующего токена. (статья, huggifance).
Второй была GLM-130B (статья) — моделька-билингв с интересностью в процессе обучения. Учится не только предсказывать следующий токен, но и делать это в формате авторегрессионного предсказания нескольких следующих друг за другом токенов, в произвольном порядке (подробнее в статье). (huggifance (онлайн-запуск модели), гитхаб). Но она была больше попыткой.
И очень крутой (хоть и не в open'e) тут была Gato (статья) — кросс-модальная универсальная модель с 1.2 миллиардами параметров. Может выполнять более 600 задач, таких как воспроизведение видеоигр, создание субтитров к изображениям и управление роботами. Но количество не дало наилучшего качества для каждой отдельной задачи
Дальше, на духу GPT-vawe, на самом деле больших моделек показывали многие компании. Как примеры — модельки PaLM и LLaMA:
- PaLM (Pathways Language Model, статья). Суммарно решает задачи языковых бенчмарков на уровне среднестатистического человека, но при этом есть задачи, которая она решает как лучше, так и хуже (отсюда некоторая магия среднего).
Но я чуть покопалась и меня затронуло вот что — в публикациях, описывающих подход к обучению Pathways models, авторы модели называют свой подход “новой эрой”.
“Pathways will enable a single AI system to generalize across thousands or millions of tasks, to understand different types of data, and to do so with remarkable efficiency – advancing us from the era of single-purpose models that merely recognize patterns to one in which more general-purpose intelligent systems reflect a deeper understanding of our world and can adapt to new needs.” [source] — интересно, что из этого выйдет дальше!
- LLaMA (статья, huggifance). Но про нее ничего особенно сказать не могу. Большая моделька и большая моделька с хороших качеством.
Не обошла волна и научное сообщество! Были попытки сделать модели для научных задач — они обучались как на решении теорем, так и на разных областях (например, была даже bioGPT).
Самая вкусная тут (была выделена в докладе) — Galactica (статья, сайт (open use)) обученная на именно на статьях. Интересно то, что в ходе обучения исследователи META AI предложили вариант решения задачи представления изображений, последовательностей днк, кода и пр. в виде общей последовательности токенов, что описано в статье. Вот.
Теперь, к делу:
На 2022 были отмечены публикации некоторых LLM моделек в open-source.
Одной такой красоткой была BLOOM (176 миллиардов параметров, обучена на ROOTS corpus, 46 естественных языков и 13 языков). Её архитектура аналогична GPT-3 – авторегрессионная модель для прогнозирования следующего токена. (статья, huggifance).
Второй была GLM-130B (статья) — моделька-билингв с интересностью в процессе обучения. Учится не только предсказывать следующий токен, но и делать это в формате авторегрессионного предсказания нескольких следующих друг за другом токенов, в произвольном порядке (подробнее в статье). (huggifance (онлайн-запуск модели), гитхаб). Но она была больше попыткой.
И очень крутой (хоть и не в open'e) тут была Gato (статья) — кросс-модальная универсальная модель с 1.2 миллиардами параметров. Может выполнять более 600 задач, таких как воспроизведение видеоигр, создание субтитров к изображениям и управление роботами. Но количество не дало наилучшего качества для каждой отдельной задачи
Дальше, на духу GPT-vawe, на самом деле больших моделек показывали многие компании. Как примеры — модельки PaLM и LLaMA:
- PaLM (Pathways Language Model, статья). Суммарно решает задачи языковых бенчмарков на уровне среднестатистического человека, но при этом есть задачи, которая она решает как лучше, так и хуже (отсюда некоторая магия среднего).
Но я чуть покопалась и меня затронуло вот что — в публикациях, описывающих подход к обучению Pathways models, авторы модели называют свой подход “новой эрой”.
“Pathways will enable a single AI system to generalize across thousands or millions of tasks, to understand different types of data, and to do so with remarkable efficiency – advancing us from the era of single-purpose models that merely recognize patterns to one in which more general-purpose intelligent systems reflect a deeper understanding of our world and can adapt to new needs.” [source] — интересно, что из этого выйдет дальше!
- LLaMA (статья, huggifance). Но про нее ничего особенно сказать не могу. Большая моделька и большая моделька с хороших качеством.
Не обошла волна и научное сообщество! Были попытки сделать модели для научных задач — они обучались как на решении теорем, так и на разных областях (например, была даже bioGPT).
Самая вкусная тут (была выделена в докладе) — Galactica (статья, сайт (open use)) обученная на именно на статьях. Интересно то, что в ходе обучения исследователи META AI предложили вариант решения задачи представления изображений, последовательностей днк, кода и пр. в виде общей последовательности токенов, что описано в статье. Вот.
❤1🔥1
Однако, вопреки тому что LLM (хорошо) работают, они не существуют без проблем. И на мой субъективный взгляд — проблемы чуть ли не интереснее самих LLM!
Например, даже если модель дает верный текстовый ответ (GPT вот недавно поставил моей подруге те же диагнозы, что и врач!), очень важно проследить причинно-следственную связь её инференса. (Здесь я должна машу бумажкой с темой моих научных интересов — explainable AI)
Проблемы породили новые исследования — касаемые управления LLM.
В докладе были приведены два:
- Chain of thought reasoning (статья). Обучение моделей генерировать не только ответ, но и рассуждение.
- Reinforcement learning for human feedback (RLHF). Метод от которого растут ноги улучшения качества ответов GPT во времени. Дообучение в этом подходе происходит как сбор данных с диалогом по решению задачи, которую мы хотели бы решить.
Как это:
1. Данные — X = формулировка задачи, Y — человеческий ответ;
2. Сбор всех возможных решений similar задач;
3. Ранжирование ответов человеком — от самого релевантного к менее релевантному;
4. Определение функции наград как максимизирующую предпочтения человека;
5. Дообучение и profit.
Ещё галопом прошлись по докладам, связанным с применением LLM вместе с роботами.
Доклад 1: Использование языковых моделей с моделью контекста, в котором находится работ. Как это работает — получаем решение задачи как выход языковых моделей, Ранжируем и выбираем решение моделью контекста. SayCan (статья).
Доклад 2 (понравился мне невероятно)!: Socratic models (статья). Языковая модель, аудио-языковая модель и видео-языковая модель. Как это работает — одна модель спрашивает — что имеет ввиду человек. Языковая отвечает “это пульт”. Визуальная ищет мульт в записанном видеопотоке. Ещё одна модель спрашивает — где этот пульт (и тд)).
Плюс туда подкручено использование внешних источников. Например, если пользователь что-то готовит и не понимает текстуру, то он может спросить “а какое должно быть безе и модель,обращаясь к внешнему источнику, выдает видео-картинку с нужной текстурой.
Оба доклада, отмечу, тоже имеют небольшой задел на контроль модели и попытку сделать решение не только корректным, но и прозрачным!
Вот так, друзья,
она долго писала и дописала. Сейчас уже 23й, новые исследования, и новые публикации, но чувствую (это предикт) нас ждёт мощная волна на мультимодальность, мультизадачность и попытку, но только попытку, решения проблем.
Про выступление в Питере напишу быстро-кратко на неделе) Надеюсь. Про RL, думаю, выпускать уже не буду — не успеваю вообще 🙈
И! С праздником вас!🙏🏻
Ваша дата-автор.
Например, даже если модель дает верный текстовый ответ (GPT вот недавно поставил моей подруге те же диагнозы, что и врач!), очень важно проследить причинно-следственную связь её инференса. (Здесь я должна машу бумажкой с темой моих научных интересов — explainable AI)
Проблемы породили новые исследования — касаемые управления LLM.
В докладе были приведены два:
- Chain of thought reasoning (статья). Обучение моделей генерировать не только ответ, но и рассуждение.
- Reinforcement learning for human feedback (RLHF). Метод от которого растут ноги улучшения качества ответов GPT во времени. Дообучение в этом подходе происходит как сбор данных с диалогом по решению задачи, которую мы хотели бы решить.
Как это:
1. Данные — X = формулировка задачи, Y — человеческий ответ;
2. Сбор всех возможных решений similar задач;
3. Ранжирование ответов человеком — от самого релевантного к менее релевантному;
4. Определение функции наград как максимизирующую предпочтения человека;
5. Дообучение и profit.
Ещё галопом прошлись по докладам, связанным с применением LLM вместе с роботами.
Доклад 1: Использование языковых моделей с моделью контекста, в котором находится работ. Как это работает — получаем решение задачи как выход языковых моделей, Ранжируем и выбираем решение моделью контекста. SayCan (статья).
Доклад 2 (понравился мне невероятно)!: Socratic models (статья). Языковая модель, аудио-языковая модель и видео-языковая модель. Как это работает — одна модель спрашивает — что имеет ввиду человек. Языковая отвечает “это пульт”. Визуальная ищет мульт в записанном видеопотоке. Ещё одна модель спрашивает — где этот пульт (и тд)).
Плюс туда подкручено использование внешних источников. Например, если пользователь что-то готовит и не понимает текстуру, то он может спросить “а какое должно быть безе и модель,обращаясь к внешнему источнику, выдает видео-картинку с нужной текстурой.
Оба доклада, отмечу, тоже имеют небольшой задел на контроль модели и попытку сделать решение не только корректным, но и прозрачным!
Вот так, друзья,
она долго писала и дописала. Сейчас уже 23й, новые исследования, и новые публикации, но чувствую (это предикт) нас ждёт мощная волна на мультимодальность, мультизадачность и попытку, но только попытку, решения проблем.
Про выступление в Питере напишу быстро-кратко на неделе) Надеюсь. Про RL, думаю, выпускать уже не буду — не успеваю вообще 🙈
И! С праздником вас!🙏🏻
Ваша дата-автор.
❤6
О конференции СПбГУ.
Привет, друзья! И у меня руки дошли, и даже через не совсем долгое время.
Что можно сказать о конференции в не родных стенах:
Другие уровень и формат.
Насчет уровня — впервые публикуюсь в сборнике с историей в 20+ лет. Соответственно требования к формату работы (шрифты, переносы, стиль, запятые) мне выдвигаются тоже впервые.
Вычитывать было не так сложно, как ощущать свою работу пороховой бочкой, где ещё одна запятая может сдвинуть страницу на миллиметр, который не будет вписываться в формат страницы. Впрочем, такие ощущения только от первого раза. Ну и ещё я начала чуть-чуть любить Латех.
Касаемо формата - конференция нашего ВУЗа, хоть тоже и аккумулирует в основном магистров и аспирантов, отличается по правилам и структуре. У нас, например, есть места и всё всё равно немного по «домашнему». Здесь же выше и серьезнее ощущался градус какой-то ответственности.
Дальше.
Из неприятного:
1. Давление — у нас выступал приглашенный спикер с богатым опытом работ (и набором публикаций). Он давил каждого выступавшего, не досталась только одному человеку (из 23). В первый день я невероятно «сдала», особенно после фразы «а вы уверенны в своей литературе?». К сожалению, отстаивать свой труд даже перед людьми «старше по степени» — это навык, который мне надо развивать.
2. Мизогиния (это называется так?😅). После фразы «для девушек есть мастер-классы проще» — мы с ещё двумя дамами в аудитории улыбнулись от души. (Ну пожалуйста, ну не надо так!)
3. Волнение. От него не сказала много содержательного.
Из приятного:
1. Прочувствовала навык важности качественной вычитки и единого формата.
Когда запятая к запятой и буква к букве — чувствуется, будто наряжаешь свою работу в лучший костюм)
2. Познакомилась с новым типом людей и получила плюс в интеллектуальную самооценку.
Тот самый «человек с большим опытом», который задавил меня в первый день, подошел во второй и попросил «писать дальше всё, что вижу».
Вот так вот, и я продолжаю работать)
Область explainable AI, увлекла меня очень сильно, так что внимаю и смотрю, что я ещё могу исследовать и сделать.
А на второй, своей родной конференции выступила сильно увереннее и взяла диплом 2 степени. Учла ошибки из Питера.
Главный вывод:
Вычитка, спокойствие и уверенность — эти три вещи перед докладами лучше не опускать)
Такой лонгрид.
Отличного дня!
Ваш Дата-автор :)
Привет, друзья! И у меня руки дошли, и даже через не совсем долгое время.
Что можно сказать о конференции в не родных стенах:
Другие уровень и формат.
Насчет уровня — впервые публикуюсь в сборнике с историей в 20+ лет. Соответственно требования к формату работы (шрифты, переносы, стиль, запятые) мне выдвигаются тоже впервые.
Вычитывать было не так сложно, как ощущать свою работу пороховой бочкой, где ещё одна запятая может сдвинуть страницу на миллиметр, который не будет вписываться в формат страницы. Впрочем, такие ощущения только от первого раза. Ну и ещё я начала чуть-чуть любить Латех.
Касаемо формата - конференция нашего ВУЗа, хоть тоже и аккумулирует в основном магистров и аспирантов, отличается по правилам и структуре. У нас, например, есть места и всё всё равно немного по «домашнему». Здесь же выше и серьезнее ощущался градус какой-то ответственности.
Дальше.
Из неприятного:
1. Давление — у нас выступал приглашенный спикер с богатым опытом работ (и набором публикаций). Он давил каждого выступавшего, не досталась только одному человеку (из 23). В первый день я невероятно «сдала», особенно после фразы «а вы уверенны в своей литературе?». К сожалению, отстаивать свой труд даже перед людьми «старше по степени» — это навык, который мне надо развивать.
2. Мизогиния (это называется так?😅). После фразы «для девушек есть мастер-классы проще» — мы с ещё двумя дамами в аудитории улыбнулись от души. (Ну пожалуйста, ну не надо так!)
3. Волнение. От него не сказала много содержательного.
Из приятного:
1. Прочувствовала навык важности качественной вычитки и единого формата.
Когда запятая к запятой и буква к букве — чувствуется, будто наряжаешь свою работу в лучший костюм)
2. Познакомилась с новым типом людей и получила плюс в интеллектуальную самооценку.
Тот самый «человек с большим опытом», который задавил меня в первый день, подошел во второй и попросил «писать дальше всё, что вижу».
Вот так вот, и я продолжаю работать)
Область explainable AI, увлекла меня очень сильно, так что внимаю и смотрю, что я ещё могу исследовать и сделать.
А на второй, своей родной конференции выступила сильно увереннее и взяла диплом 2 степени. Учла ошибки из Питера.
Главный вывод:
Вычитка, спокойствие и уверенность — эти три вещи перед докладами лучше не опускать)
Такой лонгрид.
Отличного дня!
Ваш Дата-автор :)
👍7❤4🔥2
Новые конференции и продуктивный дата-автор.
Привет, друзья!
Вас стало больше, рада видеть! У меня сессия на носу, поэтому я уже готовлюсь.
Но пишу с новостью!)
3-4 июня буду выступать на DataFest2023, как спикер секции Reliable ML.
Точное время сообщу, как утрясется расписание.
Счастья полные штаны.
Кажется, постепенно я потерялась с контентом, который сюда вымещать. Поэтому, с целью максимизации полезности вашего тут пребывания, прошу тыкнуть в опросе:
Привет, друзья!
Вас стало больше, рада видеть! У меня сессия на носу, поэтому я уже готовлюсь.
Но пишу с новостью!)
3-4 июня буду выступать на DataFest2023, как спикер секции Reliable ML.
Точное время сообщу, как утрясется расписание.
Счастья полные штаны.
Кажется, постепенно я потерялась с контентом, который сюда вымещать. Поэтому, с целью максимизации полезности вашего тут пребывания, прошу тыкнуть в опросе:
Telegram
Reliable ML
Трек Reliable ML - Data Fest Online 2023 - Ключевые даты
Подготовка докладов и мероприятий для трека Reliable ML на Data Fest Online 2023
Дорогие участники и спикеры трека Reliable ML на Data Fest Online 2023!
Публикуем основные даты для подачи заявок…
Подготовка докладов и мероприятий для трека Reliable ML на Data Fest Online 2023
Дорогие участники и спикеры трека Reliable ML на Data Fest Online 2023!
Публикуем основные даты для подачи заявок…
🔥5
Разбиение на подзадачи как подход к обеспечению прозрачности/интерпретируемости модели.
Задумала провести небольшой ресёрч, посвященный методам интерпретации transformer-based моделей. Почему именно трансформеры — это архитектура, которая начала примерно 6 лет назад от задачи машинного перевода, а сейчас плавно перекочевала на множество других задач (не только из NLP, но и из CV — касалась этого в обзорах главного за 2022 год).
Так вот — пока «рылась» (и роюсь ещё), наткнулась на серию статей [1], [2], [3], посвященных построению интерпретируемой системы детекции сексизма.
Вопреки ожидаемому — рассмотрению механизмов внимания модели, визуализации голов или слоёв, обнаружила иной подход к интерпретируемости — детализация основной задачи на subtasks, с целью повысить контроль над предсказанием.
Что делают:
Берут основную задачу (детекция сексизма) и детализируют её на
1. Бинарную задачу — сексистский пост или нет;
2. Задачу категоризации сексизма на на 1 из 4 классов— угроза, унижение, враждебность или предвзятое убеждение;
3. Задачу выделения подкатегории для одного из 4х классов.
Хотя такой подход не заглядывает напрямую внутрь black box модели, он кажется мне простым и легко широко применимым на практике. Так что, как идея обеспечения контроля над моделью, детализация задачи — то, что можно «мотнуть на ус».
Ещё в ходе написания конспект лекции Игоря Котенкова про трансформеры и постараюсь в ближнем времени собрать библиотеки для интерпретации трансформеров в одну кучу.
Блог живет и будет жить,
Ваш дата-автор =)
Задумала провести небольшой ресёрч, посвященный методам интерпретации transformer-based моделей. Почему именно трансформеры — это архитектура, которая начала примерно 6 лет назад от задачи машинного перевода, а сейчас плавно перекочевала на множество других задач (не только из NLP, но и из CV — касалась этого в обзорах главного за 2022 год).
Так вот — пока «рылась» (и роюсь ещё), наткнулась на серию статей [1], [2], [3], посвященных построению интерпретируемой системы детекции сексизма.
Вопреки ожидаемому — рассмотрению механизмов внимания модели, визуализации голов или слоёв, обнаружила иной подход к интерпретируемости — детализация основной задачи на subtasks, с целью повысить контроль над предсказанием.
Что делают:
Берут основную задачу (детекция сексизма) и детализируют её на
1. Бинарную задачу — сексистский пост или нет;
2. Задачу категоризации сексизма на на 1 из 4 классов— угроза, унижение, враждебность или предвзятое убеждение;
3. Задачу выделения подкатегории для одного из 4х классов.
Хотя такой подход не заглядывает напрямую внутрь black box модели, он кажется мне простым и легко широко применимым на практике. Так что, как идея обеспечения контроля над моделью, детализация задачи — то, что можно «мотнуть на ус».
Ещё в ходе написания конспект лекции Игоря Котенкова про трансформеры и постараюсь в ближнем времени собрать библиотеки для интерпретации трансформеров в одну кучу.
Блог живет и будет жить,
Ваш дата-автор =)
❤8🔥2
Привет, друзья!
В это воскресенье выступаю на секции Reliable (надежный) ML с докладом на тему "Explainable AI: что, как и зачем?" в рамках DataFest2023
В докладе:
- Почему XAI востребован сейчас и будет востребован еще долгое время
- Как исследователи классифицируют XAI
- С помощью каких инструментов можно внедрить XAI в работу
- Какие существуют подходы к построению метрик для оценки качества интерпретаций
и в конце также приведу анализ применимости оценки активаций сети в задаче мультиклассовой классификации 🐥
Начало работы секции: 11:00
Мой доклад: 11:45
Как стать слушателем: https://t.iss.one/reliable_ml
Присоединяйтесь!
Будет и запись!)
В это воскресенье выступаю на секции Reliable (надежный) ML с докладом на тему "Explainable AI: что, как и зачем?" в рамках DataFest2023
В докладе:
- Почему XAI востребован сейчас и будет востребован еще долгое время
- Как исследователи классифицируют XAI
- С помощью каких инструментов можно внедрить XAI в работу
- Какие существуют подходы к построению метрик для оценки качества интерпретаций
и в конце также приведу анализ применимости оценки активаций сети в задаче мультиклассовой классификации 🐥
Начало работы секции: 11:00
Мой доклад: 11:45
Как стать слушателем: https://t.iss.one/reliable_ml
Присоединяйтесь!
Будет и запись!)
Telegram
Reliable ML
Reliable ML - фреймворк о том, как управлять внедрением и развитием аналитики и data science/machine learning/AI, чтобы результат был применим в бизнес-процессах и приносил компании финансовую пользу.
Admin: @irina_goloshchapova @promsoft
Admin: @irina_goloshchapova @promsoft
❤8🔥2
Интерпретируемый ИИ. ЧЗК-2.pdf
3.7 MB
Всем как всегда доброго!
Мысли дошли наконец-то закинуть pdf презентации.
Кажется, в воскресенье снова стала самым счатливым пирожком, успев не только выступить, но и комадно поучаствовать в Хакатоне по составлению ML-system design doc.
В остальном же я временно отъехала в получение зачетов и мирские будни =) Но не совсем — трансформерский конспект лекции постепенно оформляю.
Да. Всем наличия work-life balance в этой жизни!
Ваши Дата-автор и презентация во вложении.
Мысли дошли наконец-то закинуть pdf презентации.
Кажется, в воскресенье снова стала самым счатливым пирожком, успев не только выступить, но и комадно поучаствовать в Хакатоне по составлению ML-system design doc.
В остальном же я временно отъехала в получение зачетов и мирские будни =) Но не совсем — трансформерский конспект лекции постепенно оформляю.
Да. Всем наличия work-life balance в этой жизни!
Ваши Дата-автор и презентация во вложении.
🔥10❤1
Привет, друзья-товарищи!)
За моей спиной 40 билетов по геометрии, и я обещала — я сделала — конспект лекции Игоря Котенкова: Transformer, explained in detail.
Для вас, если:
1. Вам интересна архитектура трансформера и хочется понять, как он работает
2. Вы хотите освежить знания по архитектуре в быстром темпе
3. Вы просто любите читать конспекты
Ждёт здесь: старательно написан =)
Важно: если встретите опечатки — всегда пишите! К сожалению, я человек и могла их допустить и не увидеть от замылившегося взгляда.
Как всегда ваш,
Дата-автор 🐥
За моей спиной 40 билетов по геометрии, и я обещала — я сделала — конспект лекции Игоря Котенкова: Transformer, explained in detail.
Для вас, если:
1. Вам интересна архитектура трансформера и хочется понять, как он работает
2. Вы хотите освежить знания по архитектуре в быстром темпе
3. Вы просто любите читать конспекты
Ждёт здесь: старательно написан =)
Важно: если встретите опечатки — всегда пишите! К сожалению, я человек и могла их допустить и не увидеть от замылившегося взгляда.
Как всегда ваш,
Дата-автор 🐥
YouTube
Transformer, explained in detail | Igor Kotenkov | NLP Lecture (in Russian)
Ссылка на презентацию: https://1drv.ms/p/s!AlnN0aqNwShslRdcd7-WsY9oUm50
Мой телеграм канал: https://t.iss.one/seeallochnaya
Список всех моих образовательных материалов, статей, лекций итд: https://t.iss.one/seeallochnaya/3
В этой вводной лекции о трансформерах мы…
Мой телеграм канал: https://t.iss.one/seeallochnaya
Список всех моих образовательных материалов, статей, лекций итд: https://t.iss.one/seeallochnaya/3
В этой вводной лекции о трансформерах мы…
❤9🔥3
Привет, друзья!
Убираюсь тут на своем гугл диске (и это хуже, чем убираться в шкафу) и делюсь интересной заметкой:
Книга Interpretable Machine Learning — A Guide for Making Black Box Models Explainable
Christoph Molnar.
Очень рекомендую тем, кто хочет ответить для себя на вопрос "Что такое интерпретируемый ИИ?", а также тем, кто хочет в начальном приближении разобрать имеющиеся типы методов интерпретаций.
Надеюсь, ваше лето началось отлично (даже несмотря на рабочее время — лето — это всегда круто!😉)
Ваш всё-ещё-на-сессии,
Дата-автор
Убираюсь тут на своем гугл диске (и это хуже, чем убираться в шкафу) и делюсь интересной заметкой:
Книга Interpretable Machine Learning — A Guide for Making Black Box Models Explainable
Christoph Molnar.
Очень рекомендую тем, кто хочет ответить для себя на вопрос "Что такое интерпретируемый ИИ?", а также тем, кто хочет в начальном приближении разобрать имеющиеся типы методов интерпретаций.
Надеюсь, ваше лето началось отлично (даже несмотря на рабочее время — лето — это всегда круто!😉)
Ваш всё-ещё-на-сессии,
Дата-автор
christophm.github.io
Interpretable Machine Learning
🔥6😁2👍1
Привет, друзья! Сегодня включение ещё более спонтанное:
я взяла грант на проекте "УМНИК"!
Предыстория:
зимой мой научный руководитель предложил мне разработать идею и выступить с ней, ради практики выступлений. Как видите, вышло аж вот так)
Мы ждали результатов полгода, долгое время ходили слухи, и вот дождались!
Впервые получаю грант на свой проект (конечно же ИИ-шный). По предупреждению научника в этой истории стоит заранее запастись любовью к бумажкам, отчетам, печатям, документам и подписям.
Так вот к чему делюсь — леплю опрос ниже!
Сегодня в шоке,
Ваш дата-автор!
я взяла грант на проекте "УМНИК"!
Предыстория:
зимой мой научный руководитель предложил мне разработать идею и выступить с ней, ради практики выступлений. Как видите, вышло аж вот так)
Мы ждали результатов полгода, долгое время ходили слухи, и вот дождались!
Впервые получаю грант на свой проект (конечно же ИИ-шный). По предупреждению научника в этой истории стоит заранее запастись любовью к бумажкам, отчетам, печатям, документам и подписям.
Так вот к чему делюсь — леплю опрос ниже!
Сегодня в шоке,
Ваш дата-автор!
🔥14
Нужно ли рассказывать о том, что там за отрезок жизни начинается после гранта?
Anonymous Poll
86%
Да, интересно
3%
Не актуально
11%
Энивей прочитаю