📌 Анонс семинара Лаборатории 11 декабря (10.50 в 4105):

🗒 Детоксикация русскоязычных текстов на основе комбинации контролируемой генерации с использованием предварительно обученного ruGPT3 и Delete-метода

В докладе будет рассказано про решение, полученное на конкурсе автоматической детоксикации текста на русском языке RUSSE Detoxification 2022. Соревнование проводилось в рамках конференции Dialog 2022. Рассматриваемый подход заключается в фильтрации предоставленного организаторами соревнования набора обучающих данных, переподготовке предварительно обученной модели ruGPT3 и отборе примеров детоксифицированных (нейтральных) предложений. Алгоритм сделан на основе косинусной близости и ROUGE-L к входному токсичному предложению и их последующей обработкой с использованием библиотеки ruPrompts для ruGPT-3. Заключительный этап обработки сгенерированных нейтральных комментариев проводится с использованием метода Delete — неконтролируемой модели детоксикации, основанной на правилах, которая удаляет все оставшиеся грубые и отсутствующие слова, хранящиеся в словаре, предоставленном организаторами.

Докладчица: Екатерина Тотмина

🗒 Исследование и разработка нейросетевого алгоритма синтеза ЭЭГ-сигнала

ЭЭГ сигнал широко используется в задачах предсказывания различных заболеваний, например эпилепсии или депрессии. Однако получение чистых ЭЭГ сигналов зачастую бывает проблематичным ввиду дорогостоящего оборудования, а также имеется дефицит данных непосредственно предприступных состояний (если речь идет о предсказывании эпилепсии). Поэтому многие проблемы могли бы решиться, если бы мы могли генерировать похожие, медицински-верные ЭЭГ сигналы, дополняя уже имеющиеся данные. На эту тему существуют статьи, в которых исследователи используют для этих целей генеративно-состязательные нейронные сети. Докладчик же решил попробовать использовать аудио диффузионную модель ввиду сходства ЭЭГ сигнала с аудио сигналом. В докладе будет рассказано о предобработке данных для последующего обучения и генерации ЭЭГ сигнала с помощью аудио диффузионной модели.

Докладчик: Артем Шмаков

📌Анонс семинара Магистратуры 15 декабря (14.30 в 5234):

🗒Статья для разбора:
Lundberg, Scott M., and Su-In Lee. “A unified approach to interpreting model predictions.” Advances in Neural Information Processing Systems (2017)

Докладчик 1: Коробов Александр
Докладчик 2: Аношин Сергей

Гость: Владимир Борисович Бериков
доктор технических наук, главный научный сотрудник лаборатории анализа данных Института математики СО РАН

Тема: "Обучение со слабой разметкой"

Ссылка для подключения к трансляции.
Идентификатор конференции: 830 3569 8413
Код доступа: 258209

📌 Анонс семинара Лаборатории 18 декабря (10.50 в 4105):

🗒 Платон, припоминание и сильный искусственный интеллект: алгоритм создания мультимодального диалогового агента общего назначения

Докладчик: Иван Бондаренко

🗒 Оценка времени готовки блюда в Я.Еда

Задача оценки времени готовки еды является одной из важнейших в любом сервисе доставки еды. Решение данной проблемы является достаточно сложным по причине многочисленных факторов: тип блюда (первое, второе, ...), класс ресторана (фаст-фуд, премиум, ...), время заказа пользователя (час пик/выходной) и количество порций. Все факторы, кроме первого, довольно просто описать и использовать в любой модели, но вот передать произвольной модели информацию о блюде довольно сложно. Более того, сложность задаче добавляет требование на ограничение работы модели в рантайме с предельно быстрым инференсом. В своем докладе Влад расскажет как поставленная задача решается в команде Я.Еда.

Докладчик: Владислав Калинин

🗒 Применение предиктивной аналитики для оптимизации работы роторных частей авиационных двигателей

Предиктивная аналитика использует методы машинного обучения для предсказания будущих событий на основе прошлых данных. В данной работе акцент делается на возможности её применения к промышленным данным, а если быть точнее, к данным роторных частей авиационного двигателя. В области авиастроения необходимо заранее знать о возможных неисправностях, а также важна информация об остаточном ресурсе двигателя. Именно с задачами локализации дефектов и оценки остаточного ресурса предлагает ознакомиться в этом докладе.

Докладчик: Илья Кульбаченко

📌Анонс семинара Магистратуры 22 декабря (14.30 в 5234):

🗒Статья для разбора:
Mikhail Belkin, et al Reconciling modern machine-learning practice and the classical bias–variance trade-off (2018)

Докладчик 1: Перминов Павел
Докладчик 2: Тарасенко Александр

Гость: Дмитрий Бугайченко
эксперт в области больших данных и машинного обучения, управляющий директор по аналитике данных направления B2C Сбера.

Тема: Петля обратной связи и другие эффекты при внедрении рекомендательных систем

Ссылка для подключения к трансляции.
Идентификатор конференции: 830 3569 8413
Код доступа: 258209

📌Анонс семинара Магистратуры 14 февраля (18.10 в 5234):

🗒Статья для разбора:
LeCun, Y., Bottou, L., Orr, G. B., & Müller, K. R. (2002). Efficient backprop. In Neural networks: Tricks of the trade (pp. 9-50). Berlin, Heidelberg: Springer Berlin Heidelberg.

Докладчик 1: Владислав Калинин
Докладчик 2: Артём Болдинов

Гость: Иван Шмаков
руководитель департамента по машинному обучению в ЦФТ

Тема: Efficient Backprop двадцать пять лет спустя

Ссылка для подключения к трансляции.
Идентификатор конференции: 830 3569 8413
Код доступа: 258209

📌 Анонс семинара Лаборатории 12 февраля (10.50 в 5222):

🗒 Про Neural Operator и ML in physics в целом

В своем докладе Данил расскажет о применении методов машинного обучения к решению физических задач. В частности, о набирающем популярность подходе Neural Operator. Это data-driven подход, в основе которого лежит аппроксимация оператора решения PDE. В отличие от нейронных сетей, которые аппроксимируют решение на фиксированной сетке, neural operator строит отображение между бесконечномерными пространствами и инвариантен к дискретизации. Благодаря этому свойству, подходы на основе NO могут стать хорошим инструментом для суррогатного моделирования и ускорения численных расчетов.

Докладчик: Сахаров Данил

📌 Анонс семинара Лаборатории 19 февраля (10.50 в 5222):

🗒 Подбор условий синтеза металл-органических координационных полимеров: от химической интуиции к анализу данных

Металл-органические координационные полимеры (МОКП) — это класс соединений, за счет своей регулярной и пористой структуры выделяющийся количеством своих областей применения: люминесценция, катализ, адсорбция и т.д. Направленный поиск условий синтеза МОКП с определёнными структурными блоками (металлокластерами) - задача, которая в настоящее время не имеет решения. Синтезы очень разных МОКП могут протекать в очень похожих условиях, поэтому даже опытные специалисты с трудом могут ограничить пространство поиска условий синтеза МОКП с определённым металлокластером. В своем докладе Лев продемонстрирует, как он пытался получить количественную оценку условий синтеза МОКП с кластерами Zn4O с помощью методов классического машинного обучения.

Докладчик: Лев Жуков

🗒 Деформируемая регистрация аневризмов брюшной аорты

Аневризма брюшной аорты — опасное патологическое расширение брюшной аорты, требующее регулярного медицинского наблюдения. В настоящее время в клинической практике используются только визуальные оценки скорости роста и методы, основанные на оценке изменения максимального диаметра аневризмы. В своем докладе Иван расскажет об использовании нейросетевого подхода к регистрации аневризмы. В основе такого подхода лежит поиск отображения между двумя изображениями компьютерной томографии. Особо важным является получение физически обоснованного отображения. Для этого предлагается введение дополнительного функционала в функцию потерь, который учитывает слабое изменение формы кальцинатов в области брюшной аорты со временем. Помимо этого, планируется ввести функционал, учитывающий динамику нелинейно упругой среды. Таким образом, ожидается, что использование такого подхода позволит внедрить нейросетевые алгоритмы для регистрации аневризмов брюшной аорты.

Докладчик: Иван Калачев

📌Анонс семинара Магистратуры 21 февраля (18.10 в 5234):

🗒Статья для разбора:
Xavier Glorot, and Yoshua Bengio, Understanding the difficulty of training deep feedforward neural networks. In Proceedings of the 13th International Conference on Artificial Intelligence and Statistics (AISTATS), vol. 9 of JMLR, 2010, pp. 249-256

Докладчик 1 Артеменко Никита
Докладчик 2 Максаковский Никита

Ссылка для подключения к трансляции.
Идентификатор конференции: 830 3569 8413
Код доступа: 258209

📌 Анонс семинара Лаборатории 26 февраля (10.50 в 5222):

🗒 Иерархическая классификация текстов при помощи BERT

Универсальная Десятичная Классификация (УДК) — система классификации информации, используемая во всём мире для систематизации произведений науки, литературы и искусства, периодической печати, различных видов документов и организации картотек. В своём докладе Данил расскажет о своей работе по предсказанию УДК для научных статей. Будет рассмотрена задача иерархической классификации текстов, представлены подходы к иерархической классификации и освещены особенности метрик для данной задачи.

Докладчик: Данил Ковалевский

📌Анонс семинара Магистратуры 28 февраля (18.10 в 5234):

🗒Статья для разбора:
S. Ioffe, and C. Szegedy, Batch normalization: Accelerating deep network training by reducing internal covariate shift, in Proceedings of the 32nd International Conference on International Conference on Machine Learning ICML’15, vol. 37. JMLR.org, 2015, pp. 448–456

Докладчик 1 Бусов Игорь
Докладчик 2 Перминов Павел

Гость: Павловский Евгений
Заведующий Лабораторией аналитики потоковых данных и машинного обучения

Тема доклада: Ненормальность - это нормально в нашей науке? О некоторых прорывных идеях в машинном обучении

Ссылка для подключения к трансляции.
Идентификатор конференции: 830 3569 8413
Код доступа: 258209

📌 Анонс семинара Лаборатории 4 марта (10.50 в 5222):

🗒 «Словно вы называетесь не вы», или чему же на самом деле обучаются LLM?

В данной работе проводится сравнение предварительного обучения трансформера на текстах естественного языка и на предложениях синтетического псевдоязыка. Искусственные тексты были автоматически сгенерированы по правилам, написанными в контекстно-свободной грамматике. Результаты дообучения на выполнение заданий проекта RussianSuperGLUE статистически достоверно показали, что модели имеют одинаковые оценки, т.е. можно считать, что использование искусственных данных дает преимущество для «безопасности» искусственного интеллекта за счет возможности полностью контролировать состав выборки. Также можно говорить о том, что на этапе предобучения модели типа RoBERTa достаточно научиться распознавать только синтаксические и морфологические закономерности языка, которые могут быть успешно созданы довольно таким простым способом, как контекстно-свободная грамматика.

Докладчик: Иван Бондаренко

🗒 Задача определения типов полей в браузере

Одна из возможностей, доступных в браузере, — автозаполнение. Этот инструмент значительно облегчает задачу заполнения форм регистрации и личных данных, позволяя сделать это всего за несколько секунд. Первоначальная проблема, с которой сталкивается браузер, заключается в идентификации данных, которые должны быть вставлены в соответствующие поля. В своем докладе Артем расскажет о текущих подходах к решению этой задачи и о том, как он планирует улучшить процесс с помощью технологий машинного обучения.

Докладчик: Артем Тарасов

📌Анонс семинара Магистратуры 06 марта (18.10 в 5234):

🗒Статья для разбора:
Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep Residual Learning for Image Recognition, in Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2016, pp. 770–778

Докладчик 1 Сахаров Данил
Докладчик 2 Тютюльников Михаил

Гость: Колодезев Дмитрий
Основатель сибирского филиала ODS сообщества
Директор компании Promsoft

Тема доклада: Про ResNet

Ссылка для подключения к трансляции.
Идентификатор конференции: 830 3569 8413
Код доступа: 258209

📌 Анонс семинара Лаборатории 11 марта (10.50 в 5222):

🗒 Простыми словами о сложных текстах

Сложность текста, его читабельность и предполагаемый возраст читателя — величины, не имеющие строгого определения, но весьма востребованные с прикладной точки зрения. Использовать для их вычисления экспертов или, тем более, проводить для каждого текста лингвистический эксперимент — очень долго и дорого. Первые попытки автоматизировать оценку возникли на самых ранних этапах развития вычислительной лингвистики. За прошедшие с тех пор 75 лет эти алгоритмы значительно развились, повысилось и качество оценки. В своём докладе Дмитрий расскажет про связь между формированием признакового описания и качеством работы модели на материале русского языка.

Докладчик: Дмитрий Морозов

🗒 Участие в Telegram ML Competition: опыт и рекомендации

В рамках предстоящего доклада Константин поделится своим опытом участия в Telegram ML Competition, нацеленного на разработку библиотеки для классификации языков программирования и разметки в кодовых фрагментах, встречающихся в тексте сообщений. В ходе выступления будет представлен обзор разработанного решения, основанного на классических методах обработки текста, а также рассмотрены работы других участников, занявших призовые места. Помимо этого, докладчик представит общие рекомендации для успешного участия в соревнованиях, организованных командой Telegram.

Докладчик: Константин Москаленко

📌Анонс семинара Магистратуры 13 марта (18.10 в 5234):

🗒Статья для разбора:
G. Klambauer, T. Unterthiner, A. Mayr, and S. Hochreiter, Self-normalizing neural networks, in Proceedings of the 31st International Conference on Neural Information Processing Systems, NIPS’17. Curran Associates, Inc., 2017, pp. 972–981

Докладчик 1 Травников Владислав
Докладчик 2 Ипполитов Макар

Гость: Влад Голощапов
независимый исследователь, эксперт в области глубоких нейронных сетей, ведущий телеграм-канала "Свидетели градиента"

Тема выступления: Как учить нейросети глубиной 100 слоёв и больше (если вам вдруг понадобится больше) без скипконнекшенов и не дать градиенту затухнуть

Ссылка для подключения к трансляции.
Идентификатор конференции: 830 3569 8413
Код доступа: 258209

📌 Анонс семинара Лаборатории 18 марта (10.50 в 5222):

🗒 Расчет объемов поглощения технологических составов глушения нефтяных скважин на основе машинного обучения

Некоторые участки нефтегазовых месторождений сложены карбонатными и терригенными трещиновато-пористыми коллекторами и характеризуется высоким газовым фактором, наличием сероводорода и аномально низким пластовым давлением (АНПД). Глушения в таких условиях осложняются большим расходом технологических составов вследствие их поглощения в пласт в горизонтальных окончаниях, что провоцирует газопроявление. В связи с этим расчет достаточного объема состава глушения для проведения операций с высоким газовым фактором в условиях АНПД является актуальной задачей, которая, наряду с технологической и экономической эффективностью, должна повысить безопасность проведения ремонтных работ на скважинах.

Докладчик: Антон Кожухов

📌Анонс семинара Магистратуры 20 марта (18.10 в 5234):

🗒Статья для разбора:
B. Neal, S. Mittal, A. Baratin, V. Tantia, M. Scicluna, S. Lacoste-Julien, and I. Mitliagkas, A modern take on the bias-variance tradeoff in neural networks, in ICML 2019 Workshop on Identifying and Understanding Deep Learning Phenomena, 2019

Докладчик 1 Носорев Константин
Докладчик 2 Гарипов Тимур

Гость: Андрей Глинский
сотрудник лаборатории нейронных систем и глубинного обучения МФТИ, старший разработчик проекта DeepPavlov

Тема: Эволюция способности нейросетей к генерализации на примере NLP

Ссылка для подключения к трансляции.
Идентификатор конференции: 830 3569 8413
Код доступа: 258209

📌 Анонс семинара Лаборатории 25 марта (10.50 в 5222):

🗒 Байесовские нейронные сети

Байесовские нейронные сети (БНС) являются мощным инструментом для моделирования неопределенности принятия решений на основе вероятностных предположений. В отличие от классических нейронных сетей, которые оперируют только с точечными оценками, БНС моделируют распределения параметров, что позволяет учитывать различные возможности исходов, а также степень уверенности в предсказаниях модели, что помогает снизить риски при принятии решений. В данном докладе будут рассмотрены элементы теории БНС, такие как, например, вариационный байесовский вывод и локальная репараметризация при обучении БНС.

Докладчик: Кирилл Яшунин

🗒 Разработка метода автоматической детекции колосков на изображениях колоса пшеницы

В своем докладе Игорь расскажет о разработке точного и эффективного метода для автоматического обнаружения и подсчета колосков пшеницы на изображениях. В рамках данного исследования было рассмотрено несколько подходов к решению поставленной задачи: использование YOLO; U-Net, обученного на бинарных масках с использованием бинарной кросс-энтропии; а также U-Net, обученного на масках с нормальным распределением с применением дивергенции Кульбака-Лейблера в качестве функции потерь. Гиперпараметры моделей подбирались с использованием Байесовской оптимизации (Гауссовских процессов). Для оценки качества моделей использовались пространственные метрики (precision, recall, f1) и количественные метрики (MAE, MSE).

Докладчик: Игорь Бусов

📌Анонс семинара Магистратуры 27 марта (18.10 в 5234):

🗒Статья для разбора:
K. Xu, J. Ba, R. Kiros, K. Cho, A.C. Courville, R. Salakhutdinov, R.S. Zemel, and Y. Bengio, Show, Attend and Tell: Neural Image Caption Generation with Visual Attention, in Proceedings of the 32nd International Conference on Machine Learning, ICML’15

Докладчик 1 Калачев Иван
Докладчик 2 Жумагулова Ирина

Гость: Валентин Малых
Ведущий специалист NLP в России, автор учебного курса "Natural Language Processing" на ODS, научный сотрудник "МТС ИИ" (ранее работал в лаборатории "Ноев ковчег" Huawei, в исследовательской команде VK, в лаборатории нейронных систем и глубинного обучения МФТИ над проектом DeepPavlov)

Тема:
Эволюция механизма внимания в нейронных сетях

Ссылка для подключения к трансляции.
Идентификатор конференции: 830 3569 8413
Код доступа: 258209

📌Анонс семинара Магистратуры 3 апреля (18.10 в 5234):

🗒Статья для разбора:
K. Clark, U. Khandelwal, O. Levy, and C.D. Manning, What Does BERT Look at? An Analysis of BERT’s Attention, in the 2019 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, 2019

Докладчик 1 Жумагулова Ирина
Докладчик 2 Петоян Андраник

Гость: Ирина Пионтковская
руководитель отдела NLP в лаборатории "Ноева ковчега" Российского исследовательского института Huawei

Тема:
Что спрятано в hidden states предобученных моделей? Обзор некоторых задач, для решения которых полезно анализировать внутренние состояния нейросети

Ссылка для подключения к трансляции.
Идентификатор конференции: 830 3569 8413
Код доступа: 258209

📌 Анонс семинара Лаборатории 8 апреля (10.50 в 5222):

🗒 Иерархический подход в анализе и обучении text2img моделей

В настоящее время text2img модели для генерации изображений имеют большую популярность во всем мире и применяются в самых различных областях. Однако до конца не изучен вопрос понимания модели запросов (промтов). Часто даже самые лучшие на данный момент генеративные модели могут выдавать некорректные ответы и для нужного результата людям часто приходится конкретизировать промпт, что вызывает неудобства и трудности в эксплуатации моделей. Решением проблемы может стать иерархический подход в анализе и обучении генеративных моделей. Данный подход поможет более подробно изучить работу существующих text2img моделей и обучить их генерировать разнообразные и точные изображения для простых промптов. В данном докладе будут представлены результаты иерархического анализа существующих text2img моделей, таких как Шедеврум, Кадинский, DALLE-3, Stable Diffusion v21 и Midjourney. Более того, будут продемонстрированы первые результаты иерархического обучения генерации изображний моделью Stable Diffusion v21.

Докладчик: Влад Калинин

📌Анонс семинара Магистратуры 10 апреля (18.10 в 5234):

🗒Статья для разбора:
Y. Tay, M. Dehghani, V.Q. Tran, X. García, J. Wei, X. Wang, H.W. Chung, D. Bahri, T. Schuster, H.S. Zheng, D. Zhou, N. Houlsby, and D. Metzler, UL2: Unifying Language Learning Paradigms, in Proceedings of the Tenth International Conference on Learning Representations, 2022

Докладчик 1 Петоян Андраник
Докладчик 2 Тарасенко Александр

Гость: Иван Бондаренко
научный сотрудник лаборатории прикладных цифровых технологий, старший преподаватель кафедры фундаментальной и прикладной лингвистики и кафедры применения математических методов в экономике и планировании НГУ. Ранее работал специалистом по анализу данных в компании 2ГИС, архитектором решений в компании Data Monsters, техлидом команды AutoML для больших данных в компании Huawei, научным сотрудником в МФТИ, преподавателем в ДонНТУ.

Тема:
Уточняется

Ссылка для подключения к трансляции.
Идентификатор конференции: 830 3569 8413
Код доступа: 258209