📌Анонс семинара Лаборатории 27 ноября (10.50 в 4105):

🗒 Устойчивость свёрточного алгоритма генерации морфемных разборов к сдвигу данных

Определение морфемного состава слова – проблема, особенно актуальная при обучении русскому языку. Автоматическое построение морфемных разборов осложняется отсутствием согласия среди лингвистов в отдельных случаях. В то же время за последние годы опубликовано несколько работ, авторы которых используют различные методы машинного обучения для решения этой задачи в различных приложениях. В одной из таких работ была предложена архитектура на основе свёрточных нейронных сетей. Предложенный алгоритм показал достаточно высокое качество, из-за чего он часто использовался в последующих исследованиях как бейзлайн высокого уровня. В этой работе мы исследовали устойчивость данного алгоритма к сдвигу и нехватке данных и обнаружили, что качество алгоритма во многом зависит от совпадения морфемного состава обучающей и тестовой выборок.

Докладчик: Тимур Гарипов

🗒 Генеративные модели для оптимизации кристаллических структур

Доклад посвящен исследованию применения генеративных моделей в задаче оптимизации кристаллических структур в материаловедении. В работе рассматривается использование глубоких нейронных сетей для предсказания и улучшения структурных характеристик кристаллов, а также подходы к формированию набора данных и использованию функции потерь.

Докладчик: Михаил Тютюльников

📌Анонс семинара Магистратуры 01 декабря (14.30 в 5234):

🗒Статья для разбора:

Crammer, Koby, Ofer Dekel, Joseph Keshet, Shai Shalev-Shwartz and Yoram Singer. “Online Passive-Aggressive Algorithms.” J. Mach. Learn. Res. 7 (2003): 551-585

Докладчик 1: Петоян Андраник
Докладчик 2: Ковалевский Данил

Гость: Андрей Гетманов
Сотрудник лаборатории автоматического машинного обучения ИТМО, руководитель студенческого клуба ITMO.Opensource, один из основных контрибьюторов https://github.com/aimclub/FEDOT

Тема: Открыть нельзя закрыть: ИИ + open source

Ссылка для подключения к трансляции.
Идентификатор конференции: 830 3569 8413
Код доступа: 258209

📌 Анонс семинара Лаборатории 4 декабря (10.50 в 4105):

🗒 Обучение модели WaveNet решению задачи синтеза звука, параметризованной частотой основного тона и огибающей амплитуды

Задача генерации звука заданного тембра по последовательности управляющих параметров (например, MIDI поток) является одной из основных задач при создании программного обеспечения для создания музыки. Классические методы синтеза звука, иммитирующего существующие музыкальные инструменты, требуют либо сложных алгоритмов, либо объемную библиотеку сэмплов. Методы глубокого обучения способны предоставить решение задачи без указанных недостатков. Современные модели, синтезирующие звук обучены таким образом, чтобы максимально близко иммитированть тембр инструмента. К сожалению, точность передачи тона из-за этого страдает, а это не позволяет строить полифонические синтезаторы на основе ANN. В данной работе исследуется способы обучения модели на основе WaveNet для точной передачи тона тембрально простых звуков.

Докладчик: Олег Жуков

🗒 Затухание градиентов

Антон предлагает обсудить проблему затухания градиентов, рассмотреть методы ее преодоления и их влияние на результат. В докладе будет проведено сравнение подходов, анализ их воздействия на распределение градиентов, обсуждение недостатков популярных методов и значимость проблемы для различных архитектур. Основано на выступлении Влада Голощапова с датафеста.

Докладчик: Антон Легченко

📌Анонс семинара Магистратуры 08 декабря (14.30 в 5234):

🗒Статья для разбора:

Ribeiro, Marco Tulio, Sameer Singh, and Carlos Guestrin. “Why should I trust you?: Explaining the predictions of any classifier.” Proceedings of the 22nd ACM SIGKDD international conference on knowledge discovery and data mining. ACM (2016)

Докладчик 1: Муратов Владислав
Докладчик 2: Калачев Иван

Гость: Елена Бручес
Ведущий инженер, Huawei
Младший научный сотрудник, ИСИ СО РАН
Старший преподаватель, НГУ

Тема: Интерпретируемость и прозрачность машинного обучения: мой опыт

Ссылка для подключения к трансляции.
Идентификатор конференции: 830 3569 8413
Код доступа: 258209

📌 Анонс семинара Лаборатории 11 декабря (10.50 в 4105):

🗒 Детоксикация русскоязычных текстов на основе комбинации контролируемой генерации с использованием предварительно обученного ruGPT3 и Delete-метода

В докладе будет рассказано про решение, полученное на конкурсе автоматической детоксикации текста на русском языке RUSSE Detoxification 2022. Соревнование проводилось в рамках конференции Dialog 2022. Рассматриваемый подход заключается в фильтрации предоставленного организаторами соревнования набора обучающих данных, переподготовке предварительно обученной модели ruGPT3 и отборе примеров детоксифицированных (нейтральных) предложений. Алгоритм сделан на основе косинусной близости и ROUGE-L к входному токсичному предложению и их последующей обработкой с использованием библиотеки ruPrompts для ruGPT-3. Заключительный этап обработки сгенерированных нейтральных комментариев проводится с использованием метода Delete — неконтролируемой модели детоксикации, основанной на правилах, которая удаляет все оставшиеся грубые и отсутствующие слова, хранящиеся в словаре, предоставленном организаторами.

Докладчица: Екатерина Тотмина

🗒 Исследование и разработка нейросетевого алгоритма синтеза ЭЭГ-сигнала

ЭЭГ сигнал широко используется в задачах предсказывания различных заболеваний, например эпилепсии или депрессии. Однако получение чистых ЭЭГ сигналов зачастую бывает проблематичным ввиду дорогостоящего оборудования, а также имеется дефицит данных непосредственно предприступных состояний (если речь идет о предсказывании эпилепсии). Поэтому многие проблемы могли бы решиться, если бы мы могли генерировать похожие, медицински-верные ЭЭГ сигналы, дополняя уже имеющиеся данные. На эту тему существуют статьи, в которых исследователи используют для этих целей генеративно-состязательные нейронные сети. Докладчик же решил попробовать использовать аудио диффузионную модель ввиду сходства ЭЭГ сигнала с аудио сигналом. В докладе будет рассказано о предобработке данных для последующего обучения и генерации ЭЭГ сигнала с помощью аудио диффузионной модели.

Докладчик: Артем Шмаков

📌Анонс семинара Магистратуры 15 декабря (14.30 в 5234):

🗒Статья для разбора:
Lundberg, Scott M., and Su-In Lee. “A unified approach to interpreting model predictions.” Advances in Neural Information Processing Systems (2017)

Докладчик 1: Коробов Александр
Докладчик 2: Аношин Сергей

Гость: Владимир Борисович Бериков
доктор технических наук, главный научный сотрудник лаборатории анализа данных Института математики СО РАН

Тема: "Обучение со слабой разметкой"

Ссылка для подключения к трансляции.
Идентификатор конференции: 830 3569 8413
Код доступа: 258209

📌 Анонс семинара Лаборатории 18 декабря (10.50 в 4105):

🗒 Платон, припоминание и сильный искусственный интеллект: алгоритм создания мультимодального диалогового агента общего назначения

Докладчик: Иван Бондаренко

🗒 Оценка времени готовки блюда в Я.Еда

Задача оценки времени готовки еды является одной из важнейших в любом сервисе доставки еды. Решение данной проблемы является достаточно сложным по причине многочисленных факторов: тип блюда (первое, второе, ...), класс ресторана (фаст-фуд, премиум, ...), время заказа пользователя (час пик/выходной) и количество порций. Все факторы, кроме первого, довольно просто описать и использовать в любой модели, но вот передать произвольной модели информацию о блюде довольно сложно. Более того, сложность задаче добавляет требование на ограничение работы модели в рантайме с предельно быстрым инференсом. В своем докладе Влад расскажет как поставленная задача решается в команде Я.Еда.

Докладчик: Владислав Калинин

🗒 Применение предиктивной аналитики для оптимизации работы роторных частей авиационных двигателей

Предиктивная аналитика использует методы машинного обучения для предсказания будущих событий на основе прошлых данных. В данной работе акцент делается на возможности её применения к промышленным данным, а если быть точнее, к данным роторных частей авиационного двигателя. В области авиастроения необходимо заранее знать о возможных неисправностях, а также важна информация об остаточном ресурсе двигателя. Именно с задачами локализации дефектов и оценки остаточного ресурса предлагает ознакомиться в этом докладе.

Докладчик: Илья Кульбаченко

📌Анонс семинара Магистратуры 22 декабря (14.30 в 5234):

🗒Статья для разбора:
Mikhail Belkin, et al Reconciling modern machine-learning practice and the classical bias–variance trade-off (2018)

Докладчик 1: Перминов Павел
Докладчик 2: Тарасенко Александр

Гость: Дмитрий Бугайченко
эксперт в области больших данных и машинного обучения, управляющий директор по аналитике данных направления B2C Сбера.

Тема: Петля обратной связи и другие эффекты при внедрении рекомендательных систем

Ссылка для подключения к трансляции.
Идентификатор конференции: 830 3569 8413
Код доступа: 258209

📌Анонс семинара Магистратуры 14 февраля (18.10 в 5234):

🗒Статья для разбора:
LeCun, Y., Bottou, L., Orr, G. B., & Müller, K. R. (2002). Efficient backprop. In Neural networks: Tricks of the trade (pp. 9-50). Berlin, Heidelberg: Springer Berlin Heidelberg.

Докладчик 1: Владислав Калинин
Докладчик 2: Артём Болдинов

Гость: Иван Шмаков
руководитель департамента по машинному обучению в ЦФТ

Тема: Efficient Backprop двадцать пять лет спустя

Ссылка для подключения к трансляции.
Идентификатор конференции: 830 3569 8413
Код доступа: 258209

📌 Анонс семинара Лаборатории 12 февраля (10.50 в 5222):

🗒 Про Neural Operator и ML in physics в целом

В своем докладе Данил расскажет о применении методов машинного обучения к решению физических задач. В частности, о набирающем популярность подходе Neural Operator. Это data-driven подход, в основе которого лежит аппроксимация оператора решения PDE. В отличие от нейронных сетей, которые аппроксимируют решение на фиксированной сетке, neural operator строит отображение между бесконечномерными пространствами и инвариантен к дискретизации. Благодаря этому свойству, подходы на основе NO могут стать хорошим инструментом для суррогатного моделирования и ускорения численных расчетов.

Докладчик: Сахаров Данил

📌 Анонс семинара Лаборатории 19 февраля (10.50 в 5222):

🗒 Подбор условий синтеза металл-органических координационных полимеров: от химической интуиции к анализу данных

Металл-органические координационные полимеры (МОКП) — это класс соединений, за счет своей регулярной и пористой структуры выделяющийся количеством своих областей применения: люминесценция, катализ, адсорбция и т.д. Направленный поиск условий синтеза МОКП с определёнными структурными блоками (металлокластерами) - задача, которая в настоящее время не имеет решения. Синтезы очень разных МОКП могут протекать в очень похожих условиях, поэтому даже опытные специалисты с трудом могут ограничить пространство поиска условий синтеза МОКП с определённым металлокластером. В своем докладе Лев продемонстрирует, как он пытался получить количественную оценку условий синтеза МОКП с кластерами Zn4O с помощью методов классического машинного обучения.

Докладчик: Лев Жуков

🗒 Деформируемая регистрация аневризмов брюшной аорты

Аневризма брюшной аорты — опасное патологическое расширение брюшной аорты, требующее регулярного медицинского наблюдения. В настоящее время в клинической практике используются только визуальные оценки скорости роста и методы, основанные на оценке изменения максимального диаметра аневризмы. В своем докладе Иван расскажет об использовании нейросетевого подхода к регистрации аневризмы. В основе такого подхода лежит поиск отображения между двумя изображениями компьютерной томографии. Особо важным является получение физически обоснованного отображения. Для этого предлагается введение дополнительного функционала в функцию потерь, который учитывает слабое изменение формы кальцинатов в области брюшной аорты со временем. Помимо этого, планируется ввести функционал, учитывающий динамику нелинейно упругой среды. Таким образом, ожидается, что использование такого подхода позволит внедрить нейросетевые алгоритмы для регистрации аневризмов брюшной аорты.

Докладчик: Иван Калачев

📌Анонс семинара Магистратуры 21 февраля (18.10 в 5234):

🗒Статья для разбора:
Xavier Glorot, and Yoshua Bengio, Understanding the difficulty of training deep feedforward neural networks. In Proceedings of the 13th International Conference on Artificial Intelligence and Statistics (AISTATS), vol. 9 of JMLR, 2010, pp. 249-256

Докладчик 1 Артеменко Никита
Докладчик 2 Максаковский Никита

Ссылка для подключения к трансляции.
Идентификатор конференции: 830 3569 8413
Код доступа: 258209

📌 Анонс семинара Лаборатории 26 февраля (10.50 в 5222):

🗒 Иерархическая классификация текстов при помощи BERT

Универсальная Десятичная Классификация (УДК) — система классификации информации, используемая во всём мире для систематизации произведений науки, литературы и искусства, периодической печати, различных видов документов и организации картотек. В своём докладе Данил расскажет о своей работе по предсказанию УДК для научных статей. Будет рассмотрена задача иерархической классификации текстов, представлены подходы к иерархической классификации и освещены особенности метрик для данной задачи.

Докладчик: Данил Ковалевский

📌Анонс семинара Магистратуры 28 февраля (18.10 в 5234):

🗒Статья для разбора:
S. Ioffe, and C. Szegedy, Batch normalization: Accelerating deep network training by reducing internal covariate shift, in Proceedings of the 32nd International Conference on International Conference on Machine Learning ICML’15, vol. 37. JMLR.org, 2015, pp. 448–456

Докладчик 1 Бусов Игорь
Докладчик 2 Перминов Павел

Гость: Павловский Евгений
Заведующий Лабораторией аналитики потоковых данных и машинного обучения

Тема доклада: Ненормальность - это нормально в нашей науке? О некоторых прорывных идеях в машинном обучении

Ссылка для подключения к трансляции.
Идентификатор конференции: 830 3569 8413
Код доступа: 258209

📌 Анонс семинара Лаборатории 4 марта (10.50 в 5222):

🗒 «Словно вы называетесь не вы», или чему же на самом деле обучаются LLM?

В данной работе проводится сравнение предварительного обучения трансформера на текстах естественного языка и на предложениях синтетического псевдоязыка. Искусственные тексты были автоматически сгенерированы по правилам, написанными в контекстно-свободной грамматике. Результаты дообучения на выполнение заданий проекта RussianSuperGLUE статистически достоверно показали, что модели имеют одинаковые оценки, т.е. можно считать, что использование искусственных данных дает преимущество для «безопасности» искусственного интеллекта за счет возможности полностью контролировать состав выборки. Также можно говорить о том, что на этапе предобучения модели типа RoBERTa достаточно научиться распознавать только синтаксические и морфологические закономерности языка, которые могут быть успешно созданы довольно таким простым способом, как контекстно-свободная грамматика.

Докладчик: Иван Бондаренко

🗒 Задача определения типов полей в браузере

Одна из возможностей, доступных в браузере, — автозаполнение. Этот инструмент значительно облегчает задачу заполнения форм регистрации и личных данных, позволяя сделать это всего за несколько секунд. Первоначальная проблема, с которой сталкивается браузер, заключается в идентификации данных, которые должны быть вставлены в соответствующие поля. В своем докладе Артем расскажет о текущих подходах к решению этой задачи и о том, как он планирует улучшить процесс с помощью технологий машинного обучения.

Докладчик: Артем Тарасов

📌Анонс семинара Магистратуры 06 марта (18.10 в 5234):

🗒Статья для разбора:
Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep Residual Learning for Image Recognition, in Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2016, pp. 770–778

Докладчик 1 Сахаров Данил
Докладчик 2 Тютюльников Михаил

Гость: Колодезев Дмитрий
Основатель сибирского филиала ODS сообщества
Директор компании Promsoft

Тема доклада: Про ResNet

Ссылка для подключения к трансляции.
Идентификатор конференции: 830 3569 8413
Код доступа: 258209

📌 Анонс семинара Лаборатории 11 марта (10.50 в 5222):

🗒 Простыми словами о сложных текстах

Сложность текста, его читабельность и предполагаемый возраст читателя — величины, не имеющие строгого определения, но весьма востребованные с прикладной точки зрения. Использовать для их вычисления экспертов или, тем более, проводить для каждого текста лингвистический эксперимент — очень долго и дорого. Первые попытки автоматизировать оценку возникли на самых ранних этапах развития вычислительной лингвистики. За прошедшие с тех пор 75 лет эти алгоритмы значительно развились, повысилось и качество оценки. В своём докладе Дмитрий расскажет про связь между формированием признакового описания и качеством работы модели на материале русского языка.

Докладчик: Дмитрий Морозов

🗒 Участие в Telegram ML Competition: опыт и рекомендации

В рамках предстоящего доклада Константин поделится своим опытом участия в Telegram ML Competition, нацеленного на разработку библиотеки для классификации языков программирования и разметки в кодовых фрагментах, встречающихся в тексте сообщений. В ходе выступления будет представлен обзор разработанного решения, основанного на классических методах обработки текста, а также рассмотрены работы других участников, занявших призовые места. Помимо этого, докладчик представит общие рекомендации для успешного участия в соревнованиях, организованных командой Telegram.

Докладчик: Константин Москаленко

📌Анонс семинара Магистратуры 13 марта (18.10 в 5234):

🗒Статья для разбора:
G. Klambauer, T. Unterthiner, A. Mayr, and S. Hochreiter, Self-normalizing neural networks, in Proceedings of the 31st International Conference on Neural Information Processing Systems, NIPS’17. Curran Associates, Inc., 2017, pp. 972–981

Докладчик 1 Травников Владислав
Докладчик 2 Ипполитов Макар

Гость: Влад Голощапов
независимый исследователь, эксперт в области глубоких нейронных сетей, ведущий телеграм-канала "Свидетели градиента"

Тема выступления: Как учить нейросети глубиной 100 слоёв и больше (если вам вдруг понадобится больше) без скипконнекшенов и не дать градиенту затухнуть

Ссылка для подключения к трансляции.
Идентификатор конференции: 830 3569 8413
Код доступа: 258209

📌 Анонс семинара Лаборатории 18 марта (10.50 в 5222):

🗒 Расчет объемов поглощения технологических составов глушения нефтяных скважин на основе машинного обучения

Некоторые участки нефтегазовых месторождений сложены карбонатными и терригенными трещиновато-пористыми коллекторами и характеризуется высоким газовым фактором, наличием сероводорода и аномально низким пластовым давлением (АНПД). Глушения в таких условиях осложняются большим расходом технологических составов вследствие их поглощения в пласт в горизонтальных окончаниях, что провоцирует газопроявление. В связи с этим расчет достаточного объема состава глушения для проведения операций с высоким газовым фактором в условиях АНПД является актуальной задачей, которая, наряду с технологической и экономической эффективностью, должна повысить безопасность проведения ремонтных работ на скважинах.

Докладчик: Антон Кожухов

📌Анонс семинара Магистратуры 20 марта (18.10 в 5234):

🗒Статья для разбора:
B. Neal, S. Mittal, A. Baratin, V. Tantia, M. Scicluna, S. Lacoste-Julien, and I. Mitliagkas, A modern take on the bias-variance tradeoff in neural networks, in ICML 2019 Workshop on Identifying and Understanding Deep Learning Phenomena, 2019

Докладчик 1 Носорев Константин
Докладчик 2 Гарипов Тимур

Гость: Андрей Глинский
сотрудник лаборатории нейронных систем и глубинного обучения МФТИ, старший разработчик проекта DeepPavlov

Тема: Эволюция способности нейросетей к генерализации на примере NLP

Ссылка для подключения к трансляции.
Идентификатор конференции: 830 3569 8413
Код доступа: 258209

📌 Анонс семинара Лаборатории 25 марта (10.50 в 5222):

🗒 Байесовские нейронные сети

Байесовские нейронные сети (БНС) являются мощным инструментом для моделирования неопределенности принятия решений на основе вероятностных предположений. В отличие от классических нейронных сетей, которые оперируют только с точечными оценками, БНС моделируют распределения параметров, что позволяет учитывать различные возможности исходов, а также степень уверенности в предсказаниях модели, что помогает снизить риски при принятии решений. В данном докладе будут рассмотрены элементы теории БНС, такие как, например, вариационный байесовский вывод и локальная репараметризация при обучении БНС.

Докладчик: Кирилл Яшунин

🗒 Разработка метода автоматической детекции колосков на изображениях колоса пшеницы

В своем докладе Игорь расскажет о разработке точного и эффективного метода для автоматического обнаружения и подсчета колосков пшеницы на изображениях. В рамках данного исследования было рассмотрено несколько подходов к решению поставленной задачи: использование YOLO; U-Net, обученного на бинарных масках с использованием бинарной кросс-энтропии; а также U-Net, обученного на масках с нормальным распределением с применением дивергенции Кульбака-Лейблера в качестве функции потерь. Гиперпараметры моделей подбирались с использованием Байесовской оптимизации (Гауссовских процессов). Для оценки качества моделей использовались пространственные метрики (precision, recall, f1) и количественные метрики (MAE, MSE).

Докладчик: Игорь Бусов