📌 Анонс семинара Лаборатории 4 марта (10.50 в 5222):

🗒 «Словно вы называетесь не вы», или чему же на самом деле обучаются LLM?

В данной работе проводится сравнение предварительного обучения трансформера на текстах естественного языка и на предложениях синтетического псевдоязыка. Искусственные тексты были автоматически сгенерированы по правилам, написанными в контекстно-свободной грамматике. Результаты дообучения на выполнение заданий проекта RussianSuperGLUE статистически достоверно показали, что модели имеют одинаковые оценки, т.е. можно считать, что использование искусственных данных дает преимущество для «безопасности» искусственного интеллекта за счет возможности полностью контролировать состав выборки. Также можно говорить о том, что на этапе предобучения модели типа RoBERTa достаточно научиться распознавать только синтаксические и морфологические закономерности языка, которые могут быть успешно созданы довольно таким простым способом, как контекстно-свободная грамматика.

Докладчик: Иван Бондаренко

🗒 Задача определения типов полей в браузере

Одна из возможностей, доступных в браузере, — автозаполнение. Этот инструмент значительно облегчает задачу заполнения форм регистрации и личных данных, позволяя сделать это всего за несколько секунд. Первоначальная проблема, с которой сталкивается браузер, заключается в идентификации данных, которые должны быть вставлены в соответствующие поля. В своем докладе Артем расскажет о текущих подходах к решению этой задачи и о том, как он планирует улучшить процесс с помощью технологий машинного обучения.

Докладчик: Артем Тарасов

📌Анонс семинара Магистратуры 06 марта (18.10 в 5234):

🗒Статья для разбора:
Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep Residual Learning for Image Recognition, in Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2016, pp. 770–778

Докладчик 1 Сахаров Данил
Докладчик 2 Тютюльников Михаил

Гость: Колодезев Дмитрий
Основатель сибирского филиала ODS сообщества
Директор компании Promsoft

Тема доклада: Про ResNet

Ссылка для подключения к трансляции.
Идентификатор конференции: 830 3569 8413
Код доступа: 258209

📌 Анонс семинара Лаборатории 11 марта (10.50 в 5222):

🗒 Простыми словами о сложных текстах

Сложность текста, его читабельность и предполагаемый возраст читателя — величины, не имеющие строгого определения, но весьма востребованные с прикладной точки зрения. Использовать для их вычисления экспертов или, тем более, проводить для каждого текста лингвистический эксперимент — очень долго и дорого. Первые попытки автоматизировать оценку возникли на самых ранних этапах развития вычислительной лингвистики. За прошедшие с тех пор 75 лет эти алгоритмы значительно развились, повысилось и качество оценки. В своём докладе Дмитрий расскажет про связь между формированием признакового описания и качеством работы модели на материале русского языка.

Докладчик: Дмитрий Морозов

🗒 Участие в Telegram ML Competition: опыт и рекомендации

В рамках предстоящего доклада Константин поделится своим опытом участия в Telegram ML Competition, нацеленного на разработку библиотеки для классификации языков программирования и разметки в кодовых фрагментах, встречающихся в тексте сообщений. В ходе выступления будет представлен обзор разработанного решения, основанного на классических методах обработки текста, а также рассмотрены работы других участников, занявших призовые места. Помимо этого, докладчик представит общие рекомендации для успешного участия в соревнованиях, организованных командой Telegram.

Докладчик: Константин Москаленко

📌Анонс семинара Магистратуры 13 марта (18.10 в 5234):

🗒Статья для разбора:
G. Klambauer, T. Unterthiner, A. Mayr, and S. Hochreiter, Self-normalizing neural networks, in Proceedings of the 31st International Conference on Neural Information Processing Systems, NIPS’17. Curran Associates, Inc., 2017, pp. 972–981

Докладчик 1 Травников Владислав
Докладчик 2 Ипполитов Макар

Гость: Влад Голощапов
независимый исследователь, эксперт в области глубоких нейронных сетей, ведущий телеграм-канала "Свидетели градиента"

Тема выступления: Как учить нейросети глубиной 100 слоёв и больше (если вам вдруг понадобится больше) без скипконнекшенов и не дать градиенту затухнуть

Ссылка для подключения к трансляции.
Идентификатор конференции: 830 3569 8413
Код доступа: 258209

📌 Анонс семинара Лаборатории 18 марта (10.50 в 5222):

🗒 Расчет объемов поглощения технологических составов глушения нефтяных скважин на основе машинного обучения

Некоторые участки нефтегазовых месторождений сложены карбонатными и терригенными трещиновато-пористыми коллекторами и характеризуется высоким газовым фактором, наличием сероводорода и аномально низким пластовым давлением (АНПД). Глушения в таких условиях осложняются большим расходом технологических составов вследствие их поглощения в пласт в горизонтальных окончаниях, что провоцирует газопроявление. В связи с этим расчет достаточного объема состава глушения для проведения операций с высоким газовым фактором в условиях АНПД является актуальной задачей, которая, наряду с технологической и экономической эффективностью, должна повысить безопасность проведения ремонтных работ на скважинах.

Докладчик: Антон Кожухов

📌Анонс семинара Магистратуры 20 марта (18.10 в 5234):

🗒Статья для разбора:
B. Neal, S. Mittal, A. Baratin, V. Tantia, M. Scicluna, S. Lacoste-Julien, and I. Mitliagkas, A modern take on the bias-variance tradeoff in neural networks, in ICML 2019 Workshop on Identifying and Understanding Deep Learning Phenomena, 2019

Докладчик 1 Носорев Константин
Докладчик 2 Гарипов Тимур

Гость: Андрей Глинский
сотрудник лаборатории нейронных систем и глубинного обучения МФТИ, старший разработчик проекта DeepPavlov

Тема: Эволюция способности нейросетей к генерализации на примере NLP

Ссылка для подключения к трансляции.
Идентификатор конференции: 830 3569 8413
Код доступа: 258209

📌 Анонс семинара Лаборатории 25 марта (10.50 в 5222):

🗒 Байесовские нейронные сети

Байесовские нейронные сети (БНС) являются мощным инструментом для моделирования неопределенности принятия решений на основе вероятностных предположений. В отличие от классических нейронных сетей, которые оперируют только с точечными оценками, БНС моделируют распределения параметров, что позволяет учитывать различные возможности исходов, а также степень уверенности в предсказаниях модели, что помогает снизить риски при принятии решений. В данном докладе будут рассмотрены элементы теории БНС, такие как, например, вариационный байесовский вывод и локальная репараметризация при обучении БНС.

Докладчик: Кирилл Яшунин

🗒 Разработка метода автоматической детекции колосков на изображениях колоса пшеницы

В своем докладе Игорь расскажет о разработке точного и эффективного метода для автоматического обнаружения и подсчета колосков пшеницы на изображениях. В рамках данного исследования было рассмотрено несколько подходов к решению поставленной задачи: использование YOLO; U-Net, обученного на бинарных масках с использованием бинарной кросс-энтропии; а также U-Net, обученного на масках с нормальным распределением с применением дивергенции Кульбака-Лейблера в качестве функции потерь. Гиперпараметры моделей подбирались с использованием Байесовской оптимизации (Гауссовских процессов). Для оценки качества моделей использовались пространственные метрики (precision, recall, f1) и количественные метрики (MAE, MSE).

Докладчик: Игорь Бусов

📌Анонс семинара Магистратуры 27 марта (18.10 в 5234):

🗒Статья для разбора:
K. Xu, J. Ba, R. Kiros, K. Cho, A.C. Courville, R. Salakhutdinov, R.S. Zemel, and Y. Bengio, Show, Attend and Tell: Neural Image Caption Generation with Visual Attention, in Proceedings of the 32nd International Conference on Machine Learning, ICML’15

Докладчик 1 Калачев Иван
Докладчик 2 Жумагулова Ирина

Гость: Валентин Малых
Ведущий специалист NLP в России, автор учебного курса "Natural Language Processing" на ODS, научный сотрудник "МТС ИИ" (ранее работал в лаборатории "Ноев ковчег" Huawei, в исследовательской команде VK, в лаборатории нейронных систем и глубинного обучения МФТИ над проектом DeepPavlov)

Тема:
Эволюция механизма внимания в нейронных сетях

Ссылка для подключения к трансляции.
Идентификатор конференции: 830 3569 8413
Код доступа: 258209

📌Анонс семинара Магистратуры 3 апреля (18.10 в 5234):

🗒Статья для разбора:
K. Clark, U. Khandelwal, O. Levy, and C.D. Manning, What Does BERT Look at? An Analysis of BERT’s Attention, in the 2019 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, 2019

Докладчик 1 Жумагулова Ирина
Докладчик 2 Петоян Андраник

Гость: Ирина Пионтковская
руководитель отдела NLP в лаборатории "Ноева ковчега" Российского исследовательского института Huawei

Тема:
Что спрятано в hidden states предобученных моделей? Обзор некоторых задач, для решения которых полезно анализировать внутренние состояния нейросети

Ссылка для подключения к трансляции.
Идентификатор конференции: 830 3569 8413
Код доступа: 258209

📌 Анонс семинара Лаборатории 8 апреля (10.50 в 5222):

🗒 Иерархический подход в анализе и обучении text2img моделей

В настоящее время text2img модели для генерации изображений имеют большую популярность во всем мире и применяются в самых различных областях. Однако до конца не изучен вопрос понимания модели запросов (промтов). Часто даже самые лучшие на данный момент генеративные модели могут выдавать некорректные ответы и для нужного результата людям часто приходится конкретизировать промпт, что вызывает неудобства и трудности в эксплуатации моделей. Решением проблемы может стать иерархический подход в анализе и обучении генеративных моделей. Данный подход поможет более подробно изучить работу существующих text2img моделей и обучить их генерировать разнообразные и точные изображения для простых промптов. В данном докладе будут представлены результаты иерархического анализа существующих text2img моделей, таких как Шедеврум, Кадинский, DALLE-3, Stable Diffusion v21 и Midjourney. Более того, будут продемонстрированы первые результаты иерархического обучения генерации изображний моделью Stable Diffusion v21.

Докладчик: Влад Калинин

📌Анонс семинара Магистратуры 10 апреля (18.10 в 5234):

🗒Статья для разбора:
Y. Tay, M. Dehghani, V.Q. Tran, X. García, J. Wei, X. Wang, H.W. Chung, D. Bahri, T. Schuster, H.S. Zheng, D. Zhou, N. Houlsby, and D. Metzler, UL2: Unifying Language Learning Paradigms, in Proceedings of the Tenth International Conference on Learning Representations, 2022

Докладчик 1 Петоян Андраник
Докладчик 2 Тарасенко Александр

Гость: Иван Бондаренко
научный сотрудник лаборатории прикладных цифровых технологий, старший преподаватель кафедры фундаментальной и прикладной лингвистики и кафедры применения математических методов в экономике и планировании НГУ. Ранее работал специалистом по анализу данных в компании 2ГИС, архитектором решений в компании Data Monsters, техлидом команды AutoML для больших данных в компании Huawei, научным сотрудником в МФТИ, преподавателем в ДонНТУ.

Тема:
Уточняется

Ссылка для подключения к трансляции.
Идентификатор конференции: 830 3569 8413
Код доступа: 258209

📌 Анонс семинара Лаборатории 15 апреля (10.50 в 5222):


🗒 Sustainable AI — сколько CO2 произвела ваша модель пока училась

Эмиссия углерода, связанная с производством электроэнергии, оказывает значительное влияние на проблемы связанные с экологией, социальной сферой и управлением. C генерацией электроэнергии связан значительный объем глобальных выбросов углерода, и сокращение этих выбросов необходимо для достижения глобальных целей устойчивого развития. В своем докладе Михаил покажет различные методы подсчета CO2-эквивалента от вычислений, а также концепт возможного его снижения.

Докладчик: Михаил Тютюльников

🗒 Cartoon Talking Head: Учим говорить двухмерных персонажей без данных

При современном развитии Talking Head мы уже неплохо умеем анимировать людей: из картинок, видео или даже только из аудио. Однако для мультипликационных персонажей эта задача по прежнему до конца не решена. В своем докладе Владимир расскажет, как они создавали решение для лицевой анимации произвольно нарисованных двухмерных мультипликационных персонажей с использованием готового аудио в условиях дефицита данных.

Докладчик: Владимир Парначев

📌Анонс семинара Магистратуры 17 апреля (18.10 в 5234):

🗒Статья для разбора:
Y.V. Gorishniy, I. Rubachev, V. Khrulkov, and A. Babenko, Revisiting Deep Learning Models for Tabular Data, in Proceedings of the 35th International Conference on Neural Information Processing Systems (NeurIPS 2021). Curran Associates, Inc., 2021

Докладчик 1 Тарасенко Александр
Докладчик 2 Тарасов Артём

Гость: Уточняется

Тема:
Уточняется

Ссылка для подключения к трансляции.
Идентификатор конференции: 830 3569 8413
Код доступа: 258209

📌 Анонс семинара Лаборатории 22 апреля (10.50 в 5222):

🗒 Статистический анализ биомедицинских распределений. Как оценить статистическую значимость пространственной корреляции между различными свойствами аорты?

Аневризма брюшной аорты (АБА) — это серьезное и потенциально смертельное заболевание, характеризующееся патологическим расширением брюшной аорты, крупнейшей артерии организма. Это состояние ослабляет стенки аорты и может привести к разрыву аневризмы и летальному исходу. Изучение механизма формирования аневризмы и поиск предикторов быстрого роста АБА имеют критическое значение для разработки эффективных стратегий лечения.
В последнее время появилось множество работ по анализу пространственной взаимосвязи между очагами атеросклероза, морфологией и гемодинамикой аневризмы. Однако не существует стандартизированной статистической методологии для количественного сравнения этих распределений. Оценка пространственной взаимосвязи гемодинамики, морфологии и скорости локального роста аневризмы аорты осложняется наличием пространственной автокорреляции распределений, при которой соседние участки аорты обладают сходными свойствами и не являются независимыми, и использованием агрегированных данных, что искусственно завышает коэффициенты корреляции. В докладе предлагается обсудить возможные подходы к оценке статистической значимости связи между биомедицинскими распределениями на примере наших результатов по аневризме брюшной аорты.

Докладчик: Яна Федотова


🗒 Разработка алгоритма для выделения признаков и распознавания образов в сигналах подшипников газотурбинных двигателей

Предиктивная аналитика использует методы машинного обучения для предсказания будущих событий на основе прошлых данных. Ранее Илья уже обсудил возможность её применения к промышленным данным, а если быть точнее, к данным роторных частей авиационного двигателя. В данном докладе речь пойдет о следующем этапе: выделении признаков из сигналов подшипников газотурбинных установок и алгоритме для выделения этих признаков.

Докладчик: Илья Кульбаченко

📌Анонс семинара Магистратуры 24 апреля (18.10 в 5234):

🗒Статья для разбора:
M. Arjovsky, L. Bottou, I. Gulrajani, and D. Lopez-Paz, Invariant Risk Minimization, in ArXiv, abs/1907.02893, 2019

Докладчик 1 Родионов Владислав
Докладчик 2 Попов Алексей

Ссылка для подключения к трансляции.
Идентификатор конференции: 830 3569 8413
Код доступа: 258209

📌 Анонс семинара Лаборатории 29 апреля (10.50 в 5222):

🗒 Тулинг python или как разрабатывать проекты легче

В докладе поговорим об инструментах, облегчающих разработку и поддержание проекта. Рассмотрим такие вещи, как линтеры, инструменты форматирования, статический анализ кода и т.п. Помимо классических инструментов затронем тему шаблонов, использование CI для поддержания чистоты репозитория. Дополнительно поговорим об инструментах мониторинга экспериментов.

Докладчик: Константин Носорев


🗒 Квантизация весов нейронных сетей

Квантизация (дискретизация) весов в нейронных сетях уменьшает объем памяти требуемой для их хранения, а также увеличивает производительность инференса. Этот метод широко используется в устройствах с низкой производительностью и небольшим объемом оперативной памяти. Однако в некоторых случаях метрики могут быть ниже требуемых. В статье рассматривается не посттрейн квантизация, а тренировка уже квантизованной AlexNet. Демонстрируется, что её эффективность практически не отличается от оригинальной. Об этом в своей докладе и расскажет Илья.

Докладчик: Илья Иванченко

📌 Анонс семинара Лаборатории 6 мая (10.50 в 5222):

🗒 Подбор образовательных курсов по вакансии на основе LLM

Доклад о работе проделанной в рамках хакатона по подбору образовательных курсов на основе вакансии. В ходе выступления будут освещено несколько тем. Во-первых, контролируемая генерация текста LLM с помощью библиотеки Guidance. Этот подход позволяет управлять процессом генерации текста LLM большими языковыми моделями для получения высококачественных и релевантных результатов. Во-вторых, иерархическая zero-shot классификация текстов. Иерархия составляется с помощью LLM. Данный подход дает возможность классифицировать тексты по новым категориям без необходимости дополнительного обучения модели на размеченных данных.

Докладчик: Валентин Мамедов

🗒 Оценка и сравнение словарных и нейронных толкований

Постоянно происходящие изменения в мире влияют на многие сферы жизни, в том числе, они влекут за собой изменение нашего языка. Быстрее всего это проявляется на лексическом уровне. Новые слова появляются, старые меняют значения или уходят из употребления. На этом фоне значимую роль играют толковые словари, которые служат базой данных, сопоставляющей словам актуальные толкования. Однако их ручное составление ограничивает скорость и точность обновления. Альтернативным подходом к обновлению и поддержке словарей может стать использование больших языковых моделей. В докладе поговорим о сравнении словарей, составлении выборки для эксперимента и о том, как люди оценивают толкования.

Докладчик: Тимур Гарипов

🗒 Создание рекомендательной системы для научных сотрудников

Рекомендательные системы в научном сообществе набирают популярность. Есть методы рекомендации статей пользователям, журналов для публикации исследований и соавторов для совместной работы. Наименее исследованный тип рекомендаций — рекомендация соавторов (collaborator recomendation). Существуют методы рекомендации соавторов, основанные на сети цитирований, на содержании статей исследователей, методы машинного обучения. Однако у этих методов есть свои недостатки. Альтернативным подходом могут быть гибридные алгоритмы с использованием больших языковых моделей. В докладе поговорим о возможном подходе к рекомендации соавторов, сложности в реализации и их решении.

Докладчик: Дарья Шестакова

📌 Анонс семинара Лаборатории 13 мая (10.50 в 5222):

🗒 Предсказание интенсивности дорожного трафика на перекрестках с помощью статистических моделей

Все мы знакомы с проблемой человеческого фактора, когда говорим про движение на дороге, и эта проблема будет актуальна до тех пор, пока весь транспорт не будет оснащён self-driving системой. По статистике, большинство аварий (до 40-60%) происходят именно на перекрестках, где сложно учесть все возможные факторы для предотвращения происшествий. Однако существует возможность предсказать интенсивность движения на перекрестках, что может быть полезно, например, для оптимизации работы светофоров. В своем докладе Никита продемонстрирует попытку решения задачи предсказания интенсивности дорожного трафика с использованием статистических моделей, т.е. легких параметрических моделей (таких как ARIMA, AutoRegressive models) и моделей для работы с прерывистыми временными рядами (ADIDA, Croston).

Докладчик: Никита Артеменко

🗒 Исследование и разработка нейросетевого алгоритма синтеза ЭЭГ-сигнала

Электроэнцефалография (ЭЭГ) — это современный метод исследования активности мозга человека, основанный на регистрации его электрических потенциалов путем размещения электродов в определенных зонах на поверхности головы. Клинический ЭЭГ-анализ широко используется в задачах, связанных с прогнозами различных заболеваний, например, предсказыванием степени тяжести депрессии или прогнозированием появления у пациента эпилептического припадка. В таких случаях довольно успешно применяются методы машинного обучения и нейронные сети, но существуют проблемы, связанные с данными, используемыми для обучения моделей. Получение чистых ЭЭГ-сигналов зачастую бывает проблематичным ввиду дорогостоящего оборудования, а также имеется дефицит данных непосредственно предприступных состояний (если речь идет, например, о предсказывании эпилепсии). Поэтому многие проблемы могли бы решиться, если бы мы могли генерировать похожие, медицински-верные ЭЭГ-сигналы, дополняя уже имеющиеся данные. В докладе будет рассказано о предобработке данных, использовании н.с. Wavenet для восстановления сигнала из спектрограммы и результатах обучения аудио диффузионной модели для синтеза ЭЭГ-сигналов.

Докладчик: Артем Шмаков

🗒 Как мы свою систему распознавания команд делали

Развитие технологий распознавания речи на устройствах (on-device) прослеживается в большом разнообразии существующих голосовых помощников, в т.ч. устройствах "умного дома". Поскольку большинство используемых моделей распознавания являются нейросетевыми (end-to-end), то для уменьшения их размера и увеличения скорости работы на устройствах с ограниченными вычислительными ресурсами без потери качества распознавания могут быть использованы методы дистилляции и квантизации. В своем докладе Даниил и Артем расскажут об опыте применения этих методов для повышения устойчивости моделей распознавания речи к шумам и адаптации моделей в рамках задачи распознавания голосовых команд.

Докладчики: Артем Болдинов и Даниил Гребенкин

📌Анонс семинара Магистратуры 15 мая (18.10 в 5234):

🗒Статья для разбора:
C. Anil, Y. Wu, A. Andreassen, A. Lewkowycz, V. Misra, V.V. Ramasesh, A.Slone, G.Gur-Ari, E.Dyer, and B. Neyshabur, Exploring Length Generalization in Large Language Models, in Proceedings of the 36th International Conference on Neural Information Processing Systems (NeurIPS 2022). Curran Associates, Inc., 2022

Докладчик 1 Кульбаченко Илья
Докладчик 2 Ковалевский Данил

Гость: Елена Бручес
Ведущий инженер, RRI
Младший научный сотрудник, ИСИ СО РАН
Старший преподаватель, НГУ

Тема:
Как длина контекста влияет на качество языковых моделей?

Ссылка для подключения к трансляции.
Идентификатор конференции: 830 3569 8413
Код доступа: 258209

📌 Анонс семинара Лаборатории 19 мая (10.50 в 5222):

🗒 Семантическая сегментация текстов как распознавание именованных сущностей

Автоматическая сегментация текстов с классификацией сегментов (или topic-aware text segmentation) необходима во многих областях при обработке текста. У качественно отсегментированного текста значительно улучшается читаемость, в нем проще искать информацию. Алгоритмическое решение задачи также избавляет от необходимости в дорогостоящем ручном труде, что особенно ярко проявляется в областях, где для корректной сегментации текста требуются специфичные знания. Актуальные нейросетевые решения, как правило, достаточно сложны с точки зрения архитектуры, что влечет отсутствие гибкости и вычислительную сложность. Вместо модификации архитектуры нейросети предлагается использовать простую модель для распознавания именованных сущностей (классификатор токенов, основанный на трансформер-энкодере) и модифицировать все вокруг нее: разметку, процедуру обучения, постобработку.

Докладчик: Андрей Непомнящих

🗒 Мультиязычное распознавание фонетических транскрипций

Доклад посвящен адаптации концепции иерархического многозадачного обучения к задаче получения фонетической транскрипции из речевого сигнала на основе классификации фонем по таблице IPA. Также в работе рассмотрены подходы на основе внесения вспомогательной информации, с помощью моделей metric learning для формирования векторного представления языка на основе фонетических транскрипций / речевых сигналов.

Докладчик: Антон Легченко

📌Анонс семинара Магистратуры 22 мая (18.10 в 5234):

🗒Статья для разбора:
Albert Gu, Goel Karan, and R'e Christopher, “Efficiently Modeling Long Sequences with Structured State Spaces”, in Proceedings of the Tenth International Conference on Learning Representations, 2022

Докладчик 1 Коробов Александр
Докладчик 2 Аношин Сергей

Гость: Александр Гончаренко
технический директор enot.ai

Тема:
современные подходы к механизму внимания с целью ускорения вычислений

Ссылка для подключения к трансляции.
Идентификатор конференции: 830 3569 8413
Код доступа: 258209