📌Анонс семинара Магистратуры 20 марта (18.10 в 5234):

🗒Статья для разбора:
B. Neal, S. Mittal, A. Baratin, V. Tantia, M. Scicluna, S. Lacoste-Julien, and I. Mitliagkas, A modern take on the bias-variance tradeoff in neural networks, in ICML 2019 Workshop on Identifying and Understanding Deep Learning Phenomena, 2019

Докладчик 1 Носорев Константин
Докладчик 2 Гарипов Тимур

Гость: Андрей Глинский
сотрудник лаборатории нейронных систем и глубинного обучения МФТИ, старший разработчик проекта DeepPavlov

Тема: Эволюция способности нейросетей к генерализации на примере NLP

Ссылка для подключения к трансляции.
Идентификатор конференции: 830 3569 8413
Код доступа: 258209

📌 Анонс семинара Лаборатории 25 марта (10.50 в 5222):

🗒 Байесовские нейронные сети

Байесовские нейронные сети (БНС) являются мощным инструментом для моделирования неопределенности принятия решений на основе вероятностных предположений. В отличие от классических нейронных сетей, которые оперируют только с точечными оценками, БНС моделируют распределения параметров, что позволяет учитывать различные возможности исходов, а также степень уверенности в предсказаниях модели, что помогает снизить риски при принятии решений. В данном докладе будут рассмотрены элементы теории БНС, такие как, например, вариационный байесовский вывод и локальная репараметризация при обучении БНС.

Докладчик: Кирилл Яшунин

🗒 Разработка метода автоматической детекции колосков на изображениях колоса пшеницы

В своем докладе Игорь расскажет о разработке точного и эффективного метода для автоматического обнаружения и подсчета колосков пшеницы на изображениях. В рамках данного исследования было рассмотрено несколько подходов к решению поставленной задачи: использование YOLO; U-Net, обученного на бинарных масках с использованием бинарной кросс-энтропии; а также U-Net, обученного на масках с нормальным распределением с применением дивергенции Кульбака-Лейблера в качестве функции потерь. Гиперпараметры моделей подбирались с использованием Байесовской оптимизации (Гауссовских процессов). Для оценки качества моделей использовались пространственные метрики (precision, recall, f1) и количественные метрики (MAE, MSE).

Докладчик: Игорь Бусов

📌Анонс семинара Магистратуры 27 марта (18.10 в 5234):

🗒Статья для разбора:
K. Xu, J. Ba, R. Kiros, K. Cho, A.C. Courville, R. Salakhutdinov, R.S. Zemel, and Y. Bengio, Show, Attend and Tell: Neural Image Caption Generation with Visual Attention, in Proceedings of the 32nd International Conference on Machine Learning, ICML’15

Докладчик 1 Калачев Иван
Докладчик 2 Жумагулова Ирина

Гость: Валентин Малых
Ведущий специалист NLP в России, автор учебного курса "Natural Language Processing" на ODS, научный сотрудник "МТС ИИ" (ранее работал в лаборатории "Ноев ковчег" Huawei, в исследовательской команде VK, в лаборатории нейронных систем и глубинного обучения МФТИ над проектом DeepPavlov)

Тема:
Эволюция механизма внимания в нейронных сетях

Ссылка для подключения к трансляции.
Идентификатор конференции: 830 3569 8413
Код доступа: 258209

📌Анонс семинара Магистратуры 3 апреля (18.10 в 5234):

🗒Статья для разбора:
K. Clark, U. Khandelwal, O. Levy, and C.D. Manning, What Does BERT Look at? An Analysis of BERT’s Attention, in the 2019 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, 2019

Докладчик 1 Жумагулова Ирина
Докладчик 2 Петоян Андраник

Гость: Ирина Пионтковская
руководитель отдела NLP в лаборатории "Ноева ковчега" Российского исследовательского института Huawei

Тема:
Что спрятано в hidden states предобученных моделей? Обзор некоторых задач, для решения которых полезно анализировать внутренние состояния нейросети

Ссылка для подключения к трансляции.
Идентификатор конференции: 830 3569 8413
Код доступа: 258209

📌 Анонс семинара Лаборатории 8 апреля (10.50 в 5222):

🗒 Иерархический подход в анализе и обучении text2img моделей

В настоящее время text2img модели для генерации изображений имеют большую популярность во всем мире и применяются в самых различных областях. Однако до конца не изучен вопрос понимания модели запросов (промтов). Часто даже самые лучшие на данный момент генеративные модели могут выдавать некорректные ответы и для нужного результата людям часто приходится конкретизировать промпт, что вызывает неудобства и трудности в эксплуатации моделей. Решением проблемы может стать иерархический подход в анализе и обучении генеративных моделей. Данный подход поможет более подробно изучить работу существующих text2img моделей и обучить их генерировать разнообразные и точные изображения для простых промптов. В данном докладе будут представлены результаты иерархического анализа существующих text2img моделей, таких как Шедеврум, Кадинский, DALLE-3, Stable Diffusion v21 и Midjourney. Более того, будут продемонстрированы первые результаты иерархического обучения генерации изображний моделью Stable Diffusion v21.

Докладчик: Влад Калинин

📌Анонс семинара Магистратуры 10 апреля (18.10 в 5234):

🗒Статья для разбора:
Y. Tay, M. Dehghani, V.Q. Tran, X. García, J. Wei, X. Wang, H.W. Chung, D. Bahri, T. Schuster, H.S. Zheng, D. Zhou, N. Houlsby, and D. Metzler, UL2: Unifying Language Learning Paradigms, in Proceedings of the Tenth International Conference on Learning Representations, 2022

Докладчик 1 Петоян Андраник
Докладчик 2 Тарасенко Александр

Гость: Иван Бондаренко
научный сотрудник лаборатории прикладных цифровых технологий, старший преподаватель кафедры фундаментальной и прикладной лингвистики и кафедры применения математических методов в экономике и планировании НГУ. Ранее работал специалистом по анализу данных в компании 2ГИС, архитектором решений в компании Data Monsters, техлидом команды AutoML для больших данных в компании Huawei, научным сотрудником в МФТИ, преподавателем в ДонНТУ.

Тема:
Уточняется

Ссылка для подключения к трансляции.
Идентификатор конференции: 830 3569 8413
Код доступа: 258209

📌 Анонс семинара Лаборатории 15 апреля (10.50 в 5222):


🗒 Sustainable AI — сколько CO2 произвела ваша модель пока училась

Эмиссия углерода, связанная с производством электроэнергии, оказывает значительное влияние на проблемы связанные с экологией, социальной сферой и управлением. C генерацией электроэнергии связан значительный объем глобальных выбросов углерода, и сокращение этих выбросов необходимо для достижения глобальных целей устойчивого развития. В своем докладе Михаил покажет различные методы подсчета CO2-эквивалента от вычислений, а также концепт возможного его снижения.

Докладчик: Михаил Тютюльников

🗒 Cartoon Talking Head: Учим говорить двухмерных персонажей без данных

При современном развитии Talking Head мы уже неплохо умеем анимировать людей: из картинок, видео или даже только из аудио. Однако для мультипликационных персонажей эта задача по прежнему до конца не решена. В своем докладе Владимир расскажет, как они создавали решение для лицевой анимации произвольно нарисованных двухмерных мультипликационных персонажей с использованием готового аудио в условиях дефицита данных.

Докладчик: Владимир Парначев

📌Анонс семинара Магистратуры 17 апреля (18.10 в 5234):

🗒Статья для разбора:
Y.V. Gorishniy, I. Rubachev, V. Khrulkov, and A. Babenko, Revisiting Deep Learning Models for Tabular Data, in Proceedings of the 35th International Conference on Neural Information Processing Systems (NeurIPS 2021). Curran Associates, Inc., 2021

Докладчик 1 Тарасенко Александр
Докладчик 2 Тарасов Артём

Гость: Уточняется

Тема:
Уточняется

Ссылка для подключения к трансляции.
Идентификатор конференции: 830 3569 8413
Код доступа: 258209

📌 Анонс семинара Лаборатории 22 апреля (10.50 в 5222):

🗒 Статистический анализ биомедицинских распределений. Как оценить статистическую значимость пространственной корреляции между различными свойствами аорты?

Аневризма брюшной аорты (АБА) — это серьезное и потенциально смертельное заболевание, характеризующееся патологическим расширением брюшной аорты, крупнейшей артерии организма. Это состояние ослабляет стенки аорты и может привести к разрыву аневризмы и летальному исходу. Изучение механизма формирования аневризмы и поиск предикторов быстрого роста АБА имеют критическое значение для разработки эффективных стратегий лечения.
В последнее время появилось множество работ по анализу пространственной взаимосвязи между очагами атеросклероза, морфологией и гемодинамикой аневризмы. Однако не существует стандартизированной статистической методологии для количественного сравнения этих распределений. Оценка пространственной взаимосвязи гемодинамики, морфологии и скорости локального роста аневризмы аорты осложняется наличием пространственной автокорреляции распределений, при которой соседние участки аорты обладают сходными свойствами и не являются независимыми, и использованием агрегированных данных, что искусственно завышает коэффициенты корреляции. В докладе предлагается обсудить возможные подходы к оценке статистической значимости связи между биомедицинскими распределениями на примере наших результатов по аневризме брюшной аорты.

Докладчик: Яна Федотова


🗒 Разработка алгоритма для выделения признаков и распознавания образов в сигналах подшипников газотурбинных двигателей

Предиктивная аналитика использует методы машинного обучения для предсказания будущих событий на основе прошлых данных. Ранее Илья уже обсудил возможность её применения к промышленным данным, а если быть точнее, к данным роторных частей авиационного двигателя. В данном докладе речь пойдет о следующем этапе: выделении признаков из сигналов подшипников газотурбинных установок и алгоритме для выделения этих признаков.

Докладчик: Илья Кульбаченко

📌Анонс семинара Магистратуры 24 апреля (18.10 в 5234):

🗒Статья для разбора:
M. Arjovsky, L. Bottou, I. Gulrajani, and D. Lopez-Paz, Invariant Risk Minimization, in ArXiv, abs/1907.02893, 2019

Докладчик 1 Родионов Владислав
Докладчик 2 Попов Алексей

Ссылка для подключения к трансляции.
Идентификатор конференции: 830 3569 8413
Код доступа: 258209

📌 Анонс семинара Лаборатории 29 апреля (10.50 в 5222):

🗒 Тулинг python или как разрабатывать проекты легче

В докладе поговорим об инструментах, облегчающих разработку и поддержание проекта. Рассмотрим такие вещи, как линтеры, инструменты форматирования, статический анализ кода и т.п. Помимо классических инструментов затронем тему шаблонов, использование CI для поддержания чистоты репозитория. Дополнительно поговорим об инструментах мониторинга экспериментов.

Докладчик: Константин Носорев


🗒 Квантизация весов нейронных сетей

Квантизация (дискретизация) весов в нейронных сетях уменьшает объем памяти требуемой для их хранения, а также увеличивает производительность инференса. Этот метод широко используется в устройствах с низкой производительностью и небольшим объемом оперативной памяти. Однако в некоторых случаях метрики могут быть ниже требуемых. В статье рассматривается не посттрейн квантизация, а тренировка уже квантизованной AlexNet. Демонстрируется, что её эффективность практически не отличается от оригинальной. Об этом в своей докладе и расскажет Илья.

Докладчик: Илья Иванченко

📌 Анонс семинара Лаборатории 6 мая (10.50 в 5222):

🗒 Подбор образовательных курсов по вакансии на основе LLM

Доклад о работе проделанной в рамках хакатона по подбору образовательных курсов на основе вакансии. В ходе выступления будут освещено несколько тем. Во-первых, контролируемая генерация текста LLM с помощью библиотеки Guidance. Этот подход позволяет управлять процессом генерации текста LLM большими языковыми моделями для получения высококачественных и релевантных результатов. Во-вторых, иерархическая zero-shot классификация текстов. Иерархия составляется с помощью LLM. Данный подход дает возможность классифицировать тексты по новым категориям без необходимости дополнительного обучения модели на размеченных данных.

Докладчик: Валентин Мамедов

🗒 Оценка и сравнение словарных и нейронных толкований

Постоянно происходящие изменения в мире влияют на многие сферы жизни, в том числе, они влекут за собой изменение нашего языка. Быстрее всего это проявляется на лексическом уровне. Новые слова появляются, старые меняют значения или уходят из употребления. На этом фоне значимую роль играют толковые словари, которые служат базой данных, сопоставляющей словам актуальные толкования. Однако их ручное составление ограничивает скорость и точность обновления. Альтернативным подходом к обновлению и поддержке словарей может стать использование больших языковых моделей. В докладе поговорим о сравнении словарей, составлении выборки для эксперимента и о том, как люди оценивают толкования.

Докладчик: Тимур Гарипов

🗒 Создание рекомендательной системы для научных сотрудников

Рекомендательные системы в научном сообществе набирают популярность. Есть методы рекомендации статей пользователям, журналов для публикации исследований и соавторов для совместной работы. Наименее исследованный тип рекомендаций — рекомендация соавторов (collaborator recomendation). Существуют методы рекомендации соавторов, основанные на сети цитирований, на содержании статей исследователей, методы машинного обучения. Однако у этих методов есть свои недостатки. Альтернативным подходом могут быть гибридные алгоритмы с использованием больших языковых моделей. В докладе поговорим о возможном подходе к рекомендации соавторов, сложности в реализации и их решении.

Докладчик: Дарья Шестакова

📌 Анонс семинара Лаборатории 13 мая (10.50 в 5222):

🗒 Предсказание интенсивности дорожного трафика на перекрестках с помощью статистических моделей

Все мы знакомы с проблемой человеческого фактора, когда говорим про движение на дороге, и эта проблема будет актуальна до тех пор, пока весь транспорт не будет оснащён self-driving системой. По статистике, большинство аварий (до 40-60%) происходят именно на перекрестках, где сложно учесть все возможные факторы для предотвращения происшествий. Однако существует возможность предсказать интенсивность движения на перекрестках, что может быть полезно, например, для оптимизации работы светофоров. В своем докладе Никита продемонстрирует попытку решения задачи предсказания интенсивности дорожного трафика с использованием статистических моделей, т.е. легких параметрических моделей (таких как ARIMA, AutoRegressive models) и моделей для работы с прерывистыми временными рядами (ADIDA, Croston).

Докладчик: Никита Артеменко

🗒 Исследование и разработка нейросетевого алгоритма синтеза ЭЭГ-сигнала

Электроэнцефалография (ЭЭГ) — это современный метод исследования активности мозга человека, основанный на регистрации его электрических потенциалов путем размещения электродов в определенных зонах на поверхности головы. Клинический ЭЭГ-анализ широко используется в задачах, связанных с прогнозами различных заболеваний, например, предсказыванием степени тяжести депрессии или прогнозированием появления у пациента эпилептического припадка. В таких случаях довольно успешно применяются методы машинного обучения и нейронные сети, но существуют проблемы, связанные с данными, используемыми для обучения моделей. Получение чистых ЭЭГ-сигналов зачастую бывает проблематичным ввиду дорогостоящего оборудования, а также имеется дефицит данных непосредственно предприступных состояний (если речь идет, например, о предсказывании эпилепсии). Поэтому многие проблемы могли бы решиться, если бы мы могли генерировать похожие, медицински-верные ЭЭГ-сигналы, дополняя уже имеющиеся данные. В докладе будет рассказано о предобработке данных, использовании н.с. Wavenet для восстановления сигнала из спектрограммы и результатах обучения аудио диффузионной модели для синтеза ЭЭГ-сигналов.

Докладчик: Артем Шмаков

🗒 Как мы свою систему распознавания команд делали

Развитие технологий распознавания речи на устройствах (on-device) прослеживается в большом разнообразии существующих голосовых помощников, в т.ч. устройствах "умного дома". Поскольку большинство используемых моделей распознавания являются нейросетевыми (end-to-end), то для уменьшения их размера и увеличения скорости работы на устройствах с ограниченными вычислительными ресурсами без потери качества распознавания могут быть использованы методы дистилляции и квантизации. В своем докладе Даниил и Артем расскажут об опыте применения этих методов для повышения устойчивости моделей распознавания речи к шумам и адаптации моделей в рамках задачи распознавания голосовых команд.

Докладчики: Артем Болдинов и Даниил Гребенкин

📌Анонс семинара Магистратуры 15 мая (18.10 в 5234):

🗒Статья для разбора:
C. Anil, Y. Wu, A. Andreassen, A. Lewkowycz, V. Misra, V.V. Ramasesh, A.Slone, G.Gur-Ari, E.Dyer, and B. Neyshabur, Exploring Length Generalization in Large Language Models, in Proceedings of the 36th International Conference on Neural Information Processing Systems (NeurIPS 2022). Curran Associates, Inc., 2022

Докладчик 1 Кульбаченко Илья
Докладчик 2 Ковалевский Данил

Гость: Елена Бручес
Ведущий инженер, RRI
Младший научный сотрудник, ИСИ СО РАН
Старший преподаватель, НГУ

Тема:
Как длина контекста влияет на качество языковых моделей?

Ссылка для подключения к трансляции.
Идентификатор конференции: 830 3569 8413
Код доступа: 258209

📌 Анонс семинара Лаборатории 19 мая (10.50 в 5222):

🗒 Семантическая сегментация текстов как распознавание именованных сущностей

Автоматическая сегментация текстов с классификацией сегментов (или topic-aware text segmentation) необходима во многих областях при обработке текста. У качественно отсегментированного текста значительно улучшается читаемость, в нем проще искать информацию. Алгоритмическое решение задачи также избавляет от необходимости в дорогостоящем ручном труде, что особенно ярко проявляется в областях, где для корректной сегментации текста требуются специфичные знания. Актуальные нейросетевые решения, как правило, достаточно сложны с точки зрения архитектуры, что влечет отсутствие гибкости и вычислительную сложность. Вместо модификации архитектуры нейросети предлагается использовать простую модель для распознавания именованных сущностей (классификатор токенов, основанный на трансформер-энкодере) и модифицировать все вокруг нее: разметку, процедуру обучения, постобработку.

Докладчик: Андрей Непомнящих

🗒 Мультиязычное распознавание фонетических транскрипций

Доклад посвящен адаптации концепции иерархического многозадачного обучения к задаче получения фонетической транскрипции из речевого сигнала на основе классификации фонем по таблице IPA. Также в работе рассмотрены подходы на основе внесения вспомогательной информации, с помощью моделей metric learning для формирования векторного представления языка на основе фонетических транскрипций / речевых сигналов.

Докладчик: Антон Легченко

📌Анонс семинара Магистратуры 22 мая (18.10 в 5234):

🗒Статья для разбора:
Albert Gu, Goel Karan, and R'e Christopher, “Efficiently Modeling Long Sequences with Structured State Spaces”, in Proceedings of the Tenth International Conference on Learning Representations, 2022

Докладчик 1 Коробов Александр
Докладчик 2 Аношин Сергей

Гость: Александр Гончаренко
технический директор enot.ai

Тема:
современные подходы к механизму внимания с целью ускорения вычислений

Ссылка для подключения к трансляции.
Идентификатор конференции: 830 3569 8413
Код доступа: 258209

📌 Анонс семинара Лаборатории 16 сентября (16.20 в 4117):

🗒 Установка на НИС ПЦТ

Приглашаем вас на открытие научно-исследовательского семинара ПЦТ. На первом заседании будет проведена установка, в рамках которой мы обсудим основные цели и задачи семинара, требования к участию, критерии оценивания работы и правила получения зачета. В ходе встречи у вас будет возможность задать вопросы, касающиеся организационных моментов, и обсудить ожидания на предстоящий семестр. Ждем всех на установочную встречу!

🗒 Немного о ФИНС и проекте «MULTIPINN»

Физически-информированные нейронные сети (ФИНС) — это подход в машинном обучении, который позволяет интегрировать законы физики в архитектуру нейросетей. Это значительно улучшает качество моделирования нейросетями сложных физических процессов, таких как динамика жидкостей, теплопередача и другие задачи, связанные с дифференциальными уравнениями. Проект «MULTIPINN» направлен на решение сложных проблем с использованием усовершенствованных версий ФИНС. В его рамках разрабатываются методы для более точного и эффективного решения задач с множественными физическими взаимодействиями и сложными геометриями, что открывает новые возможности для научных исследований и инженерных приложений.

Докладчик: Цгоев Чермен

📌 Анонс семинара Лаборатории 23 сентября (16.20 в 4117):

🗒 Vascular Deformation Mapping: анализ локального роста аневризмы брюшной аорты

Аневризма брюшной аорты (АБА) — это серьезное и потенциально смертельное заболевание, характеризующееся патологическим расширением брюшной аорты, что ослабляет стенки сосуда и может привести к разрыву аневризмы, а также летальному исходу. Текущие методы мониторинга роста АБА в клинической практике обладают ограниченной точностью, что зачастую ведёт к некорректной оценке стадии заболевания и повышенному риску для пациентов. В последнее время активно развиваются алгоритмы, основанные на регистрации медицинских изображений. В частности, технология Vascular Deformation Mapping (VDM), которая позволяет количественно оценивать динамику роста аневризмы и прогнозировать дальнейшее развитие патологии. В докладе будут рассмотрены как классические, так и современные нейросетевые подходы к VDM. Также будет представлен опыт применения этой методики для оценки скорости роста АБА, её преимущества перед традиционными методами и дальнейшие планы развития в рамках проекта лаборатории ПЦТ.

Докладчик: Иван Калачев

🗒 Байесовские методы в обнаружении точек изменений состояния

Анализ точек изменений состояния является предметом интереса во многих областях исследований. Этот вид анализа связан с проблемой выявления резких или внезапных изменений в заданном временном ряду. Согласно определению, анализ точек изменений — это метод определения точек изменений, которые представляют собой моменты времени, когда распределение вероятностей временного ряда изменяется. В этом докладе рассматриваются байесовские методы, предназначенные для этой задачи. Данный подход представляет собой вероятностный метод, который позволяет построить распределение вероятностей нахождения точек изменения в данных, опираясь на априорные знания об этих событиях. В докладе рассматриваются два метода для работы с многомерными временными рядами и представлено сравнение работы данного алгоритма с DL-подходами к детекции точек изменения состояния в промышленных данных.

Докладчик: Илья Кульбаченко

🗒 Задача отслеживания крайне медленного объекта с высокой точностью с применением камеры

Отслеживание движения объектов с помощью камеры — распространенная задача, когда речь идет об уличном или внутреннем видеонаблюдении. Алгоритмы по типу optical flow интегрированы в библиотеки по типу OpenCV. Но что делать, если необходимо восстановить координаты в 3D пространстве для объекта, движущегося со скоростью, измеряемой в миллиметрах в секунду? В данном докладе будет рассмотрен комбинированный подход к решению этой задачи с использованием камеры и датчика пространственного положения с применением математических алгоритмов с фокусом на реализации взаимодействия оборудования.

Докладчик: Кирилл Тарасов

📌 Анонс семинара Лаборатории 30 сентября (16.20 в 4117):

🗒 Автоматизация детекции центров колосков на RGB изображениях колоса пшеницы

Пшеница — это важная сельскохозяйственная культура, которая является одним из основных продуктов питания. Количество колосков в колосе растения является значимым признаком при селекции пшеницы, поскольку это свойство непосредственно связано с урожайностью. Помимо количества колосков, их взаимное расположение также может иметь биологическое значение. Доклад посвящен разработке метода для автоматического обнаружения и подсчета центров колосков пшеницы на RGB-изображениях колоса. Будут рассмотрены несколько различных подходов с использованием глубокого обучения для решения этой задачи в области компьютерного зрения.

Докладчик: Игорь Бусов

🗒 Сервис по подбору рецензентов для научных статей

Рецензирование — процедура рассмотрения научных работ учёными-специалистами в той же области. Рецензирование проводится для контроля качества научных статей перед публикацией, а также для диссертаций и дипломных работ. Поиск рецензента часто оказывается трудоёмкой задачей. Некоторые научные журналы уже используют автоматические системы подбора рецензентов, но такие системы обычно являются закрытыми. В прошлом для таких систем использовали сравнение рецензентов по ключевым словам, по системам классификации УДК и MSC, а также графовые методы. В докладе будет представлена RAG архитектура для поиска рецензентов, совмещающая в себе поиск по базе эмбеддингов с формулированием ответа при помощи LLM.

Докладчик: Данил Ковалевский

🗒 Установка на НИС ПЦТ

Во второй половине заседания будет проведена установка, в рамках которой мы обсудим основные цели и задачи семинара, требования к участию, критерии оценивания работы и правила получения зачета. В ходе встречи у вас будет возможность задать вопросы, касающиеся организационных моментов, и обсудить ожидания на предстоящий семестр. Ждем всех студентов математического центра, которые не были 16.09.24.

📌 Анонс семинара Лаборатории 7 октября (16.20 в 4117):

🗒 Разработка ИИ-сервиса для автоматической диагностики МРТ-изображений

В условиях растущего объема медицинских данных и увеличения числа исследований методом МРТ, существует потребность в разработке эффективных инструментов для автоматической диагностики. Настоящий доклад посвящен разработке интеллектуального сервиса, использующего методы глубокого обучения для автоматической разметки МРТ-изображений. Разработанный сервис включает в себя функции автоматической сегментации пораженных участков и предоставляет режим дообучения для улучшения работы модели на новых данных. Важной особенностью системы является режим консенсусной ручной разметки, что позволяет врачам-клиницистам вносить коррективы, повышая точность диагностики. Рассматриваются актуальные задачи в области медицинской обработки данных, преимущества предложенного подхода, а также перспективы интеграции с существующими системами здравоохранения.

Докладчица: Ропперт Екатерина

🗒 Мультимодальность, RAG и проект «Менон»

В мире нейронных сетей, особенно, если говорить о больших языковых моделях, сейчас выделяются два популярных тренда — генерация, дополненная поиском (RAG) и добавление данных, включающих в себя разные модальности. Но как сочетать эти два тренда вместе? Проект «Менон» реализуется по программе «Приоритет 2030», его целью является создание адаптивных и интерпретируемых диалоговых систем, которые способны работать с разными сферами знаний и модальностями. Системы такого рода могут быть полезны для использования на внутренней базе знаний организации, модерации и копирайтинга мультимодальных данных.

Докладчик: Дерунец Роман

🗒 Мультимодальные языковые модели для задач image-to-text на маркетплейсе

Мультимодальные языковые модели, способные обрабатывать визуальные и текстовые данные, находят широкое применение в задачах автоматической генерации текстов на основе изображений. Эти модели позволяют эффективно связывать визуальные признаки с текстовыми описаниями, что делает их полезными в различных областях. В данном докладе рассматривается их адаптация к задачам маркетплейса, таким как создание описания товара и заполнение его свойств. Это помогает улучшить точность информации в карточках товаров и минимизировать влияние ручного ввода, который часто подвержен ошибкам и неполноте данных.

Докладчик: Шарков Сергей

📌 Анонс семинара Лаборатории 14 октября (16.20 в 4117):

🗒 Обучение по расписанию больших языковых моделей

Подход обучения с расписанием (curriculum learning) был вдохновлён традиционным способом обучения человека, когда информация подаётся «от простого к сложному». Предлагается в процессе обучения подавать данные, сортируя их по некоторой метрике сложности. Такой подход позволяет существенно улучшить обобщающую способность моделей в задачах, где такую метрику можно явно определить. В докладе будут изложены различные способы организации CL для больших языковых моделей: основанные на статистических оценках данных, на внутренних оценках модели и на использовании «внешних» графов знаний.

Докладчик: Виктор Урушкин

🗒 Проблемы цифрового фенотипирования, и что мы планируем с ними делать

В рамках гранта по анализу колосьев с помощью компьютерного зрения есть ряд ключевых задач, существующие решения которых недостаточно точны, а некоторые из них даже неуместны для дальнейшего распространения и использования. В своем докладе Никита расскажет про эти задачи, какие проблемы в их текущих решениях существуют, а также о идеях того, как эти проблемы можно решить. В частности, мы поговорим про перспективы применения zero-shot подходов на биологических данных, а также подходов, основанных на предобучении моделей на больших датасетах классификации изображений растений.

Докладчик: Никита Артеменко

🗒 Оценка T2V моделей на основе динамики [обзор статьи]

С развитием Text2Video моделей возникает потребность в более точных методах оценки качества сгенерированных видеороликов. В данной работе представлен новый протокол оценки T2V моделей, названный DEVIL, который акцентирует внимание на динамике видеоконтента. В отличие от существующих методов, сосредоточенных на непрерывности и согласованности, DEVIL оценивает диапазон, управляемость и качество динамики. Новый бенчмарк из текстовых промптов, а также метрики временной детализации позволяют более объективно оценивать производительность моделей по динамике, которая является важным параметром. Экспериментальные результаты показывают высокую корреляцию предложенного метода с человеческими оценками, что делает DEVIL перспективным инструментом для дальнейшего развития технологий T2V моделей.

Докладчик: Павел Перминов