📌 Анонс семинара Лаборатории 2 декабря (16.20 в 4117):
🗒 Оценка эффективности применения лингвистических характеристик при оценке сложности текста [по материалам кандидатской диссертации]
Сложность текста — величина, не имеющая строгого определения, но весьма востребованная с прикладной точки зрения. Использовать для её измерения экспертов — долго и дорого, поэтому попытки автоматизировать вычисление возникли на самых ранних этапах развития вычислительной лингвистики. За прошедшие с тех пор 70 лет алгоритмы оценки значительно развились. Часто в качестве признакового описания в этих алгоритмах используются предвычисленные лингвистические характеристики, ассоциированные со сложностью текста. При этом из-за различий в датасетах и постановках задачи сравнивать полученные разными авторами результаты сложно. В частности, неясно, какие характеристики следует включать в признаковое описание вне зависимости от конкретного датасета. В своём докладе Дмитрий расскажет о разработке алгоритма для оценки эффективности использования различных групп лингвистических характеристик и его применении на материале русского языка.
Докладчик: Дмитрий Морозов
🗒 Иерархический подход в анализе text-to-img моделей
В настоящее время text2img модели для генерации изображений имеют большую популярность во всем мире и применяются в самых различных областях. Однако до конца не изучен вопрос понимания модели запросов (промтов). Часто даже самые лучшие на данный момент генеративные модели могут выдавать некорректные ответы и для нужного результата людям часто приходится конкретизировать промпт, что вызывает неудобства и трудности в эксплуатации моделей. Решением проблемы может стать иерархический подход в анализе и обучении генеративных моделей. Данный подход поможет более подробно изучить работу существующих text2img моделей и обучить их генерировать разнообразные и точные изображения для простых промптов. В данном докладе будут представлены результаты иерархического анализа существующих text2img моделей,таких как Шедеврум, Кадинский, DALLE-3, Stable Diffusion v21 и Midjourney. Более того будут продемонстрированы первые результаты иерархического обучения генерации изображений моделью Stable Diffusion v21.
Докладчик: Владислав Калини
🗒 Сегментация аневризмы брюшной аорты
Эндоваскулярное лечение аневризмы брюшной аорты — это безопасный метод, который заменяет сложные открытые операции. Успех зависит от формы и размеров аорты. Если анатомия сложная, могут быть осложнения: смещение устройства, утечки или тромбы. Чтобы этого избежать, врачи оценивают форму, угол и размеры аорты. Сегментация аневризмы поможет врачам точнее планировать лечение и выбирать наилучшие устройства для каждого пациента.
Докладчик: Роман Козырев
🗒 Оценка эффективности применения лингвистических характеристик при оценке сложности текста [по материалам кандидатской диссертации]
Сложность текста — величина, не имеющая строгого определения, но весьма востребованная с прикладной точки зрения. Использовать для её измерения экспертов — долго и дорого, поэтому попытки автоматизировать вычисление возникли на самых ранних этапах развития вычислительной лингвистики. За прошедшие с тех пор 70 лет алгоритмы оценки значительно развились. Часто в качестве признакового описания в этих алгоритмах используются предвычисленные лингвистические характеристики, ассоциированные со сложностью текста. При этом из-за различий в датасетах и постановках задачи сравнивать полученные разными авторами результаты сложно. В частности, неясно, какие характеристики следует включать в признаковое описание вне зависимости от конкретного датасета. В своём докладе Дмитрий расскажет о разработке алгоритма для оценки эффективности использования различных групп лингвистических характеристик и его применении на материале русского языка.
Докладчик: Дмитрий Морозов
🗒 Иерархический подход в анализе text-to-img моделей
В настоящее время text2img модели для генерации изображений имеют большую популярность во всем мире и применяются в самых различных областях. Однако до конца не изучен вопрос понимания модели запросов (промтов). Часто даже самые лучшие на данный момент генеративные модели могут выдавать некорректные ответы и для нужного результата людям часто приходится конкретизировать промпт, что вызывает неудобства и трудности в эксплуатации моделей. Решением проблемы может стать иерархический подход в анализе и обучении генеративных моделей. Данный подход поможет более подробно изучить работу существующих text2img моделей и обучить их генерировать разнообразные и точные изображения для простых промптов. В данном докладе будут представлены результаты иерархического анализа существующих text2img моделей,таких как Шедеврум, Кадинский, DALLE-3, Stable Diffusion v21 и Midjourney. Более того будут продемонстрированы первые результаты иерархического обучения генерации изображений моделью Stable Diffusion v21.
Докладчик: Владислав Калини
🗒 Сегментация аневризмы брюшной аорты
Эндоваскулярное лечение аневризмы брюшной аорты — это безопасный метод, который заменяет сложные открытые операции. Успех зависит от формы и размеров аорты. Если анатомия сложная, могут быть осложнения: смещение устройства, утечки или тромбы. Чтобы этого избежать, врачи оценивают форму, угол и размеры аорты. Сегментация аневризмы поможет врачам точнее планировать лечение и выбирать наилучшие устройства для каждого пациента.
Докладчик: Роман Козырев
👍6🔥2🆒1
📌 Анонс семинара Лаборатории 9 декабря (16.20 в 4117):
🗒 Компенсация оптических искажений на астрофотографиях
В докладе будут рассмотрены современные вычислительные методы обработки астроснимков планет, полученных в любительских условиях, где качество изображения ограничено атмосферными искажениями. На примере фотографий Юпитера будет продемонстрирован пайплайн, включающий автоматический отбор кадров по метрикам качества (таким как NIQE и BRISQUE), их последующее выравнивание, а также мультикадровую слепую деконволюцию для восстановления мелких деталей. Предложенный подход не требует дорогостоящего профессионального оборудования или адаптивной оптики и позволяет отказаться от ручного подбора параметров, обеспечивая более точное восстановление структуры изображения и снижение шума по сравнению с традиционными любительскими методами.
Докладчик: Константин Москаленко
🗒 Эффективные подходы к регуляризации в физически-информированных нейронных сетях
Физически-информированные нейронные сети (ФИНС) — это подход в машинном обучении, который позволяет интегрировать законы физики в архитектуру нейросетей. Это значительно улучшает качество моделирования нейросетями сложных физических процессов, таких как динамика жидкостей, теплопередача и другие задачи, связанные с дифференциальными уравнениями. При решении дифференциальных уравнений очень важно правильно согласовывать внутренние и граничные условия уравнения, в ФИНС для этого были придуманы различные методы регуляризации. В своем докладе Тимур расскажет что такое регуляризация в ФИНС, какие они бывают, какие существуют проблемы, а также на что будет направлено его исследование в рамках дипломной работы.
Докладчик: Тимур Еникеев
🗒 Учет времени пребывания в реологических моделях крови: действительно ли нам нужно неньютоновское моделирование кровотока в крупных артериях? [разбор статьи]
Вычислительная гидродинамика (CFD) является многообещающим инструментом, который предоставляет информацию о гемодинамике с высоким разрешением. Выбор реологии крови является предположением в моделях CFD и служит предметом обширных дебатов. В этом исследовании предлагается новая гибридная модель ньютоновской и неньютоновской реологии, в которой в областях с высоким временем пребывания активируется процесс разжижения при сдвиге, основанный на экспериментальных данных. Рассматриваются модели брюшной аорты и аневризмы головного мозга на основе изображений, и выполняется CFD-моделирование с высоким разрешением с использованием минимально диссипативного решателя.
Докладчица: Алена Козюрина
🗒 Компенсация оптических искажений на астрофотографиях
В докладе будут рассмотрены современные вычислительные методы обработки астроснимков планет, полученных в любительских условиях, где качество изображения ограничено атмосферными искажениями. На примере фотографий Юпитера будет продемонстрирован пайплайн, включающий автоматический отбор кадров по метрикам качества (таким как NIQE и BRISQUE), их последующее выравнивание, а также мультикадровую слепую деконволюцию для восстановления мелких деталей. Предложенный подход не требует дорогостоящего профессионального оборудования или адаптивной оптики и позволяет отказаться от ручного подбора параметров, обеспечивая более точное восстановление структуры изображения и снижение шума по сравнению с традиционными любительскими методами.
Докладчик: Константин Москаленко
🗒 Эффективные подходы к регуляризации в физически-информированных нейронных сетях
Физически-информированные нейронные сети (ФИНС) — это подход в машинном обучении, который позволяет интегрировать законы физики в архитектуру нейросетей. Это значительно улучшает качество моделирования нейросетями сложных физических процессов, таких как динамика жидкостей, теплопередача и другие задачи, связанные с дифференциальными уравнениями. При решении дифференциальных уравнений очень важно правильно согласовывать внутренние и граничные условия уравнения, в ФИНС для этого были придуманы различные методы регуляризации. В своем докладе Тимур расскажет что такое регуляризация в ФИНС, какие они бывают, какие существуют проблемы, а также на что будет направлено его исследование в рамках дипломной работы.
Докладчик: Тимур Еникеев
🗒 Учет времени пребывания в реологических моделях крови: действительно ли нам нужно неньютоновское моделирование кровотока в крупных артериях? [разбор статьи]
Вычислительная гидродинамика (CFD) является многообещающим инструментом, который предоставляет информацию о гемодинамике с высоким разрешением. Выбор реологии крови является предположением в моделях CFD и служит предметом обширных дебатов. В этом исследовании предлагается новая гибридная модель ньютоновской и неньютоновской реологии, в которой в областях с высоким временем пребывания активируется процесс разжижения при сдвиге, основанный на экспериментальных данных. Рассматриваются модели брюшной аорты и аневризмы головного мозга на основе изображений, и выполняется CFD-моделирование с высоким разрешением с использованием минимально диссипативного решателя.
Докладчица: Алена Козюрина
👍2👏2🤯2🔥1
📌 Анонс семинара Лаборатории 16 декабря (16.20 в 4117):
🗒 Диаризация по спикер-эмбеддингам
Задача диаризации состоит в разделении речевого аудиосигнала на сегменты в соответствии с принадлежностью фрагментов сигнала тому или иному говорящему. Методы и алгоритмы диаризации широко используются на практике при протоколировании онлайн-обсуждений, в устройствах «умного» дома и как подготовительный шаг для идентификации спикера. В своем докладе Данил представит обзор существующих алгоритмов диаризации и общие проблемы, влияющие на качество работы алгоритмов для решения этой задачи. Также в докладе будут предложены идеи по реализации метода разделения спикеров на основе системы распознавания речи.
Докладчик: Гребенкин Данил
🗒 Байесовские нейронные сети
Байесовские нейронные сети (БНС) являются мощным инструментом для моделирования неопределенности принятия решений на основе вероятностных предположений. В отличие от классических нейронных сетей, которые оперируют только с точечными оценками, БНС моделируют распределения параметров, что позволяет учитывать различные возможности исходов, а также степень уверенности в предсказаниях модели. Это помогает снизить риски при принятии решений. В данном докладе будут рассмотрены элементы теории БНС, такие как, например, вариационный байесовский вывод и локальная репараметризация при обучении БНС.
Докладчик: Яшунин Кирилл
🗒 Влияние Invariant Risk Minimization на распределение весов нейронной сети в сравнении с Empirical Risk Minimization
В своем докладе Мирон расскажет о метод минимизации инвариантного риска (Invariant Risk Minimization, IRM) как альтернативу традиционному подходу минимизации эмпирического риска (Empirical Risk Minimization, ERM). IRM направлен на выявление инвариантных признаков, которые остаются стабильными при различных условиях, что позволяет моделям лучше обобщать данные и справляться с изменчивыми средами. В отличие от ERM, который ориентирован на минимизацию ошибки на обучающем наборе данных, IRM акцентирует внимание на том, как обеспечить устойчивость к изменениям в данных, стремясь находить решения, не зависящие от факторов, влияющих на конкретные условия. В ходе исследования Мирон провел экспериментальный анализ воздействия IRM на распределение весов нейронной сети в зависимости от представленных сред. Будет приведен сравнительные результаты применения IRM и ERM, как каждая методика влияет на обучение и адаптацию модели к различным средам. Полученные результаты показали, что IRM не только способствует улучшению обобщающей способности моделей, но и формирует более устойчивое распределение весов, обеспечивая меньшую чувствительность к шумовым факторам.
Докладчик: Братенков Мирон
🗒 Диаризация по спикер-эмбеддингам
Задача диаризации состоит в разделении речевого аудиосигнала на сегменты в соответствии с принадлежностью фрагментов сигнала тому или иному говорящему. Методы и алгоритмы диаризации широко используются на практике при протоколировании онлайн-обсуждений, в устройствах «умного» дома и как подготовительный шаг для идентификации спикера. В своем докладе Данил представит обзор существующих алгоритмов диаризации и общие проблемы, влияющие на качество работы алгоритмов для решения этой задачи. Также в докладе будут предложены идеи по реализации метода разделения спикеров на основе системы распознавания речи.
Докладчик: Гребенкин Данил
🗒 Байесовские нейронные сети
Байесовские нейронные сети (БНС) являются мощным инструментом для моделирования неопределенности принятия решений на основе вероятностных предположений. В отличие от классических нейронных сетей, которые оперируют только с точечными оценками, БНС моделируют распределения параметров, что позволяет учитывать различные возможности исходов, а также степень уверенности в предсказаниях модели. Это помогает снизить риски при принятии решений. В данном докладе будут рассмотрены элементы теории БНС, такие как, например, вариационный байесовский вывод и локальная репараметризация при обучении БНС.
Докладчик: Яшунин Кирилл
🗒 Влияние Invariant Risk Minimization на распределение весов нейронной сети в сравнении с Empirical Risk Minimization
В своем докладе Мирон расскажет о метод минимизации инвариантного риска (Invariant Risk Minimization, IRM) как альтернативу традиционному подходу минимизации эмпирического риска (Empirical Risk Minimization, ERM). IRM направлен на выявление инвариантных признаков, которые остаются стабильными при различных условиях, что позволяет моделям лучше обобщать данные и справляться с изменчивыми средами. В отличие от ERM, который ориентирован на минимизацию ошибки на обучающем наборе данных, IRM акцентирует внимание на том, как обеспечить устойчивость к изменениям в данных, стремясь находить решения, не зависящие от факторов, влияющих на конкретные условия. В ходе исследования Мирон провел экспериментальный анализ воздействия IRM на распределение весов нейронной сети в зависимости от представленных сред. Будет приведен сравнительные результаты применения IRM и ERM, как каждая методика влияет на обучение и адаптацию модели к различным средам. Полученные результаты показали, что IRM не только способствует улучшению обобщающей способности моделей, но и формирует более устойчивое распределение весов, обеспечивая меньшую чувствительность к шумовым факторам.
Докладчик: Братенков Мирон
🤓4🔥3⚡2👍1
📌 Анонс семинара Лаборатории 23 декабря (16.20 в 4117):
🗒 Обзор применения ML в промышленности
Чаще всего, когда речь заходит о машинном обучении, говорят о языковых помощниках, автономных транспортных средствах, генерации изображений и быстром переводе. Однако машинное обучение позволяет решать гораздо более широкий круг задач. В докладе обсудим, очень обзорно, как современные технологии машинного обучения начали применяться в промышленности. Рассмотрим основные тренды, типологию задач и стандартный арсенал алгоритмов, обсудим драйверы и проблемы применения машинного обучения в отрасли.
Докладчик: Чигишев Александр
🗒 Обзор применения ML в промышленности
Чаще всего, когда речь заходит о машинном обучении, говорят о языковых помощниках, автономных транспортных средствах, генерации изображений и быстром переводе. Однако машинное обучение позволяет решать гораздо более широкий круг задач. В докладе обсудим, очень обзорно, как современные технологии машинного обучения начали применяться в промышленности. Рассмотрим основные тренды, типологию задач и стандартный арсенал алгоритмов, обсудим драйверы и проблемы применения машинного обучения в отрасли.
Докладчик: Чигишев Александр
✍4🤩2💘2
Уважаемые коллеги и друзья!
С радостью сообщаем, что уже в этот четверг начинает работу семинар лаборатории ПЦТ. В новом семестре формат мероприятия претерпел некоторые изменения: в частности, чтобы обеспечить более продуктивную и интерактивную среду для общения, организаторы приняли решение сократить общее количество мест. В связи с этим, в первую очередь на семинар приглашаются студенты лаборатории ПЦТ и участники проектов, непосредственно связанных с её деятельностью.
Ближайший семинар состоится 13 февраля, в 16.20, ауд. 5239.
С радостью сообщаем, что уже в этот четверг начинает работу семинар лаборатории ПЦТ. В новом семестре формат мероприятия претерпел некоторые изменения: в частности, чтобы обеспечить более продуктивную и интерактивную среду для общения, организаторы приняли решение сократить общее количество мест. В связи с этим, в первую очередь на семинар приглашаются студенты лаборатории ПЦТ и участники проектов, непосредственно связанных с её деятельностью.
Ближайший семинар состоится 13 февраля, в 16.20, ауд. 5239.
👀6👌5🔥3👍1
📌 Анонс семинара Лаборатории 20 февраля (16.20 в 5239):
🗒 Применение ML при верификации личности. Как определить что перед тобой человек?
На сегодняшний день существует множество онлайн-сервисов, которые требуют прохождения верификации личности (KYC) для доступа к ним. Пользовательские фотографии в таком случае подходят через ряд проверок — от простого позиционирования головы в кадре до детекции фотошопа. В докладе будет рассмотрен пайплайн таких проверок и то, с какими проблемами со стороны обучения и инференса моделей приходится сталкиваться.
Докладчик: Михаил Тютюльников
🗒 Применение ML при верификации личности. Как определить что перед тобой человек?
На сегодняшний день существует множество онлайн-сервисов, которые требуют прохождения верификации личности (KYC) для доступа к ним. Пользовательские фотографии в таком случае подходят через ряд проверок — от простого позиционирования головы в кадре до детекции фотошопа. В докладе будет рассмотрен пайплайн таких проверок и то, с какими проблемами со стороны обучения и инференса моделей приходится сталкиваться.
Докладчик: Михаил Тютюльников
🍾6🔥3❤2😍1
Проблемы, с которыми сталкивается нефтяная промышленность, обусловлены множеством факторов, поскольку эта отрасль характеризуется высокой степенью неопределенности и технологической сложности. Геологические условия, в которых находятся углеводородные ресурсы, могут быть крайне сложными и разнообразными. Отсутствие точной информации о структуре пласта и его свойствах затрудняет процесс добычи и повышает риски. В связи с этим машинное обучение становится все более популярным в нефтяной индустрии. В докладе рассмотрим основные направления применения методов машинного обучения, такие как анализ геологических данных и интерпретация сейсмических исследований, прогнозирование суточной добычи нефти, расчет давления в скважине и определение оптимального состава буровых жидкостей. На примере глушения нефтяных скважин в сложных геолого-физических условиях продемонстрируем, почему машинное обучение зачастую оказывается более эффективным, чем физико-математическое моделирование.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3⚡2🍾2😱1👀1
В докладе ответим на вопрос, почему вибродиагностика является одним из важнейших методов мониторинга и оценки состояния машин и оборудования. Рассмотрим главные задачи вибродиагностики, такие как выявление неисправностей, мониторинг состояния, прогнозирование отказов и оценка эффективности работы оборудования. Также обсудим основные сложности, возникающие при анализе вибрационных сигналов, включая интерпретацию больших объемов данных от датчиков, проблемы с качеством сигналов и недостаточную точность традиционных методов. Покажем, как современные нейросетевые технологии находят применение в вибродиагностике и насколько они успешны в этой области. В заключении расскажем о том, как мы разрабатываем уникальный метод диагностики вращающегося оборудования, сочетая классические подходы и методы машинного обучения.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5🍓5🐳2🆒2❤1🙏1
В условиях стремительного роста числа научных публикаций актуальной задачей становится разработка эффективных инструментов для их систематизации и поиска. Одним из таких инструментов является универсальная десятичная классификация (УДК), которая позволяет структурировать статьи по тематическим областям. Однако ручное присвоение кодов УДК зачастую оказывается неточным или недостаточно детализированным, что снижает эффективность использования этого подхода.
В данной работе предлагается подход к автоматическому присвоению кодов УДК научным статьям с использованием моделей на основе архитектуры BERT. Проведены эксперименты на наборе данных, содержащем более 19 тысяч статей по математике и физике. Разработаны метрики качества, учитывающие иерархическую природу классов, а также методы преобразование иерархических классов в плоские. Дополнительно проведено слепое тестирование с участием экспертов, которое выявило, что часть базы была размечена с ошибками.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5💋4💯2
Стремительный рост числа ежегодно публикуемых научных статей создает значительную нагрузку на редакторов научных журналов и организаторов конференций. В частности, затрудняется быстрый отбор соответствующих рецензентов. Автоматизации этого процесса препятствует отсутствие общедоступной информации о рецензентах уже опубликованных статей в соответствии с требованиями двойного слепого рецензирования. В нашей работе мы стремились сделать первые шаги к разработке системы рекомендаций рецензентов. Исследование проводилось на базе, состоящей из научных статей по математике на русском и английском языках. В основе нашего подхода лежит сравнение семантики целевой статьи с семантикой статей, доступных во внешней библиотеке, с помощью BERT-подобных моделей. Затем наиболее похожие статьи из библиотеки объединяются по авторам, в результате чего получается список потенциальных рецензентов. Проведены эксперименты с переранжированием наиболее релевантных кандидатов при помощи LLM, которые дали неоднозначные результаты. Для оценки качества мы ввели метрики, основанные на системе УДК. В то же время оценки экспертов были преимущественно положительными: большинство рекомендаций системы были оценены от 4 до 5 по пятибальной шкале.
Как сохранить актуальность и доступность толковых словарей в условиях быстрого изменения языка? В докладе будет рассказано как команда использовала LLM для автоматизации генерации и упрощения определений в русском языке, исследовала различные источники и подходы, сравнивая методы генерации толкований. Полученные результаты показывают, что предложенный подход помогает повысить доступность информации и обеспечивает высокое качество определений, делая их язык понятнее для широкой аудитории.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥4👍2💋2🆒2👀1
машинного анализа медицинских изображений и вычислительной гидродинамики
Эндоваскулярный метод в настоящее время является наиболее безопасным подходом к лечению аневризмы брюшной аорты. Для проведения такого лечения необходимо корректно оценивать зональные характеристики аневризмы, а также неблагоприятные факторы, способствующие развитию послеоперационных осложнений. Поэтому в докладе обсудим вопросы, связанные с оценкой морфологии аневризмы и послеоперационных рисков, в том числе методы машинного обучения, которые применяются для анализа морфологии аневризмы аорты, рассмотрим, какие параметры необходимо рассчитывать при предоперационной подготовке, и как на основе геометрических и гемодинамических параметров можно предсказывать послеоперационные осложнения.
Please open Telegram to view this post
VIEW IN TELEGRAM
🍾3🔥2🤯2😎2💊1
Аневризма брюшной аорты (АБА) — это серьезное и потенциально смертельное заболевание, характеризующееся патологическим расширением брюшной аорты, что ослабляет стенки сосуда и может привести к разрыву аневризмы и летальному исходу. Текущие методы мониторинга роста АБА в клинической практике обладают ограниченной точностью, что зачастую ведёт к некорректной оценке стадии заболевания и повышенному риску для пациентов.
В последнее время активно развиваются алгоритмы, основанные на регистрации медицинских изображений. В частности, технология Vascular Deformation Mapping (VDM) позволяет количественно оценивать динамику роста аневризмы и прогнозировать дальнейшее развитие патологии. В докладе будет освещены задачи жёсткой и деформируемой регистрации изображений и их возможные решения. Также будут рассмотрены как классические, так и современные нейросетевые подходы к VDM. Помимо этого, будет рассказано о применении VDM на реальных данных пациентов.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4⚡3🔥2💅2🙏1
Самым популярным методом лечения окклюзий поверхностной бедренной артерии на данный момент является стентирование. У данного метода присутствует один серьезный недостаток: низкая долговечность. Однако для улучшения структуры стентов требуется исследование геометрии артерии при нагрузке, что невозможно провести с помощью имеющихся методов медицинской диагностики. В докладе расскажем о том, какие плюсы имеет трехмерная УЗИ-диагностика, про особенности различных подходов к ее реализации, а также продемонстрируем текущий прогресс разработок лаборатории в данном направлении.
NDA
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5👍3👌2❤🔥1🏆1
Physics-Informed Neural Networks (PINN) — это современный подход к решению задач математической физики, основанный на объединении нейросетей с физическими законами, формализованными через уравнения в частных производных. В рамках доклада будет представлен обзор базовой идеи PINN, продемонстрированы преимущества и ограничения метода по сравнению с классическими численными подходами. Также будет рассмотрен ряд современных решений по стабилизации обучения, ускорению расчетов, работе с произвольной геометрией и масштабированию на большие задачи.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3👏2🌚1💯1😎1
Несмотря на активное развитие области физико-информированных нейронных сетей и широкий спектр
их применений, архитектурные особенности моделей и их влияние на интерпретацию физических процессов остаются недостаточно изученными. По этой причине была рассмотрена задача поиска оптимальной архитектуры PINN. С этой целью был сформирован репрезентативный бенчмарк и разработан метод автоматического проектирования архитектуры на основе эволюционного алгоритма. В результате экспериментов были отобраны лучшие архитектуры для каждой задачи и установлена взаимосвязь между архитектурой и качеством физического моделирования.
Задачи поиска собственных значений и собственных функций дифференциальных операторов встречаются во многих прикладных задачах. Существуют ряд численных методов, успешно решающих такие задачи, однако на данный момент есть необходимость в более экономичном методе поиске собственных значений и в работе была рассмотрена возможность применения физически-информиванных нейронных сетей (ФИНС). Предлагается новый подход решения спектральных задач, основанный на возможностях параметризации ФИНС. Была проведена предварительная апробация предложенного подхода, продемонстрирована возможность локализации собственных значений на заданном интервале и аппроксимации соответствующих собственном функций.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3🆒2😎1
Всем привет 👋🏼
Спешим сообщить, что Научно-исследовательский семинар ЛабПЦТ (далее НИС ПЦТ) начинает свою работу 24.09, в ср в 10.50, ауд. 5251.
В этом году семинар будут вести я, @Yana_Fedotova и Игорь Тагильцев, @Gannitgl. На первом семинаре обсудим оргвопросы и немного поговорим про проекты в ЛабПЦТ)
Просьба всем, кто собирается посещать семинар, заполнить табличку. Вход на семинар по спискам😎 Прошу заполнить до пн:)
Спешим сообщить, что Научно-исследовательский семинар ЛабПЦТ (далее НИС ПЦТ) начинает свою работу 24.09, в ср в 10.50, ауд. 5251.
В этом году семинар будут вести я, @Yana_Fedotova и Игорь Тагильцев, @Gannitgl. На первом семинаре обсудим оргвопросы и немного поговорим про проекты в ЛабПЦТ)
Просьба всем, кто собирается посещать семинар, заполнить табличку. Вход на семинар по спискам😎 Прошу заполнить до пн:)
Telegram
LabADT | NSU
Анонсы семинаров Лаборатории прикладных цифровых технологий ММЦ ММФ НГУ
Сайт: https://mca.nsu.ru/labadt/
Вк: https://vk.com/labcfdai/
Сайт: https://mca.nsu.ru/labadt/
Вк: https://vk.com/labcfdai/
🔥1
📌Анонс семинара Лаборатории 1 октября (10.50 в 407 КПА):
Уравнения в частных производных являются основой моделирования многих физических процессов, однако их численное решение часто требует значительных вычислительных ресурсов. В последние годы для решения подобных уравнений активно применяются физически-информированные нейронные сети (ФИНС), интегрирующие физические законы в процесс обучения. Несмотря на эффективность, ФИНС имеют ряд ограничений, связанных с обучением на сложных геометриях и ограниченной способностью к обобщению.
📝 Трансформерные модели PINTO для неожиданных геометрий
В работе рассматривается использование архитектуры трансформеров в составе физически-информированных моделей для решения задачи обобщения геометрии. В ходе работы для достижения этого был модифицирован Physics-Informed Transformer Neural Operator (PINTO). В отличие от классических подходов, PINTO способен обобщать решения УЧП на новые начальные и граничные условия, отсутствовавшие на этапе обучения. Использование трансформерной модели для предсказания решений уравнений в частных производных на ранее не наблюдаемых геометриях – направление, особенно актуальное для задач суррогатного моделирования и аэродинамического проектирования, где требуется быстрый прогноз характеристик потока при изменении формы препятствий без необходимости повторного переобучения модели.
📣 Виктория Святкина
📝 Исследование применимости архитектур Колмогорова-Арнольда для решения дифференциальных уравнений в рамках технологии ФИНС
Данная работа посвящена исследованию применения новой архитектуры нейронных сетей — сети Колмогорова-Арнольда (KAN) — для решения дифференциальных уравнений в частных производных в рамках технологии ФИНС. В отличие от традиционно используемых в ФИНС многослойных перцептронов (MLP), архитектура KAN потенциально предлагает преимущества в виде лучшей интерпретируемости, меньшего количества параметров и более высокой скорости сходимости. В рамках исследования проводится сравнительный анализ эффективности KAN и MLP на ряде тестовых задач, оценивая такие ключевые показатели, как точность решения, скорость достижения решения, вычислительная стоимость обучения и сложность моделей.
📣 Михаил Матушкин
📝 Решение задач газодинамики с помощью ФИНС
Классические подходы к решению задач газодинамики, несмотря на свою мощь, сталкиваются с фундаментальными вызовами: «проклятие размерности», трудоемкость построения расчетных сеток и сложность интеграции экспериментальных данных. В качестве альтернативы мы исследуем метод ФИНС. Были проведены эксперименты на тестовой задаче Прандтля - Мейера для проверки применимости ФИНС в задачах газовой динамики.
📣 Дарья Пенкина
📝 Моделирование кровотока в аорте с использованием физически-информированных нейронных сетей
Физически-информированные нейронные сети представляют собой перспективный метод для решения сложных гидродинамических задач, однако их эффективность в моделировании кровотока в аорте со сложной геометрией остаётся малоизученной. В данной работе предпринята попытка применить ФИНС для моделирования потока крови в реалистичной геометрии аорты. Для моделирования используются различные архитектуры, обучаемые на основе уравнений Навье-Стокса.
📣 Илья Верхотуров
Уравнения в частных производных являются основой моделирования многих физических процессов, однако их численное решение часто требует значительных вычислительных ресурсов. В последние годы для решения подобных уравнений активно применяются физически-информированные нейронные сети (ФИНС), интегрирующие физические законы в процесс обучения. Несмотря на эффективность, ФИНС имеют ряд ограничений, связанных с обучением на сложных геометриях и ограниченной способностью к обобщению.
📝 Трансформерные модели PINTO для неожиданных геометрий
В работе рассматривается использование архитектуры трансформеров в составе физически-информированных моделей для решения задачи обобщения геометрии. В ходе работы для достижения этого был модифицирован Physics-Informed Transformer Neural Operator (PINTO). В отличие от классических подходов, PINTO способен обобщать решения УЧП на новые начальные и граничные условия, отсутствовавшие на этапе обучения. Использование трансформерной модели для предсказания решений уравнений в частных производных на ранее не наблюдаемых геометриях – направление, особенно актуальное для задач суррогатного моделирования и аэродинамического проектирования, где требуется быстрый прогноз характеристик потока при изменении формы препятствий без необходимости повторного переобучения модели.
📣 Виктория Святкина
📝 Исследование применимости архитектур Колмогорова-Арнольда для решения дифференциальных уравнений в рамках технологии ФИНС
Данная работа посвящена исследованию применения новой архитектуры нейронных сетей — сети Колмогорова-Арнольда (KAN) — для решения дифференциальных уравнений в частных производных в рамках технологии ФИНС. В отличие от традиционно используемых в ФИНС многослойных перцептронов (MLP), архитектура KAN потенциально предлагает преимущества в виде лучшей интерпретируемости, меньшего количества параметров и более высокой скорости сходимости. В рамках исследования проводится сравнительный анализ эффективности KAN и MLP на ряде тестовых задач, оценивая такие ключевые показатели, как точность решения, скорость достижения решения, вычислительная стоимость обучения и сложность моделей.
📣 Михаил Матушкин
📝 Решение задач газодинамики с помощью ФИНС
Классические подходы к решению задач газодинамики, несмотря на свою мощь, сталкиваются с фундаментальными вызовами: «проклятие размерности», трудоемкость построения расчетных сеток и сложность интеграции экспериментальных данных. В качестве альтернативы мы исследуем метод ФИНС. Были проведены эксперименты на тестовой задаче Прандтля - Мейера для проверки применимости ФИНС в задачах газовой динамики.
📣 Дарья Пенкина
📝 Моделирование кровотока в аорте с использованием физически-информированных нейронных сетей
Физически-информированные нейронные сети представляют собой перспективный метод для решения сложных гидродинамических задач, однако их эффективность в моделировании кровотока в аорте со сложной геометрией остаётся малоизученной. В данной работе предпринята попытка применить ФИНС для моделирования потока крови в реалистичной геометрии аорты. Для моделирования используются различные архитектуры, обучаемые на основе уравнений Навье-Стокса.
📣 Илья Верхотуров
mca.nsu.ru
Лаборатория прикладных цифровых технологий
Лаборатория прикладных цифровых технологий Математического центра в Академгородке
❤2
📌Анонс семинара Лаборатории 8 октября (10.50 в 407 КПА):
📝 Решение спектральных задач с применением ФИНС
Задачи нахождения собственных значений и соответствующих собственных функций дифференциальных операторов широко распространены в различных прикладных областях. На сегодняшний день разработан ряд численных методов, способных эффективно решать подобные задачи. Однако остаётся актуальной потребность в более ресурсоэффективных подходах к вычислению собственных значений. В работе рассматривается возможность применения физически-информированных нейронных сетей (ФИНС) для решения спектральных задач. Предложен новый метод, основанный на возможностях параметризации ФИНС, для построения решений. Проведена предварительная проверка работоспособности данного метода, в ходе которой продемонстрирована способность локализовывать собственные значения в заданном интервале, а также аппроксимировать соответствующие собственные функции.
📣 Данил Касьянов
📝 Методы компьютерного зрения и персонализированного CFD моделирования в сердечно-сосудистой хирургии
Начнем цикл докладов про исследования в ЛабПЦТ, связанные с биомедициной💊
📣 Яна Федотова
📝 Решение спектральных задач с применением ФИНС
Задачи нахождения собственных значений и соответствующих собственных функций дифференциальных операторов широко распространены в различных прикладных областях. На сегодняшний день разработан ряд численных методов, способных эффективно решать подобные задачи. Однако остаётся актуальной потребность в более ресурсоэффективных подходах к вычислению собственных значений. В работе рассматривается возможность применения физически-информированных нейронных сетей (ФИНС) для решения спектральных задач. Предложен новый метод, основанный на возможностях параметризации ФИНС, для построения решений. Проведена предварительная проверка работоспособности данного метода, в ходе которой продемонстрирована способность локализовывать собственные значения в заданном интервале, а также аппроксимировать соответствующие собственные функции.
📣 Данил Касьянов
📝 Методы компьютерного зрения и персонализированного CFD моделирования в сердечно-сосудистой хирургии
Начнем цикл докладов про исследования в ЛабПЦТ, связанные с биомедициной💊
📣 Яна Федотова
mca.nsu.ru
Лаборатория прикладных цифровых технологий
Лаборатория прикладных цифровых технологий Математического центра в Академгородке
👍2
📌Анонс семинара Лаборатории 22 октября (10.50 в 407 КПА):
📝 Разработка гибридной нейронной сети для построения центральной линии аорты
Классические алгоритмы извлечения центральной линии сосудов, основанные на геометрических и топологических методах, имеют ряд недостатков. В качестве альтернативы предлагается гибридный нейросетевой алгоритм, объединяющий сверточные и графовые слои для совместного решения задач сегментации аорты и выделения её центральной линии на трёхмерных КТ-снимках. Текущие исследования направлены на создание универсального алгоритма, способного восстанавливать центральную линию в сосудах со сложной топологией.
📣 Кирилл Кириллов
📝 Алгоритм оценки лохматости просвета брюшной аорты с учетом области бифуркации аорты
Высокая частота неблагоприятных клинических исходов связана не только с естественным течением аневризмы, но и с возможными тромбоэмболическими осложнениями при оперативном вмешательстве на брюшной аорте. Данный вид осложнений встречается с частотой 11-14% и, как правило, требует последующих
повторных оперативных вмешательств, что существенно усугубляет течение послеоперационного периода с увеличением риска летального исхода и инвалидизации пациента. В данном контексте врачи хирурги всё больше внимания уделяют нерегулярности границ внутреннего просвета аорты (“лохматая” аорты), которая образуется благодаря тромботическим массам внутри аорты. Предполагается, что степень выраженности «лохматости» может служить предиктором риска тромбоэмболических осложнений при эндоваскулярном протезировании аневризм брюшной аорты (EVAR) и помогать в предоперационном планировании. Разработанный алгоритм позволяет количественно оценивать лохматость просвета патологически изменённой аорты с учётом трёхмерной морфологии её внутренней поверхности. Также будет представлен алгоритм сшивки трубчатых тел, предназначенный для восстановления целостной трёхмерной модели аорты.
📣 Иван Шишмаков
📝 Персонализированное моделирование гемодинамики аневризмы брюшной аорты: влияние модели реологии крови
Аневризма брюшной аорты (АБА) – опасная патология, характеризующаяся локальным расширением стенки сосуда. Современные методы оценки риска ее разрыва, основанные преимущественно на максимальном диаметре, не всегда надежны. Перспективным направлением является пациент-специфичное CFD-моделирование гемодинамики, однако результаты таких расчетов зависят от множества факторов, в том числе и от выбора реологической модели крови. Данное исследование направлено на количественный анализ чувствительности ключевых гемодинамических параметров к выбору модели реологии в персонализированных CFD-расчетах.
📣 Алена Козюрина
📝 Разработка гибридной нейронной сети для построения центральной линии аорты
Классические алгоритмы извлечения центральной линии сосудов, основанные на геометрических и топологических методах, имеют ряд недостатков. В качестве альтернативы предлагается гибридный нейросетевой алгоритм, объединяющий сверточные и графовые слои для совместного решения задач сегментации аорты и выделения её центральной линии на трёхмерных КТ-снимках. Текущие исследования направлены на создание универсального алгоритма, способного восстанавливать центральную линию в сосудах со сложной топологией.
📣 Кирилл Кириллов
📝 Алгоритм оценки лохматости просвета брюшной аорты с учетом области бифуркации аорты
Высокая частота неблагоприятных клинических исходов связана не только с естественным течением аневризмы, но и с возможными тромбоэмболическими осложнениями при оперативном вмешательстве на брюшной аорте. Данный вид осложнений встречается с частотой 11-14% и, как правило, требует последующих
повторных оперативных вмешательств, что существенно усугубляет течение послеоперационного периода с увеличением риска летального исхода и инвалидизации пациента. В данном контексте врачи хирурги всё больше внимания уделяют нерегулярности границ внутреннего просвета аорты (“лохматая” аорты), которая образуется благодаря тромботическим массам внутри аорты. Предполагается, что степень выраженности «лохматости» может служить предиктором риска тромбоэмболических осложнений при эндоваскулярном протезировании аневризм брюшной аорты (EVAR) и помогать в предоперационном планировании. Разработанный алгоритм позволяет количественно оценивать лохматость просвета патологически изменённой аорты с учётом трёхмерной морфологии её внутренней поверхности. Также будет представлен алгоритм сшивки трубчатых тел, предназначенный для восстановления целостной трёхмерной модели аорты.
📣 Иван Шишмаков
📝 Персонализированное моделирование гемодинамики аневризмы брюшной аорты: влияние модели реологии крови
Аневризма брюшной аорты (АБА) – опасная патология, характеризующаяся локальным расширением стенки сосуда. Современные методы оценки риска ее разрыва, основанные преимущественно на максимальном диаметре, не всегда надежны. Перспективным направлением является пациент-специфичное CFD-моделирование гемодинамики, однако результаты таких расчетов зависят от множества факторов, в том числе и от выбора реологической модели крови. Данное исследование направлено на количественный анализ чувствительности ключевых гемодинамических параметров к выбору модели реологии в персонализированных CFD-расчетах.
📣 Алена Козюрина
mca.nsu.ru
Лаборатория прикладных цифровых технологий
Лаборатория прикладных цифровых технологий Математического центра в Академгородке
🔥2
📌Анонс семинара Лаборатории 29 октябя (10.50 в 308‼ КПА):
📝 Математическое моделирование гемодинамики мозга в норме и при патологии.
В настоящий момент сосудистые заболевания головного мозга представляют собой серьезную проблему, требующую разработки новых методов диагностики и лечения. Традиционные подходы, основанные на исследованиях in vivo и in vitro, зачастую дорогостоящи и ограничены в масштабах, поэтому создание математических моделей
сосудистой системы головного мозга, описывающих процессы
гемодинамики и перфузии, является актуальной задачей.
В существующих подходах к моделированию кровотока редко учитывается процесс оксигенации и фильтрации сосудов, несмотря на то, что ткани мозга подвергаются некрозу при патологиях, оказывающих влияние на насыщение кислородом. В данной работе представлена гемодинамическая модель для описания процесса оксигенации тканей, опирающаяся на введенное понятие пористости сосуда, зависящее от типа патологии.
📣 Варвара Заволокина
📝 Виртуальная ангиография: моделирование распространения контрастного вещества в аорте.
Современная диагностика патологий брюшной аорты сильно полагается на данные компьютерной томографической ангиографии (КТА). Однако интерпретация результатов КТА и оценка гемодинамических рисков часто носят субъективный характер. Данное исследование направлено на разработку виртуальной ангиографии - персонализированной CFD-модели, точно воспроизводящей распространение контрастного вещества в кровотоке аорты в различные фазы исследования. В частности, это позволит решить задачу минимизации медикаментозной нагрузки на пациента за счет точного определения минимальной достаточной дозы контрастного вещества и разаработать метод валидации персонализированного моделирования кровотока.
📣 Евгений Шуклин
📝 Vascular Deformation Mapping: анализ локальных деформаций стенки аневризмы аорты с помощью нейронных сетей.
В клинической практике динамику роста АБА принято оценивать по изменению её максимального диаметра. Несмотря на простоту, этот подход является недостаточно информативным для качественного мониторинга. Он не отражает пространственные тренды роста и слабо коррелирует с риском разрыва. Кроме того, из-за ручного характера измерений возможна погрешность до 5 мм. Всё это создаёт потребность в инструменте, способном точно и автоматически оценивать динамику развития АБА.
Перспективным решением этой задачи являются алгоритмы на основе регистрации медицинских изображений. Технология Vascular Deformation Mapping (VDM) позволяет количественно оценить скорость роста аневризмы и спрогнозировать развитие патологии. В докладе будут рассмотрены классические и нейросетевые подходы к реализации VDM, представлены результаты их сравнения и описаны дальнейшие планы развития проекта в лаборатории ПЦТ.
📣 Иван Роздин
📝 Математическое моделирование гемодинамики мозга в норме и при патологии.
В настоящий момент сосудистые заболевания головного мозга представляют собой серьезную проблему, требующую разработки новых методов диагностики и лечения. Традиционные подходы, основанные на исследованиях in vivo и in vitro, зачастую дорогостоящи и ограничены в масштабах, поэтому создание математических моделей
сосудистой системы головного мозга, описывающих процессы
гемодинамики и перфузии, является актуальной задачей.
В существующих подходах к моделированию кровотока редко учитывается процесс оксигенации и фильтрации сосудов, несмотря на то, что ткани мозга подвергаются некрозу при патологиях, оказывающих влияние на насыщение кислородом. В данной работе представлена гемодинамическая модель для описания процесса оксигенации тканей, опирающаяся на введенное понятие пористости сосуда, зависящее от типа патологии.
📣 Варвара Заволокина
📝 Виртуальная ангиография: моделирование распространения контрастного вещества в аорте.
Современная диагностика патологий брюшной аорты сильно полагается на данные компьютерной томографической ангиографии (КТА). Однако интерпретация результатов КТА и оценка гемодинамических рисков часто носят субъективный характер. Данное исследование направлено на разработку виртуальной ангиографии - персонализированной CFD-модели, точно воспроизводящей распространение контрастного вещества в кровотоке аорты в различные фазы исследования. В частности, это позволит решить задачу минимизации медикаментозной нагрузки на пациента за счет точного определения минимальной достаточной дозы контрастного вещества и разаработать метод валидации персонализированного моделирования кровотока.
📣 Евгений Шуклин
📝 Vascular Deformation Mapping: анализ локальных деформаций стенки аневризмы аорты с помощью нейронных сетей.
В клинической практике динамику роста АБА принято оценивать по изменению её максимального диаметра. Несмотря на простоту, этот подход является недостаточно информативным для качественного мониторинга. Он не отражает пространственные тренды роста и слабо коррелирует с риском разрыва. Кроме того, из-за ручного характера измерений возможна погрешность до 5 мм. Всё это создаёт потребность в инструменте, способном точно и автоматически оценивать динамику развития АБА.
Перспективным решением этой задачи являются алгоритмы на основе регистрации медицинских изображений. Технология Vascular Deformation Mapping (VDM) позволяет количественно оценить скорость роста аневризмы и спрогнозировать развитие патологии. В докладе будут рассмотрены классические и нейросетевые подходы к реализации VDM, представлены результаты их сравнения и описаны дальнейшие планы развития проекта в лаборатории ПЦТ.
📣 Иван Роздин
mca.nsu.ru
Лаборатория прикладных цифровых технологий
Лаборатория прикладных цифровых технологий Математического центра в Академгородке
📌Анонс семинара Лаборатории 12 ноября (10.50 в 407 КПА):
📝 Влияние очистки памяти на динамику обучения в задачах с частичной наблюдаемостью.
Задачи, основанные на частично наблюдаемых марковских процессах (POMDP), характеризуются ограниченностью информации о состоянии среды. Это особенно актуально для робототехнических систем, где агент опирается лишь на данные от базовых сенсоров.
Основная трудность заключается в необходимости поддержания агентом внутренней "памяти", важной для принятия решений, при этом остаётся непонятно, какая часть накопленной информации действительно полезна. В современных нейросетевых архитектурах наблюдается тенденция к избыточному росту памяти и вычислений без анализа внутреннего состояния модели.
В проекте рассматривается подход к фильтрации внутренней памяти агента, направленный на удаление нерелевантной информации и повышение эффективности обучения в условиях POMDP.
📣Беспалов Сергей
📝Разработка метода ускорения генерации текста в больших нейросетевых моделях языка.
Современные методы генерации текста, основанные на авторегрессионных моделях, обладают высокой вычислительной сложностью из-за необходимости последовательного вывода токенов. В данной работе предлагается метод неавторегрессионной генерации, использующий прото-токены – обучаемые векторы, которые позволяют генерировать целый текст за один шаг. Модели на основе скрытых возможностей LLM обучаются эффективно представлять всю необходимую информацию о тексте в сжатой форме, что снижает вычислительные затраты на вывод. Основная гипотеза работы заключается в том, что такой подход может обеспечить конкурентоспособное качество генерации с значительно меньшими задержками, а также повысить устойчивость к изменениям в распределении данных. В ходе исследования будет проведено несколько фаз экспериментов, направленных на изучение свойств прото-токенов, адаптацию метода для инструкционных задач и разработку энкодера для предсказания параметров генерации. Ожидается, что метод покажет существенные преимущества по скорости работы, сохраняя при этом качество текстовых выводов.
📣Федор Тикунов
📝 Разработка алгоритма кроссмодального поиска знаний для повышения эффективности генерации высказываний в мультиагентных диалоговых системах.
Актуальность темы обусловлена растущей потребностью в мультимодальных диалоговых системах, для эффективной работы которых необходимы алгоритмы поиска знаний.
Цель работы — разработка алгоритма поиска и интеграции знаний из различных модальностей (текст, изображения и аудио) для повышения релевантности ответов диалоговых систем.
В ходе работы была разработана комбинированная стратегия кроссмодального сопоставления данных в унифицированном векторном пространстве мультимодальных данных, включающей совместное внимание ко всем модальностям и применение «трансформеров» для выявления скрытых связей между ними.
Полученные результаты могут быть применены в разработке интеллектуальных ассистентов, системах поддержки клиентов, виртуальных консультантов и иных платформ, требующих интеграции информации из различных модальностей для обеспечения более глубокого и естественного взаимодействия с пользователем.
📣 Михаил Кулаков
📝 Влияние очистки памяти на динамику обучения в задачах с частичной наблюдаемостью.
Задачи, основанные на частично наблюдаемых марковских процессах (POMDP), характеризуются ограниченностью информации о состоянии среды. Это особенно актуально для робототехнических систем, где агент опирается лишь на данные от базовых сенсоров.
Основная трудность заключается в необходимости поддержания агентом внутренней "памяти", важной для принятия решений, при этом остаётся непонятно, какая часть накопленной информации действительно полезна. В современных нейросетевых архитектурах наблюдается тенденция к избыточному росту памяти и вычислений без анализа внутреннего состояния модели.
В проекте рассматривается подход к фильтрации внутренней памяти агента, направленный на удаление нерелевантной информации и повышение эффективности обучения в условиях POMDP.
📣Беспалов Сергей
📝Разработка метода ускорения генерации текста в больших нейросетевых моделях языка.
Современные методы генерации текста, основанные на авторегрессионных моделях, обладают высокой вычислительной сложностью из-за необходимости последовательного вывода токенов. В данной работе предлагается метод неавторегрессионной генерации, использующий прото-токены – обучаемые векторы, которые позволяют генерировать целый текст за один шаг. Модели на основе скрытых возможностей LLM обучаются эффективно представлять всю необходимую информацию о тексте в сжатой форме, что снижает вычислительные затраты на вывод. Основная гипотеза работы заключается в том, что такой подход может обеспечить конкурентоспособное качество генерации с значительно меньшими задержками, а также повысить устойчивость к изменениям в распределении данных. В ходе исследования будет проведено несколько фаз экспериментов, направленных на изучение свойств прото-токенов, адаптацию метода для инструкционных задач и разработку энкодера для предсказания параметров генерации. Ожидается, что метод покажет существенные преимущества по скорости работы, сохраняя при этом качество текстовых выводов.
📣Федор Тикунов
📝 Разработка алгоритма кроссмодального поиска знаний для повышения эффективности генерации высказываний в мультиагентных диалоговых системах.
Актуальность темы обусловлена растущей потребностью в мультимодальных диалоговых системах, для эффективной работы которых необходимы алгоритмы поиска знаний.
Цель работы — разработка алгоритма поиска и интеграции знаний из различных модальностей (текст, изображения и аудио) для повышения релевантности ответов диалоговых систем.
В ходе работы была разработана комбинированная стратегия кроссмодального сопоставления данных в унифицированном векторном пространстве мультимодальных данных, включающей совместное внимание ко всем модальностям и применение «трансформеров» для выявления скрытых связей между ними.
Полученные результаты могут быть применены в разработке интеллектуальных ассистентов, системах поддержки клиентов, виртуальных консультантов и иных платформ, требующих интеграции информации из различных модальностей для обеспечения более глубокого и естественного взаимодействия с пользователем.
📣 Михаил Кулаков
mca.nsu.ru
Лаборатория прикладных цифровых технологий
Лаборатория прикладных цифровых технологий Математического центра в Академгородке
🔥2😱1