И еще про FL и конф. вычисления
Также на майском созвоне про FL упоминались следующие материалы:
▫️ Евгений Попов, Что такое федеративное обучение: метод, который приведет к взрывному росту искусственного интеллекта, 2025 (~7 минут).
▫️ Stalactite — опенсорс фреймворк для VFL от ИТМО и Сбера: GitHub, пресс-релиз и материалы конференции ACM RecSys ’24: A. Zakharova et al., Stalactite: toolbox for fast prototyping of vertical federated learning systems, 2024 (~10-20 минут).
▫️ Отчёты-описания по направлениям и технологиям PPML от Ассоциации Больших Данных:
— Общее: Технологии защищенной обработки данных: от защиты данных — к развитию ИИ, партнерским отношениям и экосистемной экономике, 2024 (~30 минут);
— Крипто-анклавы: Конфиденциальные вычисления и доверенные среды исполнения, 2024 (~30 минут);
— MPC: Конфиденциальные вычисления и доверенные среды исполнения. Secure Multiparty Computation, 2025 (~30 минут);
— FL: Конфиденциальные вычисления и доверенные среды исполнения. Federated Learning, 2025 (~30 минут);
Также на майском созвоне про FL упоминались следующие материалы:
▫️ Евгений Попов, Что такое федеративное обучение: метод, который приведет к взрывному росту искусственного интеллекта, 2025 (~7 минут).
▫️ Stalactite — опенсорс фреймворк для VFL от ИТМО и Сбера: GitHub, пресс-релиз и материалы конференции ACM RecSys ’24: A. Zakharova et al., Stalactite: toolbox for fast prototyping of vertical federated learning systems, 2024 (~10-20 минут).
▫️ Отчёты-описания по направлениям и технологиям PPML от Ассоциации Больших Данных:
— Общее: Технологии защищенной обработки данных: от защиты данных — к развитию ИИ, партнерским отношениям и экосистемной экономике, 2024 (~30 минут);
— Крипто-анклавы: Конфиденциальные вычисления и доверенные среды исполнения, 2024 (~30 минут);
— MPC: Конфиденциальные вычисления и доверенные среды исполнения. Secure Multiparty Computation, 2025 (~30 минут);
— FL: Конфиденциальные вычисления и доверенные среды исполнения. Federated Learning, 2025 (~30 минут);
Семинар про Scientific ML
▫️ 11 июня (среда), 17:00 МСК
▫️ Google Meet→
▫️ Трансляция YouTube→
Выступает: Михаил Лытаев (СПб ФИЦ РАН, Университет ИТМО)
Тема: Решение обратных задач методами глубокого обучения
Аннотация
Математическая модель позволяет прогнозировать поведение объектов, зная их параметры и параметры внешней среды. Однако зачастую настоящий интерес представляет обратная задача, т.е. определение параметров системы по наблюдаемому (или желаемому) поведению. Классическими примерами обратных задач являются медицинская визуализация, сейсмическая разведка, дистанционное зондирование. Т.е. задачи, в которых непосредственное измерение параметров объекта чрезвычайно дорого или невозможно. Вместо этого интересующие параметры (например, внутреннее строение тела или места залегания полезных ископаемых) пытаются восстановить по данным косвенных измерений. Другим примером являются задачи конструирования метаматериалов и оптимальное управление, когда нужно определить параметры системы таким образом, чтобы она обладала желаемыми свойствами.
Зачастую такие задачи не обладают никакими специальными свойствами, вроде линейности и выпуклости. Кроме того, обратные задачи относятся к классу некорректных: когда нельзя заранее сказать, имеет ли задача единственное физически адекватное решение.
Хотя обратные и некорректные задачи активно изучаются классической теорией и методами функционального анализа, все еще не хватает универсальных методов, подходящих для широкого круга задач. Существующие решения как правило носят узкоспециализированный характер.
Возникшие всего несколько лет назад методы т.н. scientific ML впервые предлагают универсальные методы решения обратных нелинейных задач, используя глубокое обучение. В докладе будут рассмотрены следующие подходы:
— нейронные операторы (DeepONet, FNO), позволяющие обучать обратный нелинейный оператор;
— физически информированные нейронные сети (PINN), позволяющие встраивать физические законы в функцию потерь;
— нейронные дифференциальные уравнения (NeuralODE), позволяющие синтезировать модели на основе дифференциальных уравнений и нейронных сетей;
— автоматическое дифференцирование численных схем, позволяющее строить солверы обратных задач на основе существующих программных реализаций решения прямой задачи.
На простых примерах покажем, как ставятся обратные задачи, в чем заключается суть их некорректность.
Уровень сложности: средний, глубоких знаний в области дифференциальных уравнений, функционального анализа и математической физики не требуется.
Ключевые слова: scientific ML, некорректные задачи, нелинейные операторы, нейронный оператор, нейронное дифференциальное уравнение, автоматическое дифференцирование.
▫️ 11 июня (среда), 17:00 МСК
▫️ Google Meet→
▫️ Трансляция YouTube→
Выступает: Михаил Лытаев (СПб ФИЦ РАН, Университет ИТМО)
Тема: Решение обратных задач методами глубокого обучения
Аннотация
Математическая модель позволяет прогнозировать поведение объектов, зная их параметры и параметры внешней среды. Однако зачастую настоящий интерес представляет обратная задача, т.е. определение параметров системы по наблюдаемому (или желаемому) поведению. Классическими примерами обратных задач являются медицинская визуализация, сейсмическая разведка, дистанционное зондирование. Т.е. задачи, в которых непосредственное измерение параметров объекта чрезвычайно дорого или невозможно. Вместо этого интересующие параметры (например, внутреннее строение тела или места залегания полезных ископаемых) пытаются восстановить по данным косвенных измерений. Другим примером являются задачи конструирования метаматериалов и оптимальное управление, когда нужно определить параметры системы таким образом, чтобы она обладала желаемыми свойствами.
Зачастую такие задачи не обладают никакими специальными свойствами, вроде линейности и выпуклости. Кроме того, обратные задачи относятся к классу некорректных: когда нельзя заранее сказать, имеет ли задача единственное физически адекватное решение.
Хотя обратные и некорректные задачи активно изучаются классической теорией и методами функционального анализа, все еще не хватает универсальных методов, подходящих для широкого круга задач. Существующие решения как правило носят узкоспециализированный характер.
Возникшие всего несколько лет назад методы т.н. scientific ML впервые предлагают универсальные методы решения обратных нелинейных задач, используя глубокое обучение. В докладе будут рассмотрены следующие подходы:
— нейронные операторы (DeepONet, FNO), позволяющие обучать обратный нелинейный оператор;
— физически информированные нейронные сети (PINN), позволяющие встраивать физические законы в функцию потерь;
— нейронные дифференциальные уравнения (NeuralODE), позволяющие синтезировать модели на основе дифференциальных уравнений и нейронных сетей;
— автоматическое дифференцирование численных схем, позволяющее строить солверы обратных задач на основе существующих программных реализаций решения прямой задачи.
На простых примерах покажем, как ставятся обратные задачи, в чем заключается суть их некорректность.
Уровень сложности: средний, глубоких знаний в области дифференциальных уравнений, функционального анализа и математической физики не требуется.
Ключевые слова: scientific ML, некорректные задачи, нелинейные операторы, нейронный оператор, нейронное дифференциальное уравнение, автоматическое дифференцирование.
🔥4
Семинар про многопоточную очередь
▫️ 18 июня (среда), 17:00 МСК
▫️ Google Meet→
▫️ Трансляция YouTube→
Выступает: Виталий Аксенов, доцент ИТМО, руководитель совместной лаборатории ИТМО и ВК по распределённым вычислениям и магистерской программы «Программирование и Искусственный Интеллект». Член программных комитетов SmartData и Sysconf, соорганизатор международной школы SPTDC.
Тема: Конкурентные приоритетные очереди и их применение
Аннотация
Приоритетная очередь является одной из фундаментальных структур данных. Например, она является базовым блоком в алгоритмах поиска кратчайшего пути и планировщиках с приоритетами. Чтобы ускорить эти алгоритмы, хочется использовать параллелизацию, а значит хочется иметь многопоточную версию приоритетной очереди. К сожалению, не всё так просто, так как есть явное узкое место — операция extractMin. Теория говорит, что невозможно избавиться от него и одновременно давать чёткие гарантии на операцию. Что же тогда делать?
В этом докладе мы рассмотрим идеи, которые позволяют ускорить конкурентную приоритетную очередь. Затем, мы выясним, что очередь с точными гарантиями на самом деле не всегда нужна, и, как следствие, можно ослабить требования. Как итог, мы получим быструю очередь MultiQueue, основную идею которой (choice of 2) можно использовать в других областях, например, машинном обучении.
Уровень сложности: средний.
Ключевые слова: многопоточность, структуры данных, приоритетная очередь.
▫️ 18 июня (среда), 17:00 МСК
▫️ Google Meet→
▫️ Трансляция YouTube→
Выступает: Виталий Аксенов, доцент ИТМО, руководитель совместной лаборатории ИТМО и ВК по распределённым вычислениям и магистерской программы «Программирование и Искусственный Интеллект». Член программных комитетов SmartData и Sysconf, соорганизатор международной школы SPTDC.
Тема: Конкурентные приоритетные очереди и их применение
Аннотация
Приоритетная очередь является одной из фундаментальных структур данных. Например, она является базовым блоком в алгоритмах поиска кратчайшего пути и планировщиках с приоритетами. Чтобы ускорить эти алгоритмы, хочется использовать параллелизацию, а значит хочется иметь многопоточную версию приоритетной очереди. К сожалению, не всё так просто, так как есть явное узкое место — операция extractMin. Теория говорит, что невозможно избавиться от него и одновременно давать чёткие гарантии на операцию. Что же тогда делать?
В этом докладе мы рассмотрим идеи, которые позволяют ускорить конкурентную приоритетную очередь. Затем, мы выясним, что очередь с точными гарантиями на самом деле не всегда нужна, и, как следствие, можно ослабить требования. Как итог, мы получим быструю очередь MultiQueue, основную идею которой (choice of 2) можно использовать в других областях, например, машинном обучении.
Уровень сложности: средний.
Ключевые слова: многопоточность, структуры данных, приоритетная очередь.
🔥3