Forwarded from Math and ML stuff
В середине июля в Лондоне прошла летняя школа, для аспирантов и пост-доков - LOGML (London Geometry and Machine Learning). Тематика школы - применение методов геометрии и топологии в глубинном обучении, организатор Imperial College London. В 2021 и 2022 годах она была онлайн, в этом году все сделали очно. Направление школы идеально совпадает с темой моей диссертации, я участвовал в школе во все прошлые итерации, и в этот раз решил провести незабываемую неделю в Лондоне, работая над релевантным мне проектом. Структура школы включает лекции приглашенных спикеров, командные работы над проектами под руководством менторов (профессора, постдоки) и презентации результатов, всё мероприятие проходило в самом Imperial College. Из интересных, запомнившихся проектов были следующие:
Stability or Collapse: Topological Properties of Deep Autoencoders (2021) - применения ТДА для исследования внутренних представлений автоэнкодеров
Pretraining GNN with ELECTRA (2021) - предварительное обучение GNN для задач хим-информатики, но с применением техники предобучения ELECTRA, используемой в NLP
Platonic CNNs (2021) - применение CNN для сигналов со сложной геометрической структурой, например климатические особенности на поверхности Земли (сфере, которую предлагается приблизить икосаэдром - получается архитектура Icosahedral CNNs). Platonic - потому что икосаэдр платоническое тело.
Characterizing generalization and adversarial robustness for set networks (2022) - по мотивам этой статьи, ментором был проф Толга Бирдал; проект по улучшению его подхода для предсказания обобщающей способности CNN на основе геометрии траектории пространства весов в процессе обучения. В этом году среди постерной сессии на школе была работа, которая критиковала статью Толги.
Geometric tools for investigating loss landscapes of deep neural networks (2022) - анализ геометрических свойства ландшафта функции потерь
On the Geometry of Relative Representations (2024) - улучшение подхода к вычислению без дополнительного дообучения новых внутренних представлений нейросеток для более эффективного их последующего использования.
Powerful Graph Neural Networks for Relational Databases (2024) - применение GNN для реляционных графов (k-partite graph), построенных по реляционным базам данных.
Self-supervised learning for Topological Neural Networks (2024) - разработка Self-supervised learning режима обучения для топологических GNN (более подробно про них в этом посте). Отдельное подробное описание этого проекта будет у Паши на канале.
Это далеко не полный список проектов. Как правило, по завершению проектов на школе команды пишут статьи. Впечатлений и новых знакомств море, все подавайтесь на след год тоже. Прикладываю фото со школы
Stability or Collapse: Topological Properties of Deep Autoencoders (2021) - применения ТДА для исследования внутренних представлений автоэнкодеров
Pretraining GNN with ELECTRA (2021) - предварительное обучение GNN для задач хим-информатики, но с применением техники предобучения ELECTRA, используемой в NLP
Platonic CNNs (2021) - применение CNN для сигналов со сложной геометрической структурой, например климатические особенности на поверхности Земли (сфере, которую предлагается приблизить икосаэдром - получается архитектура Icosahedral CNNs). Platonic - потому что икосаэдр платоническое тело.
Characterizing generalization and adversarial robustness for set networks (2022) - по мотивам этой статьи, ментором был проф Толга Бирдал; проект по улучшению его подхода для предсказания обобщающей способности CNN на основе геометрии траектории пространства весов в процессе обучения. В этом году среди постерной сессии на школе была работа, которая критиковала статью Толги.
Geometric tools for investigating loss landscapes of deep neural networks (2022) - анализ геометрических свойства ландшафта функции потерь
On the Geometry of Relative Representations (2024) - улучшение подхода к вычислению без дополнительного дообучения новых внутренних представлений нейросеток для более эффективного их последующего использования.
Powerful Graph Neural Networks for Relational Databases (2024) - применение GNN для реляционных графов (k-partite graph), построенных по реляционным базам данных.
Self-supervised learning for Topological Neural Networks (2024) - разработка Self-supervised learning режима обучения для топологических GNN (более подробно про них в этом посте). Отдельное подробное описание этого проекта будет у Паши на канале.
Это далеко не полный список проектов. Как правило, по завершению проектов на школе команды пишут статьи. Впечатлений и новых знакомств море, все подавайтесь на след год тоже. Прикладываю фото со школы
👍3🔥1
Math and ML stuff
В середине июля в Лондоне прошла летняя школа, для аспирантов и пост-доков - LOGML (London Geometry and Machine Learning). Тематика школы - применение методов геометрии и топологии в глубинном обучении, организатор Imperial College London. В 2021 и 2022 годах…
Хоть я и не поехал на школу очно, у меня получилось принять участие удаленно! Конечно, это не то же самое, что и в живую, но это все еще лучше, чем вообще не участвовать. А все потому, что мой Project Instructor порвал связку, и сам не смог прилететь(
В итоге мы с ним сидели в зуме, пока остальная часть нашей команды тусовала в Лондоне. Мой проект был посвящен self-supervised обучению для топологических сеток, а именно адаптации ЖЕПЫ😈 . В общем-то, работа еще идет, так что stay tuned. Забавно, что в рамках проекта пришлось реализовывать лифтинги графов на клеточные комплексы, а это буквально была задача (уже) прошедшего ICML Topological Deep Learning Challenge (еще неизвестны результаты, но как они появятся - я тут же напишу, а пока можно почитать про прошлогодний челлендж, мы с Германом в нем принимали участие, я писал об этом тут).
В целом это был довольно крутой опыт, даже удаленное участие. Почти все лекции спикеров были мне релевантны (я очень ждал лекцию от Kathryn Hess Bellwald: Cochains are all you need, но именно на ней, и только на ней, у организаторов возникли проблемы с микро, так что я довольствовался только слайдами 😢). Из проектов я бы еще отметил проект Mixed Curvature Graph Neural Networks, из презентации которой я узнал про замечательную статью Learning Mixed-Curvature Representations in Products of Model Spaces, где авторы эмбеддят фичи на вершинах графа в произведение многообразий разных кривизн. Кажется это должно быть очень релевантно проекту по группам и машинному обучению, который сейчас делается под руководством Саши Червова и активно обсуждается тут.
В общем, даже в онлайн формате, школа мне дала новые знакомства и интересные идеи. Это было мое первое участие, и очень надеюсь, что не последнее!
В итоге мы с ним сидели в зуме, пока остальная часть нашей команды тусовала в Лондоне. Мой проект был посвящен self-supervised обучению для топологических сеток, а именно адаптации ЖЕПЫ
В целом это был довольно крутой опыт, даже удаленное участие. Почти все лекции спикеров были мне релевантны (я очень ждал лекцию от Kathryn Hess Bellwald: Cochains are all you need, но именно на ней, и только на ней, у организаторов возникли проблемы с микро, так что я довольствовался только слайдами 😢). Из проектов я бы еще отметил проект Mixed Curvature Graph Neural Networks, из презентации которой я узнал про замечательную статью Learning Mixed-Curvature Representations in Products of Model Spaces, где авторы эмбеддят фичи на вершинах графа в произведение многообразий разных кривизн. Кажется это должно быть очень релевантно проекту по группам и машинному обучению, который сейчас делается под руководством Саши Червова и активно обсуждается тут.
В общем, даже в онлайн формате, школа мне дала новые знакомства и интересные идеи. Это было мое первое участие, и очень надеюсь, что не последнее!
arXiv.org
Self-Supervised Learning from Images with a Joint-Embedding...
This paper demonstrates an approach for learning highly semantic image representations without relying on hand-crafted data-augmentations. We introduce the Image-based Joint-Embedding Predictive...
🔥8❤1
А мы с ребятами в очередной раз устраиваем движ по топологии и анализу данных в Воронеже, но в этот раз с финансовой поддержкой (т.е. мы кажется еще и оплатим проживание или дорогу до Воронежа(может быть даже не в одну сторону)), и вообще это теперь целая мини-школа!
Пройдет это все дело с 9 по 14 сентября, вот сайтик для заинтересованных. Регистрация до 26 августа включительно.
Я лично расскажу что-то про графовые и топологические нейросети (еще пока не знаю что именно, но, видимо, буду опираться на GDL book и тезис Боднара), может быть даже что-то покажу 🫣
Пройдет это все дело с 9 по 14 сентября, вот сайтик для заинтересованных. Регистрация до 26 августа включительно.
Я лично расскажу что-то про графовые и топологические нейросети (еще пока не знаю что именно, но, видимо, буду опираться на GDL book и тезис Боднара), может быть даже что-то покажу 🫣
🔥11
finitely presented
А мы с ребятами в очередной раз устраиваем движ по топологии и анализу данных в Воронеже, но в этот раз с финансовой поддержкой (т.е. мы кажется еще и оплатим проживание или дорогу до Воронежа(может быть даже не в одну сторону)), и вообще это теперь целая…
Кстати, сроки школы сдвинулись на 11-15 сентября, так что она начнется уже завтра! Если вдруг кто-то из Воронежа и очень хотел потусить с пользой, то приходите завтра в ВГУ! Вся информация все еще тут
Google
Топология, комбинаторика и анализ данных
11-15 сентября 2024 в главном корпусе ВГУ пройдет выездная школа для студентов и аспирантов, посвященная топологии, комбинаторике и анализу данных. Молодые специалисты прочитают мини-курсы о современных актуальных исследованиях. В дополнение к лекционным…
🔥5
finitely presented
Кстати, сроки школы сдвинулись на 11-15 сентября, так что она начнется уже завтра! Если вдруг кто-то из Воронежа и очень хотел потусить с пользой, то приходите завтра в ВГУ! Вся информация все еще тут
Уже прошло много дней, а я все еще не написал итоги школы, исправляюсь.
Школа побила по всем параметрам все предыдущие наши мероприятия и прошла просто супер! В этот раз мы собрали ребят буквально со всей России (и даже из Минска!) и отлично провели как учебную, так и внеучебную части. Записи учебной части лежат тут.
А еще про нас написали на сайте ВГУ и ФКН Вышки, такие дела.
Школа побила по всем параметрам все предыдущие наши мероприятия и прошла просто супер! В этот раз мы собрали ребят буквально со всей России (и даже из Минска!) и отлично провели как учебную, так и внеучебную части. Записи учебной части лежат тут.
А еще про нас написали на сайте ВГУ и ФКН Вышки, такие дела.
YouTube
Выездная школа "Топология, комбинаторика и анализ данных"
Share your videos with friends, family, and the world
❤12
📌 Я снова здесь!
Прошло много времени с последнего поста. За это время я дождался визы и оказался в США. Теперь хочется снова делиться мыслями, открытиями и, возможно, даже хаотичными размышлениями.
Канал по-прежнему про математику, машинное обучение, топологию и жизнь. Возможно, местами больше жизни, чем математики. Или наоборот.
Как получится в общем😏
Прошло много времени с последнего поста. За это время я дождался визы и оказался в США. Теперь хочется снова делиться мыслями, открытиями и, возможно, даже хаотичными размышлениями.
Канал по-прежнему про математику, машинное обучение, топологию и жизнь. Возможно, местами больше жизни, чем математики. Или наоборот.
Как получится в общем
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥19
Братик с соавторами опубликовали мощнейший разбор того, как пучки проникают в машинное обучение! Нейронные пучки, гетерофильные графы и даже оригами - все есть! 🔥
❤2⚡2😍2
Forwarded from Math and ML stuff
Claude 3.7? Open AI? Редкоземельный литий? А может быть лучше..117 страничный обзор на приложения нейро-пучков? 🟣
В работе Sheaf theory: from deep geometry to deep learning представлен обзор на пучки (sheaf), начиная с описания математического аппарата, заканчивая приложениями в логике, лингвистике, дизайну алгоритмов, и в анализе данных, особенно для проектирования нейронных сетей.
Topology-fan or ML-enjoyer?
Мета-задача работы: Сделать математический аппарат теории пучков понятным для заинтересованных, но искушенных CS/AI исследователей🕸 , при этом показать алгебраическим геометрам/топологам 🤓 , что их конструкции практически применимы в сельском хозяйстве (stalks).
Что такое Пучки? В общем случае, это способ сопоставить геометрическому объекту G категорию V (конечных множеств, векторных пространств итд). На практике, это нужно для того, чтобы погрузить структуру G в более удобную среду, способную представлять и обрабатывать сигналы, используя всё "вычислительное богатство" категории V для описания G.
Утверждение: Пучки - способ алгебраизации геометрии.
Когда мы работаем с реальными данными, мы хотим найти наилучшую геометрическую структуру для их кодирования, чтобы запускать поверх этой структуры нейронки и извлекать эмбеддинги. Простые отношения кодируются графами, однако уже давно понятно, что для более сложных данных это слишком бедная структура, и нужно кодировать данные гиперграфами, клеточными, комбинаторными, симплициальными комплексами, итд. Этот нарратив лежит в основе Topological deep learning. Все перечисленные структуры эффективно кодируются наиболее общей - частично-упорядоченным множеством poset, далее просто S(G).
Абстрактное определение пучка D: Это функтор из категории S в целевую категорию V (для задач ML, векторных пространств). Для s_1 \in S, есть элемент D(s_1) \in V, называемый stalk (росток) и для s_1 < s_2 (где < отношение порядка) мы имеем отображения D(s_1)📝 D(s_2), называемые restriction map. Для формальной корректности этого определения нужно выполнение еще некоторых условий, подробнее в работе.
Частный случай: для графа G: пучок D(G) определяется как: векторные пространства над вершинами V_n, ребрами V_e, а также линейные отображения из вершин в ребра, обозначим как F_v,e отображение из вершины v в ребро e. Операторы F образуют Лапласиан пучка L (обобщение классического лапласиана для графа).
Определим глобальное сечение: для вершин v и w на концах ребра e, выбираем такие состояния x_v, x_w \in D(G) , что F_ve = F_we (local state), делаем такой выбор состояний для всех вершин. Множество этих состояний T кодирует глобальное "равновесное" состояние системы (global).
Утверждение: Пучки реализуют концептуальный фрейморк и философию "local-to-global'. Локальный консенсус приводит к глобальному равновесию.
Этот взгляд используется как дизайн-паттерн некоторых классических алгоритмов, например в работе A sheaf-theoretic approach to pattern matching and related problems классический алгоритм Кнута–Морриса–Пратта для строк переговаривается через этот фреймворк и сводит к задаче сабграф-матчинга.
Процесс поиска состояния равновесия T очень важен для приложений. Частный случай его поиска это диффузия пучка - динамическая система, градиентный спуск по функции энергии Дирихле, которая измеряет на сколько далеко текущее состояние системы от состояния равновесия, а скорость сходимости диффузии пучка определяется спектром его Лапласиана. И в целом характеристики Лапласиана могут много говорить про свойства геометрической структуры S. Важно подчеркнуть, что нарратив про диффузию это только частный случай, как можно работать с пучками, реально же пучки это намного больше, чем просто история про графы.
Далее, мы обсудим приложения пучков.
В работе Sheaf theory: from deep geometry to deep learning представлен обзор на пучки (sheaf), начиная с описания математического аппарата, заканчивая приложениями в логике, лингвистике, дизайну алгоритмов, и в анализе данных, особенно для проектирования нейронных сетей.
Topology-fan or ML-enjoyer?
Мета-задача работы: Сделать математический аппарат теории пучков понятным для заинтересованных, но искушенных CS/AI исследователей
Что такое Пучки? В общем случае, это способ сопоставить геометрическому объекту G категорию V (конечных множеств, векторных пространств итд). На практике, это нужно для того, чтобы погрузить структуру G в более удобную среду, способную представлять и обрабатывать сигналы, используя всё "вычислительное богатство" категории V для описания G.
Утверждение: Пучки - способ алгебраизации геометрии.
Когда мы работаем с реальными данными, мы хотим найти наилучшую геометрическую структуру для их кодирования, чтобы запускать поверх этой структуры нейронки и извлекать эмбеддинги. Простые отношения кодируются графами, однако уже давно понятно, что для более сложных данных это слишком бедная структура, и нужно кодировать данные гиперграфами, клеточными, комбинаторными, симплициальными комплексами, итд. Этот нарратив лежит в основе Topological deep learning. Все перечисленные структуры эффективно кодируются наиболее общей - частично-упорядоченным множеством poset, далее просто S(G).
Абстрактное определение пучка D: Это функтор из категории S в целевую категорию V (для задач ML, векторных пространств). Для s_1 \in S, есть элемент D(s_1) \in V, называемый stalk (росток) и для s_1 < s_2 (где < отношение порядка) мы имеем отображения D(s_1)
Частный случай: для графа G: пучок D(G) определяется как: векторные пространства над вершинами V_n, ребрами V_e, а также линейные отображения из вершин в ребра, обозначим как F_v,e отображение из вершины v в ребро e. Операторы F образуют Лапласиан пучка L (обобщение классического лапласиана для графа).
Определим глобальное сечение: для вершин v и w на концах ребра e, выбираем такие состояния x_v, x_w \in D(G) , что F_ve = F_we (local state), делаем такой выбор состояний для всех вершин. Множество этих состояний T кодирует глобальное "равновесное" состояние системы (global).
Утверждение: Пучки реализуют концептуальный фрейморк и философию "local-to-global'. Локальный консенсус приводит к глобальному равновесию.
Этот взгляд используется как дизайн-паттерн некоторых классических алгоритмов, например в работе A sheaf-theoretic approach to pattern matching and related problems классический алгоритм Кнута–Морриса–Пратта для строк переговаривается через этот фреймворк и сводит к задаче сабграф-матчинга.
Процесс поиска состояния равновесия T очень важен для приложений. Частный случай его поиска это диффузия пучка - динамическая система, градиентный спуск по функции энергии Дирихле, которая измеряет на сколько далеко текущее состояние системы от состояния равновесия, а скорость сходимости диффузии пучка определяется спектром его Лапласиана. И в целом характеристики Лапласиана могут много говорить про свойства геометрической структуры S. Важно подчеркнуть, что нарратив про диффузию это только частный случай, как можно работать с пучками, реально же пучки это намного больше, чем просто история про графы.
Далее, мы обсудим приложения пучков.
Please open Telegram to view this post
VIEW IN TELEGRAM
arXiv.org
Sheaf theory: from deep geometry to deep learning
This paper provides an overview of the applications of sheaf theory in deep learning, data science, and computer science in general. The primary text of this work serves as a friendly introduction...
🔥3👍2❤1
Forwarded from Math and ML stuff
А действительно ли есть полезные применения пучков?
Зависит от того, что мы понимаем под полезными.
Обзор содержит широкое описание приложений в разных областях, в частности для интуиционистской логике, лямбда-исчисления, вычислительной линвистики, для теории ТДА итд. Но здесь я сфокусируюсь на примерах из ML/DS.
Одним из первых применять пучки к обработке данных предложил Роберт Грист (советую его топовое введение в прикладную топологию). В 2013 он применял пучки к задачам, связанным с потоками в сетях. Далее, Карри концептуально развил направление пучков и ко-пучков на клеточных комплексах, что легко в основу современных приложений.
Нейронные пучки. Архитектура графовой свёрточной сети (GCN) с индуктивным смещением на основе пучков - Sheaf Neural Networks впервые была предложена Гебхардом (соавтор обзора), однако он не "выучивает" пучок, т.е. не подбирает restriction map на основе цели обучения, а просто "вручную" инициализирует restriction map. Мне кажется, что отдельная важная тема исследований - поиск хорошего способа инициализации restriction map без обучения на основе знаний из предметной области.
🇹🇫 🔥 Направление дизайна пучковых DNN архитектур расширили Боднар и Бронштейн, предложив архитектуру Neural Sheaf Diffusion (NSD), где restriction map F (почти честно, но нет) выучиваются через диффузию. Они показали, что NSD с лапласианом пучка выразительнее GCN с обычным лапласином графа, NSD также решает важную (так принято считать в комьюнити, на самом деле, это дискуссионный вопрос, есть ли такая проблема, я к этому скептичен) проблему работы с гетерофильными графами. Это подробно изложено в must-read диссертации Боднара, настоятельно советую его почитать, это пример по-настоящему крутой диссертации. В итоге, они открыли бездну в мир нейро-пучков и их модификаций, и тут понеслось...
Далее Барберо комбинирует способы получения пучка, сначала он строит отображения на основе данных детерминированным способом как Гебхард, а потом доучивает как Боднар, эксперименты показывают прирост перформанса на классификации узлов.
В статье Sheaf Attention Network предложено добавлять в пучки на графах механизм внимания. В борьбе с овер-параметризацией в Bundle Neural Networks предлагается заменить пучок на векторные расслоения. Пучки также определяются и на гиперграфах - Sheaf Hypergraph Convolutional Network. Еще предложено улучшать NSD через интеграцию особых positional encoding для вершин графа.
В этом канале я накидал еще больше ссылок на DNN-архитектуры на основе пучков. Там я просто собираю статьи без их разборов.
Среди теоретических приложений мне показалось необычным статья того самого Роберта Гриста про приложения пучков к теории оригами - Unified Origami Kinematics via Cosheaf Homology.
Приложения в народном хозяйстве. Есть и совсем конкретные приложения пучков для анализа корпусов документов, для графовых рекомендательных систем, к задаче community detection на основе топологии графа. В естественных науках предложено приложение пучков к описанию физических систем моделирующих динамику молекул. Нетрудно заметить, что логика пучков заточена под анализ локально-глобальных отношений, это мотивирует применять пучки к федеративному обучению, как сделано в FedSheafHN.
Гиперпараметром архитектуры NSD является размерность векторных пространств на стеблях (ширина стебля). Более высокая ширина стебля обеспечивает более высокую выразительную силу модели, но увеличивает риск переобучения.
Открытая практическая проблема: недостача эмпирических исследований того, как должна масштабироваться ширина стебля при увеличении размера графа для получения приемлемого перформанса. И в целом, есть существенная недостача применений пучков для больших графов.
Обзор содержит широкое описание приложений в разных областях, в частности для интуиционистской логике, лямбда-исчисления, вычислительной линвистики, для теории ТДА итд. Но здесь я сфокусируюсь на примерах из ML/DS.
Одним из первых применять пучки к обработке данных предложил Роберт Грист (советую его топовое введение в прикладную топологию). В 2013 он применял пучки к задачам, связанным с потоками в сетях. Далее, Карри концептуально развил направление пучков и ко-пучков на клеточных комплексах, что легко в основу современных приложений.
Нейронные пучки. Архитектура графовой свёрточной сети (GCN) с индуктивным смещением на основе пучков - Sheaf Neural Networks впервые была предложена Гебхардом (соавтор обзора), однако он не "выучивает" пучок, т.е. не подбирает restriction map на основе цели обучения, а просто "вручную" инициализирует restriction map. Мне кажется, что отдельная важная тема исследований - поиск хорошего способа инициализации restriction map без обучения на основе знаний из предметной области.
Далее Барберо комбинирует способы получения пучка, сначала он строит отображения на основе данных детерминированным способом как Гебхард, а потом доучивает как Боднар, эксперименты показывают прирост перформанса на классификации узлов.
В статье Sheaf Attention Network предложено добавлять в пучки на графах механизм внимания. В борьбе с овер-параметризацией в Bundle Neural Networks предлагается заменить пучок на векторные расслоения. Пучки также определяются и на гиперграфах - Sheaf Hypergraph Convolutional Network. Еще предложено улучшать NSD через интеграцию особых positional encoding для вершин графа.
В этом канале я накидал еще больше ссылок на DNN-архитектуры на основе пучков. Там я просто собираю статьи без их разборов.
Среди теоретических приложений мне показалось необычным статья того самого Роберта Гриста про приложения пучков к теории оригами - Unified Origami Kinematics via Cosheaf Homology.
Приложения в народном хозяйстве. Есть и совсем конкретные приложения пучков для анализа корпусов документов, для графовых рекомендательных систем, к задаче community detection на основе топологии графа. В естественных науках предложено приложение пучков к описанию физических систем моделирующих динамику молекул. Нетрудно заметить, что логика пучков заточена под анализ локально-глобальных отношений, это мотивирует применять пучки к федеративному обучению, как сделано в FedSheafHN.
Гиперпараметром архитектуры NSD является размерность векторных пространств на стеблях (ширина стебля). Более высокая ширина стебля обеспечивает более высокую выразительную силу модели, но увеличивает риск переобучения.
Открытая практическая проблема: недостача эмпирических исследований того, как должна масштабироваться ширина стебля при увеличении размера графа для получения приемлемого перформанса. И в целом, есть существенная недостача применений пучков для больших графов.
Please open Telegram to view this post
VIEW IN TELEGRAM
arXiv.org
Sheaf theory: from deep geometry to deep learning
This paper provides an overview of the applications of sheaf theory in deep learning, data science, and computer science in general. The primary text of this work serves as a friendly introduction...
🔥5👍2🤔2
В Москве уже 2 часа ночи. Но что же может быть лучше, чем сон? Конечно же 8 тестовый запуск ракеты Starship, который произойдет через полчаса! 🚀 🔥
Трансляция будет прямо на сайте SpaceX, вот тут!
(На фото: последствия последнего запуска, случившегося прямо в мой первый день пребывания тут)
Трансляция будет прямо на сайте SpaceX, вот тут!
(На фото: последствия последнего запуска, случившегося прямо в мой первый день пребывания тут)
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥6
Открыта регистрация на LOGML 2025! 🎉
London Geometry and Machine Learning Summer School — это ежегодная школа по геометрии в ML, где участники не только слушают лекции топовых спикеров, но и работают над проектами, которые часто перерастают в коллаборации и публикации.
За неделю работы участники погружаются в исследовательские проекты, а также слушают лекции от ведущих ученых (в этом году почти все из академии, но в 2021-м, например, было много спикеров и из индустрии: Twitter, Nvidia, Google, Facebook). В финале — презентация полученных результатов.
В прошлом году мне удалось поучаствовать, правда дистанционно (пост об этом). Об опыте очного участия можно почитать у Германа. Говоря про свой опыт участия, мы все еще работаем над проектом, и надеемся завершить его к дедлайну NeurIPS.
В этом году, как мне кажется, увеличилось число проектов, связанных с Life Sciences:
- Iterative Reasoning in Graph Neural Networks for Drug Repurposing
- On Depth in Geometric Deep Learning: Scaling Up Biomolecular Analysis Using Deep Neural k-Forms
- Topological data analysis (TDA) to elucidate protein functions via variant landscapes
- Topological Machine Learning for Brain Dynamics
Есть проекты и по трансформерам:
- Beyond Text: Exploring Adaptations of LLMs for Graph-Based Tasks
- Symmetry, degeneracy and effective dimensions of neural networks
Из необычного — проект Finite groups and the Cayley graph representation, such that ML can then help identify symmetry from generators, в котором предлагается поискать разными нейросетками различные закономерности между свойствами графов Кэли и свойствами соответствующих им абелевых групп. Интересный пример ML for Mathematics, направления, которое становится все популярнее.
Дедлайн подачи — 6 апреля. Highly recommended to apply!🗓
London Geometry and Machine Learning Summer School — это ежегодная школа по геометрии в ML, где участники не только слушают лекции топовых спикеров, но и работают над проектами, которые часто перерастают в коллаборации и публикации.
За неделю работы участники погружаются в исследовательские проекты, а также слушают лекции от ведущих ученых (в этом году почти все из академии, но в 2021-м, например, было много спикеров и из индустрии: Twitter, Nvidia, Google, Facebook). В финале — презентация полученных результатов.
В прошлом году мне удалось поучаствовать, правда дистанционно (пост об этом). Об опыте очного участия можно почитать у Германа. Говоря про свой опыт участия, мы все еще работаем над проектом, и надеемся завершить его к дедлайну NeurIPS.
В этом году, как мне кажется, увеличилось число проектов, связанных с Life Sciences:
- Iterative Reasoning in Graph Neural Networks for Drug Repurposing
- On Depth in Geometric Deep Learning: Scaling Up Biomolecular Analysis Using Deep Neural k-Forms
- Topological data analysis (TDA) to elucidate protein functions via variant landscapes
- Topological Machine Learning for Brain Dynamics
Есть проекты и по трансформерам:
- Beyond Text: Exploring Adaptations of LLMs for Graph-Based Tasks
- Symmetry, degeneracy and effective dimensions of neural networks
Из необычного — проект Finite groups and the Cayley graph representation, such that ML can then help identify symmetry from generators, в котором предлагается поискать разными нейросетками различные закономерности между свойствами графов Кэли и свойствами соответствующих им абелевых групп. Интересный пример ML for Mathematics, направления, которое становится все популярнее.
Дедлайн подачи — 6 апреля. Highly recommended to apply!
Please open Telegram to view this post
VIEW IN TELEGRAM
www.logml.ai
LOGML 2025
London Geometry and Machine Learning Summer School, July 7-11 2025
❤5
С 17 по 21 марта я буду участвовать в воркшопе «Matroids, Rigidity, and Algebraic Statistics», который пройдет в ICERM!
Institute for Computational and Experimental Research in Mathematics — это институт, специализирующийся на вычислительной и экспериментальной математике, финансируемый NSF и базирующийся в Брауновском университете. Он организует воркшопы, семестровые и годовые программы по самым разным областям — от машинного обучения и оптимизации до алгебраической геометрии, топологии и теории графов.
Так, в 2021 году в ICERM прошел воркшоп “Combinatorial Algebraic Geometry”, организатором которого был June Huh, который получил Филдсовскую премию 2022 года как раз за связи между алгебраической геометрией и комбинаторикой.
В среду я выступлю с коротким докладом: Topological Analysis of Activation Functions, где я расскажу, как можно встроить в нейросети топологические преобразования данных так, чтобы изменять топологию входного пространства в нужную сторону.
Проводим весенние каникулы с пользой!🔥
На фото: Капитолий Род-Айленда в Провиденсе.
Institute for Computational and Experimental Research in Mathematics — это институт, специализирующийся на вычислительной и экспериментальной математике, финансируемый NSF и базирующийся в Брауновском университете. Он организует воркшопы, семестровые и годовые программы по самым разным областям — от машинного обучения и оптимизации до алгебраической геометрии, топологии и теории графов.
Так, в 2021 году в ICERM прошел воркшоп “Combinatorial Algebraic Geometry”, организатором которого был June Huh, который получил Филдсовскую премию 2022 года как раз за связи между алгебраической геометрией и комбинаторикой.
В среду я выступлю с коротким докладом: Topological Analysis of Activation Functions, где я расскажу, как можно встроить в нейросети топологические преобразования данных так, чтобы изменять топологию входного пространства в нужную сторону.
Проводим весенние каникулы с пользой!
На фото: Капитолий Род-Айленда в Провиденсе.
Please open Telegram to view this post
VIEW IN TELEGRAM
🤩6👍4