finitely presented
156 subscribers
41 photos
7 videos
45 links
Download Telegram
Forwarded from Math and ML stuff
В середине июля в Лондоне прошла летняя школа, для аспирантов и пост-доков - LOGML (London Geometry and Machine Learning). Тематика школы - применение методов геометрии и топологии в глубинном обучении, организатор Imperial College London. В 2021 и 2022 годах она была онлайн, в этом году все сделали очно. Направление школы идеально совпадает с темой моей диссертации, я участвовал в школе во все прошлые итерации, и в этот раз решил провести незабываемую неделю в Лондоне, работая над релевантным мне проектом. Структура школы включает лекции приглашенных спикеров, командные работы над проектами под руководством менторов (профессора, постдоки) и презентации результатов, всё мероприятие проходило в самом Imperial College. Из интересных, запомнившихся проектов были следующие:

Stability or Collapse: Topological Properties of Deep Autoencoders (2021) - применения ТДА для исследования внутренних представлений автоэнкодеров

Pretraining GNN with ELECTRA (2021) - предварительное обучение GNN для задач хим-информатики, но с применением техники предобучения ELECTRA, используемой в NLP

Platonic CNNs (2021) - применение CNN для сигналов со сложной геометрической структурой, например климатические особенности на поверхности Земли (сфере, которую предлагается приблизить икосаэдром - получается архитектура Icosahedral CNNs). Platonic - потому что икосаэдр платоническое тело.

Characterizing generalization and adversarial robustness for set networks (2022) - по мотивам этой статьи, ментором был проф Толга Бирдал; проект по улучшению его подхода для предсказания обобщающей способности CNN на основе геометрии траектории пространства весов в процессе обучения. В этом году среди постерной сессии на школе была работа, которая критиковала статью Толги.

Geometric tools for investigating loss landscapes of deep neural networks (2022) - анализ геометрических свойства ландшафта функции потерь

On the Geometry of Relative Representations (2024) - улучшение подхода к вычислению без дополнительного дообучения новых внутренних представлений нейросеток для более эффективного их последующего использования.

Powerful Graph Neural Networks for Relational Databases (2024) - применение GNN для реляционных графов (k-partite graph), построенных по реляционным базам данных.

Self-supervised learning for Topological Neural Networks (2024) - разработка Self-supervised learning режима обучения для топологических GNN (более подробно про них в этом посте). Отдельное подробное описание этого проекта будет у Паши на канале.

Это далеко не полный список проектов. Как правило, по завершению проектов на школе команды пишут статьи. Впечатлений и новых знакомств море, все подавайтесь на след год тоже. Прикладываю фото со школы
👍3🔥1
Math and ML stuff
В середине июля в Лондоне прошла летняя школа, для аспирантов и пост-доков - LOGML (London Geometry and Machine Learning). Тематика школы - применение методов геометрии и топологии в глубинном обучении, организатор Imperial College London. В 2021 и 2022 годах…
Хоть я и не поехал на школу очно, у меня получилось принять участие удаленно! Конечно, это не то же самое, что и в живую, но это все еще лучше, чем вообще не участвовать. А все потому, что мой Project Instructor порвал связку, и сам не смог прилететь(

В итоге мы с ним сидели в зуме, пока остальная часть нашей команды тусовала в Лондоне. Мой проект был посвящен self-supervised обучению для топологических сеток, а именно адаптации ЖЕПЫ 😈. В общем-то, работа еще идет, так что stay tuned. Забавно, что в рамках проекта пришлось реализовывать лифтинги графов на клеточные комплексы, а это буквально была задача (уже) прошедшего ICML Topological Deep Learning Challenge (еще неизвестны результаты, но как они появятся - я тут же напишу, а пока можно почитать про прошлогодний челлендж, мы с Германом в нем принимали участие, я писал об этом тут).

В целом это был довольно крутой опыт, даже удаленное участие. Почти все лекции спикеров были мне релевантны (я очень ждал лекцию от Kathryn Hess Bellwald: Cochains are all you need, но именно на ней, и только на ней, у организаторов возникли проблемы с микро, так что я довольствовался только слайдами 😢). Из проектов я бы еще отметил проект Mixed Curvature Graph Neural Networks, из презентации которой я узнал про замечательную статью Learning Mixed-Curvature Representations in Products of Model Spaces, где авторы эмбеддят фичи на вершинах графа в произведение многообразий разных кривизн. Кажется это должно быть очень релевантно проекту по группам и машинному обучению, который сейчас делается под руководством Саши Червова и активно обсуждается тут.

В общем, даже в онлайн формате, школа мне дала новые знакомства и интересные идеи. Это было мое первое участие, и очень надеюсь, что не последнее!
🔥81
😁7😐4💯1
А мы с ребятами в очередной раз устраиваем движ по топологии и анализу данных в Воронеже, но в этот раз с финансовой поддержкой (т.е. мы кажется еще и оплатим проживание или дорогу до Воронежа(может быть даже не в одну сторону)), и вообще это теперь целая мини-школа!

Пройдет это все дело с 9 по 14 сентября, вот сайтик для заинтересованных. Регистрация до 26 августа включительно.

Я лично расскажу что-то про графовые и топологические нейросети (еще пока не знаю что именно, но, видимо, буду опираться на GDL book и тезис Боднара), может быть даже что-то покажу 🫣
🔥11
finitely presented
Кстати, сроки школы сдвинулись на 11-15 сентября, так что она начнется уже завтра! Если вдруг кто-то из Воронежа и очень хотел потусить с пользой, то приходите завтра в ВГУ! Вся информация все еще тут
Уже прошло много дней, а я все еще не написал итоги школы, исправляюсь.

Школа побила по всем параметрам все предыдущие наши мероприятия и прошла просто супер! В этот раз мы собрали ребят буквально со всей России (и даже из Минска!) и отлично провели как учебную, так и внеучебную части. Записи учебной части лежат тут.

А еще про нас написали на сайте ВГУ и ФКН Вышки, такие дела.
12
Channel photo updated
Channel name was changed to «finitely presented»
📌 Я снова здесь!

Прошло много времени с последнего поста. За это время я дождался визы и оказался в США. Теперь хочется снова делиться мыслями, открытиями и, возможно, даже хаотичными размышлениями.

Канал по-прежнему про математику, машинное обучение, топологию и жизнь. Возможно, местами больше жизни, чем математики. Или наоборот.

Как получится в общем 😏
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥19
Братик с соавторами опубликовали мощнейший разбор того, как пучки проникают в машинное обучение! Нейронные пучки, гетерофильные графы и даже оригами - все есть! 🔥
22😍2
Forwarded from Math and ML stuff
Claude 3.7? Open AI? Редкоземельный литий? А может быть лучше..117 страничный обзор на приложения нейро-пучков? 🟣

В работе Sheaf theory: from deep geometry to deep learning представлен обзор на пучки (sheaf), начиная с описания математического аппарата, заканчивая приложениями в логике, лингвистике, дизайну алгоритмов, и в анализе данных, особенно для проектирования нейронных сетей.

Topology-fan or ML-enjoyer?

Мета-задача работы
: Сделать математический аппарат теории пучков понятным для заинтересованных, но искушенных CS/AI исследователей 🕸, при этом показать алгебраическим геометрам/топологам 🤓, что их конструкции практически применимы в сельском хозяйстве (stalks).

Что такое Пучки? В общем случае, это способ сопоставить геометрическому объекту G категорию V (конечных множеств, векторных пространств итд). На практике, это нужно для того, чтобы погрузить структуру G в более удобную среду, способную представлять и обрабатывать сигналы, используя всё "вычислительное богатство" категории V для описания G.

Утверждение: Пучки - способ алгебраизации геометрии.

Когда мы работаем с реальными данными, мы хотим найти наилучшую геометрическую структуру для их кодирования, чтобы запускать поверх этой структуры нейронки и извлекать эмбеддинги. Простые отношения кодируются графами, однако уже давно понятно, что для более сложных данных это слишком бедная структура, и нужно кодировать данные гиперграфами, клеточными, комбинаторными, симплициальными комплексами, итд. Этот нарратив лежит в основе Topological deep learning. Все перечисленные структуры эффективно кодируются наиболее общей - частично-упорядоченным множеством poset, далее просто S(G).

Абстрактное определение пучка D: Это функтор из категории S в целевую категорию V (для задач ML, векторных пространств). Для s_1 \in S, есть элемент D(s_1) \in V, называемый stalk (росток) и для s_1 < s_2 (где < отношение порядка) мы имеем отображения D(s_1) 📝 D(s_2), называемые restriction map. Для формальной корректности этого определения нужно выполнение еще некоторых условий, подробнее в работе.

Частный случай: для графа G: пучок D(G) определяется как: векторные пространства над вершинами V_n, ребрами V_e, а также линейные отображения из вершин в ребра, обозначим как F_v,e отображение из вершины v в ребро e. Операторы F образуют Лапласиан пучка L (обобщение классического лапласиана для графа).

Определим глобальное сечение: для вершин v и w на концах ребра e, выбираем такие состояния x_v, x_w \in D(G) , что F_ve = F_we (local state), делаем такой выбор состояний для всех вершин. Множество этих состояний T кодирует глобальное "равновесное" состояние системы (global).

Утверждение: Пучки реализуют концептуальный фрейморк и философию "local-to-global'. Локальный консенсус приводит к глобальному равновесию.

Этот взгляд используется как дизайн-паттерн некоторых классических алгоритмов, например в работе A sheaf-theoretic approach to pattern matching and related problems классический алгоритм Кнута–Морриса–Пратта для строк переговаривается через этот фреймворк и сводит к задаче сабграф-матчинга.

Процесс поиска состояния равновесия T очень важен для приложений. Частный случай его поиска это диффузия пучка - динамическая система, градиентный спуск по функции энергии Дирихле, которая измеряет на сколько далеко текущее состояние системы от состояния равновесия, а скорость сходимости диффузии пучка определяется спектром его Лапласиана. И в целом характеристики Лапласиана могут много говорить про свойства геометрической структуры S. Важно подчеркнуть, что нарратив про диффузию это только частный случай, как можно работать с пучками, реально же пучки это намного больше, чем просто история про графы.

Далее, мы обсудим приложения пучков.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3👍21
Forwarded from Math and ML stuff
А действительно ли есть полезные применения пучков?
Зависит от того, что мы понимаем под полезными.

Обзор содержит широкое описание приложений в разных областях, в частности для интуиционистской логике, лямбда-исчисления, вычислительной линвистики, для теории ТДА итд. Но здесь я сфокусируюсь на примерах из ML/DS.

Одним из первых применять пучки к обработке данных предложил Роберт Грист (советую его топовое введение в прикладную топологию). В 2013 он применял пучки к задачам, связанным с потоками в сетях. Далее, Карри концептуально развил направление пучков и ко-пучков на клеточных комплексах, что легко в основу современных приложений.

Нейронные пучки. Архитектура графовой свёрточной сети (GCN) с индуктивным смещением на основе пучков - Sheaf Neural Networks впервые была предложена Гебхардом (соавтор обзора), однако он не "выучивает" пучок, т.е. не подбирает restriction map на основе цели обучения, а просто "вручную" инициализирует restriction map. Мне кажется, что отдельная важная тема исследований - поиск хорошего способа инициализации restriction map без обучения на основе знаний из предметной области.

🇹🇫🔥Направление дизайна пучковых DNN архитектур расширили Боднар и Бронштейн, предложив архитектуру Neural Sheaf Diffusion (NSD), где restriction map F (почти честно, но нет) выучиваются через диффузию. Они показали, что NSD с лапласианом пучка выразительнее GCN с обычным лапласином графа, NSD также решает важную (так принято считать в комьюнити, на самом деле, это дискуссионный вопрос, есть ли такая проблема, я к этому скептичен) проблему работы с гетерофильными графами. Это подробно изложено в must-read диссертации Боднара, настоятельно советую его почитать, это пример по-настоящему крутой диссертации. В итоге, они открыли бездну в мир нейро-пучков и их модификаций, и тут понеслось...

Далее Барберо комбинирует способы получения пучка, сначала он строит отображения на основе данных детерминированным способом как Гебхард, а потом доучивает как Боднар, эксперименты показывают прирост перформанса на классификации узлов.

В статье Sheaf Attention Network предложено добавлять в пучки на графах механизм внимания. В борьбе с овер-параметризацией в Bundle Neural Networks предлагается заменить пучок на векторные расслоения. Пучки также определяются и на гиперграфах - Sheaf Hypergraph Convolutional Network. Еще предложено улучшать NSD через интеграцию особых positional encoding для вершин графа.

В этом канале я накидал еще больше ссылок на DNN-архитектуры на основе пучков. Там я просто собираю статьи без их разборов.

Среди теоретических приложений мне показалось необычным статья того самого Роберта Гриста про приложения пучков к теории оригами - Unified Origami Kinematics via Cosheaf Homology.

Приложения в народном хозяйстве. Есть и совсем конкретные приложения пучков для анализа корпусов документов, для графовых рекомендательных систем, к задаче community detection на основе топологии графа. В естественных науках предложено приложение пучков к описанию физических систем моделирующих динамику молекул. Нетрудно заметить, что логика пучков заточена под анализ локально-глобальных отношений, это мотивирует применять пучки к федеративному обучению, как сделано в FedSheafHN.

Гиперпараметром архитектуры NSD является размерность векторных пространств на стеблях (ширина стебля). Более высокая ширина стебля обеспечивает более высокую выразительную силу модели, но увеличивает риск переобучения.

Открытая практическая проблема: недостача эмпирических исследований того, как должна масштабироваться ширина стебля при увеличении размера графа для получения приемлемого перформанса. И в целом, есть существенная недостача применений пучков для больших графов.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5👍2🤔2
В Москве уже 2 часа ночи. Но что же может быть лучше, чем сон? Конечно же 8 тестовый запуск ракеты Starship, который произойдет через полчаса! 🚀🔥

Трансляция будет прямо на сайте SpaceX, вот тут!

(На фото: последствия последнего запуска, случившегося прямо в мой первый день пребывания тут)
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥6
Открыта регистрация на LOGML 2025! 🎉

London Geometry and Machine Learning Summer School — это ежегодная школа по геометрии в ML, где участники не только слушают лекции топовых спикеров, но и работают над проектами, которые часто перерастают в коллаборации и публикации.

За неделю работы участники погружаются в исследовательские проекты, а также слушают лекции от ведущих ученых (в этом году почти все из академии, но в 2021-м, например, было много спикеров и из индустрии: Twitter, Nvidia, Google, Facebook). В финале — презентация полученных результатов.

В прошлом году мне удалось поучаствовать, правда дистанционно (пост об этом). Об опыте очного участия можно почитать у Германа. Говоря про свой опыт участия, мы все еще работаем над проектом, и надеемся завершить его к дедлайну NeurIPS.

В этом году, как мне кажется, увеличилось число проектов, связанных с Life Sciences:
- Iterative Reasoning in Graph Neural Networks for Drug Repurposing
- On Depth in Geometric Deep Learning: Scaling Up Biomolecular Analysis Using Deep Neural k-Forms
- Topological data analysis (TDA) to elucidate protein functions via variant landscapes
- Topological Machine Learning for Brain Dynamics

Есть проекты и по трансформерам:
- Beyond Text: Exploring Adaptations of LLMs for Graph-Based Tasks
- Symmetry, degeneracy and effective dimensions of neural networks

Из необычного — проект Finite groups and the Cayley graph representation, such that ML can then help identify symmetry from generators, в котором предлагается поискать разными нейросетками различные закономерности между свойствами графов Кэли и свойствами соответствующих им абелевых групп. Интересный пример ML for Mathematics, направления, которое становится все популярнее.

Дедлайн подачи — 6 апреля. Highly recommended to apply! 🗓
Please open Telegram to view this post
VIEW IN TELEGRAM
5
С 17 по 21 марта я буду участвовать в воркшопе «Matroids, Rigidity, and Algebraic Statistics», который пройдет в ICERM!

Institute for Computational and Experimental Research in Mathematics — это институт, специализирующийся на вычислительной и экспериментальной математике, финансируемый NSF и базирующийся в Брауновском университете. Он организует воркшопы, семестровые и годовые программы по самым разным областям — от машинного обучения и оптимизации до алгебраической геометрии, топологии и теории графов.

Так, в 2021 году в ICERM прошел воркшоп “Combinatorial Algebraic Geometry”, организатором которого был June Huh, который получил Филдсовскую премию 2022 года как раз за связи между алгебраической геометрией и комбинаторикой.

В среду я выступлю с коротким докладом: Topological Analysis of Activation Functions, где я расскажу, как можно встроить в нейросети топологические преобразования данных так, чтобы изменять топологию входного пространства в нужную сторону.

Проводим весенние каникулы с пользой! 🔥

На фото: Капитолий Род-Айленда в Провиденсе.
Please open Telegram to view this post
VIEW IN TELEGRAM
🤩6👍4