📌 Я снова здесь!

Прошло много времени с последнего поста. За это время я дождался визы и оказался в США. Теперь хочется снова делиться мыслями, открытиями и, возможно, даже хаотичными размышлениями.

Канал по-прежнему про математику, машинное обучение, топологию и жизнь. Возможно, местами больше жизни, чем математики. Или наоборот.

Как получится в общем 😏

Claude 3.7? Open AI? Редкоземельный литий? А может быть лучше..117 страничный обзор на приложения нейро-пучков? 🟣

В работе Sheaf theory: from deep geometry to deep learning представлен обзор на пучки (sheaf), начиная с описания математического аппарата, заканчивая приложениями в логике, лингвистике, дизайну алгоритмов, и в анализе данных, особенно для проектирования нейронных сетей.

Topology-fan or ML-enjoyer?

Мета-задача работы: Сделать математический аппарат теории пучков понятным для заинтересованных, но искушенных CS/AI исследователей 🕸, при этом показать алгебраическим геометрам/топологам 🤓, что их конструкции практически применимы в сельском хозяйстве (stalks).

Что такое Пучки? В общем случае, это способ сопоставить геометрическому объекту G категорию V (конечных множеств, векторных пространств итд). На практике, это нужно для того, чтобы погрузить структуру G в более удобную среду, способную представлять и обрабатывать сигналы, используя всё "вычислительное богатство" категории V для описания G.

Утверждение: Пучки - способ алгебраизации геометрии.

Когда мы работаем с реальными данными, мы хотим найти наилучшую геометрическую структуру для их кодирования, чтобы запускать поверх этой структуры нейронки и извлекать эмбеддинги. Простые отношения кодируются графами, однако уже давно понятно, что для более сложных данных это слишком бедная структура, и нужно кодировать данные гиперграфами, клеточными, комбинаторными, симплициальными комплексами, итд. Этот нарратив лежит в основе Topological deep learning. Все перечисленные структуры эффективно кодируются наиболее общей - частично-упорядоченным множеством poset, далее просто S(G).

Абстрактное определение пучка D: Это функтор из категории S в целевую категорию V (для задач ML, векторных пространств). Для s_1 \in S, есть элемент D(s_1) \in V, называемый stalk (росток) и для s_1 < s_2 (где < отношение порядка) мы имеем отображения D(s_1) 📝 D(s_2), называемые restriction map. Для формальной корректности этого определения нужно выполнение еще некоторых условий, подробнее в работе.

Частный случай: для графа G: пучок D(G) определяется как: векторные пространства над вершинами V_n, ребрами V_e, а также линейные отображения из вершин в ребра, обозначим как F_v,e отображение из вершины v в ребро e. Операторы F образуют Лапласиан пучка L (обобщение классического лапласиана для графа).

Определим глобальное сечение: для вершин v и w на концах ребра e, выбираем такие состояния x_v, x_w \in D(G) , что F_ve = F_we (local state), делаем такой выбор состояний для всех вершин. Множество этих состояний T кодирует глобальное "равновесное" состояние системы (global).

Утверждение: Пучки реализуют концептуальный фрейморк и философию "local-to-global'. Локальный консенсус приводит к глобальному равновесию.

Этот взгляд используется как дизайн-паттерн некоторых классических алгоритмов, например в работе A sheaf-theoretic approach to pattern matching and related problems классический алгоритм Кнута–Морриса–Пратта для строк переговаривается через этот фреймворк и сводит к задаче сабграф-матчинга.

Процесс поиска состояния равновесия T очень важен для приложений. Частный случай его поиска это диффузия пучка - динамическая система, градиентный спуск по функции энергии Дирихле, которая измеряет на сколько далеко текущее состояние системы от состояния равновесия, а скорость сходимости диффузии пучка определяется спектром его Лапласиана. И в целом характеристики Лапласиана могут много говорить про свойства геометрической структуры S. Важно подчеркнуть, что нарратив про диффузию это только частный случай, как можно работать с пучками, реально же пучки это намного больше, чем просто история про графы.

Далее, мы обсудим приложения пучков.

А действительно ли есть полезные применения пучков?
Зависит от того, что мы понимаем под полезными.

Обзор содержит широкое описание приложений в разных областях, в частности для интуиционистской логике, лямбда-исчисления, вычислительной линвистики, для теории ТДА итд. Но здесь я сфокусируюсь на примерах из ML/DS.

Одним из первых применять пучки к обработке данных предложил Роберт Грист (советую его топовое введение в прикладную топологию). В 2013 он применял пучки к задачам, связанным с потоками в сетях. Далее, Карри концептуально развил направление пучков и ко-пучков на клеточных комплексах, что легко в основу современных приложений.

Нейронные пучки. Архитектура графовой свёрточной сети (GCN) с индуктивным смещением на основе пучков - Sheaf Neural Networks впервые была предложена Гебхардом (соавтор обзора), однако он не "выучивает" пучок, т.е. не подбирает restriction map на основе цели обучения, а просто "вручную" инициализирует restriction map. Мне кажется, что отдельная важная тема исследований - поиск хорошего способа инициализации restriction map без обучения на основе знаний из предметной области.

🇹🇫🔥Направление дизайна пучковых DNN архитектур расширили Боднар и Бронштейн, предложив архитектуру Neural Sheaf Diffusion (NSD), где restriction map F (почти честно, но нет) выучиваются через диффузию. Они показали, что NSD с лапласианом пучка выразительнее GCN с обычным лапласином графа, NSD также решает важную (так принято считать в комьюнити, на самом деле, это дискуссионный вопрос, есть ли такая проблема, я к этому скептичен) проблему работы с гетерофильными графами. Это подробно изложено в must-read диссертации Боднара, настоятельно советую его почитать, это пример по-настоящему крутой диссертации. В итоге, они открыли бездну в мир нейро-пучков и их модификаций, и тут понеслось...

Далее Барберо комбинирует способы получения пучка, сначала он строит отображения на основе данных детерминированным способом как Гебхард, а потом доучивает как Боднар, эксперименты показывают прирост перформанса на классификации узлов.

В статье Sheaf Attention Network предложено добавлять в пучки на графах механизм внимания. В борьбе с овер-параметризацией в Bundle Neural Networks предлагается заменить пучок на векторные расслоения. Пучки также определяются и на гиперграфах - Sheaf Hypergraph Convolutional Network. Еще предложено улучшать NSD через интеграцию особых positional encoding для вершин графа.

В этом канале я накидал еще больше ссылок на DNN-архитектуры на основе пучков. Там я просто собираю статьи без их разборов.

Среди теоретических приложений мне показалось необычным статья того самого Роберта Гриста про приложения пучков к теории оригами - Unified Origami Kinematics via Cosheaf Homology.

Приложения в народном хозяйстве. Есть и совсем конкретные приложения пучков для анализа корпусов документов, для графовых рекомендательных систем, к задаче community detection на основе топологии графа. В естественных науках предложено приложение пучков к описанию физических систем моделирующих динамику молекул. Нетрудно заметить, что логика пучков заточена под анализ локально-глобальных отношений, это мотивирует применять пучки к федеративному обучению, как сделано в FedSheafHN.

Гиперпараметром архитектуры NSD является размерность векторных пространств на стеблях (ширина стебля). Более высокая ширина стебля обеспечивает более высокую выразительную силу модели, но увеличивает риск переобучения.

Открытая практическая проблема: недостача эмпирических исследований того, как должна масштабироваться ширина стебля при увеличении размера графа для получения приемлемого перформанса. И в целом, есть существенная недостача применений пучков для больших графов.

В Москве уже 2 часа ночи. Но что же может быть лучше, чем сон? Конечно же 8 тестовый запуск ракеты Starship, который произойдет через полчаса! 🚀🔥

Трансляция будет прямо на сайте SpaceX, вот тут!

(На фото: последствия последнего запуска, случившегося прямо в мой первый день пребывания тут)

Открыта регистрация на LOGML 2025! 🎉

London Geometry and Machine Learning Summer School — это ежегодная школа по геометрии в ML, где участники не только слушают лекции топовых спикеров, но и работают над проектами, которые часто перерастают в коллаборации и публикации.

За неделю работы участники погружаются в исследовательские проекты, а также слушают лекции от ведущих ученых (в этом году почти все из академии, но в 2021-м, например, было много спикеров и из индустрии: Twitter, Nvidia, Google, Facebook). В финале — презентация полученных результатов.

В прошлом году мне удалось поучаствовать, правда дистанционно (пост об этом). Об опыте очного участия можно почитать у Германа. Говоря про свой опыт участия, мы все еще работаем над проектом, и надеемся завершить его к дедлайну NeurIPS.

В этом году, как мне кажется, увеличилось число проектов, связанных с Life Sciences:
- Iterative Reasoning in Graph Neural Networks for Drug Repurposing
- On Depth in Geometric Deep Learning: Scaling Up Biomolecular Analysis Using Deep Neural k-Forms
- Topological data analysis (TDA) to elucidate protein functions via variant landscapes
- Topological Machine Learning for Brain Dynamics

Есть проекты и по трансформерам:
- Beyond Text: Exploring Adaptations of LLMs for Graph-Based Tasks
- Symmetry, degeneracy and effective dimensions of neural networks

Из необычного — проект Finite groups and the Cayley graph representation, such that ML can then help identify symmetry from generators, в котором предлагается поискать разными нейросетками различные закономерности между свойствами графов Кэли и свойствами соответствующих им абелевых групп. Интересный пример ML for Mathematics, направления, которое становится все популярнее.

Дедлайн подачи — 6 апреля. Highly recommended to apply! 🗓

С 17 по 21 марта я буду участвовать в воркшопе «Matroids, Rigidity, and Algebraic Statistics», который пройдет в ICERM!

Institute for Computational and Experimental Research in Mathematics — это институт, специализирующийся на вычислительной и экспериментальной математике, финансируемый NSF и базирующийся в Брауновском университете. Он организует воркшопы, семестровые и годовые программы по самым разным областям — от машинного обучения и оптимизации до алгебраической геометрии, топологии и теории графов.

Так, в 2021 году в ICERM прошел воркшоп “Combinatorial Algebraic Geometry”, организатором которого был June Huh, который получил Филдсовскую премию 2022 года как раз за связи между алгебраической геометрией и комбинаторикой.

В среду я выступлю с коротким докладом: Topological Analysis of Activation Functions, где я расскажу, как можно встроить в нейросети топологические преобразования данных так, чтобы изменять топологию входного пространства в нужную сторону.

Проводим весенние каникулы с пользой! 🔥

На фото: Капитолий Род-Айленда в Провиденсе.