vaidya-with-certificates

В репозитории представлен код для построения сертификатов точности — специальных вычислимых критериев останова в задачах выпуклой оптимизации — подходящих для методов отсечения плоскости, использующих многоугольники в качестве локализаторов. В качестве примера авторы приводят метод Вайдьи, являющийся асимптотически оптимальным с точки зрения вызова оракула. Численные эксперименты показывают превосходство представленного метода построения сертификатов по сравнению с бейзлайн подходом. В качестве причины такого феномена исследователи называют отличие в методах: описываемый алгоритм ищет сертификаты, напрямую максимизирующие функцию, используемую для ограничения остатка. Работа может быть полезна исследователям в области оптимизации, DL-исследователям и математикам.

статья | код

heterophilous-graphs

В репозитории содержится код для воспроизведения результатов работы по критическому анализу оценки графовых нейронных сетей (GNN) на гетерофильных графах. Авторы выявили серьёзные недостатки популярных датасетов (squirrel, chameleon), включая дублирование узлов, что приводит к утечке данных между обучающей и тестовой выборками. Устранение дубликатов значительно снижает производительность моделей, меняя их ранжирование. Исследователи предлагают новые гетерофильные датасеты (roman-empire, amazon-ratings и др.), охватывающие различные домены и структурные свойства. Эксперименты показали, что стандартные GNN (например, GCN, GraphSAGE), особенно с модификацией разделения эго- и соседних эмбеддингов, часто превосходят специализированные модели для гетерофилии. Работа может быть полезна аналитикам данных, DL-исследователям и специалистам по графам.

статья | код

Привет!

Напоминаем, что сегодня в 18:30 в аудитории N508 Александр Рыжков расскажет про LightAutoML и про себя 😎

Приходите послушать и задать свои вопросы Александру

btard

В репозитории представлен код для проведения безопасного распределённого обучения нейронных сетей с учетом атак Byzantine. Авторы предлагают новый протокол BTARD-SGD, который сочетает эффективность современных алгоритмов All‑Reduce с криптографическими методами проверки целостности данных.В работе проведён строгий теоретический анализ сходимости как для выпуклых, так и для невыпуклых задач, а также для случаев с тяжелыми хвостами распределения градиентов. Дополнительно предложена эвристика для защиты от Sybil‑атак, позволяющая новым участникам присоединяться к обучению только после демонстрации надёжности своих вычислений. Экспериментальная оценка включает обучение ResNet‑18 на CIFAR‑10 и предобучение ALBERT‑large, где предложенный протокол успешно противостоит различным типам атак (обратное знаковое, атаки случайным направлением, флиппинг меток, задержка градиентов и др.), позволяя быстро восстановить качество модели после атак. Работа может быть полезна исследователям в области распределённого обучения, специалистов по безопасности ИИ и разработчикам систем коллективного обучения, где важно объединять вычислительные ресурсы без риска компрометации результатов из-за недобросовестных участников.

статья | код

CodeBuddy

В репозитории содержится код для реализации сервиса генерации кода мобильных приложений (iOS/Android) на основе больших языковых моделей. Авторы адаптируют существующую модель (CodeQwen) с помощью тонкой настройки (PEFT, QLoRA), а также проводят собственное бенчмаркинговое тестирование, ориентированное на задачи мобильной разработки (Swift). Предложенная микросервисная архитектура включает несколько модулей (API Gateway, чат, авторизация, ИИ-модуль), что повышает масштабируемость и удобство интеграции. Авторы показывают, что такой сервис способен автоматически генерировать компоненты пользовательского интерфейса, бизнес-логику, а также код тестов, упрощая рутинные задачи разработчика. Работа может быть полезна разработчикам мобильных приложений, специалистам по генерации кода и исследователям, занимающимся применением больших языковых моделей в узкоспециализированных областях.

статья | код

LLM-Microscope

В репозитории содержится код для экспериментов, показывающих линейность трансформеров. Авторы исследуют механизм, при котором соседние слои декодера (например, в GPT, LLaMA, OPT и BLOOM) оказываются почти линейно зависимыми. Используя Procrustes-метрику, показывается, что выходы последовательных слоев совпадают с точностью ~99% (но лишь при учёте residual connection). Исследователи демонстрируют, что нормировка выхода каждого блока относительно residual-части весьма мала, и это приводит к «линейности» между слоями. Кроме того, в работе изучаются задачи «прореживания» (pruning) слоёв на основе выявленной линейности и замены некоторых блоков их линейными аналогами без значимой потери в качестве. Предложены также регуляризационные приёмы на основе косинусной близости, снижающие линейность для повышения выразительности модели и улучшения результатов на ряде задач (TinyStories, SuperGLUE). Работа может быть полезна исследователям и практикам, занимающимся анализом внутренней структуры больших языковых моделей, а также LLM-инженерам, стремящимся к более эффективным моделям при сохранении качества.

статья | код

ai4material_design

В репозитории приведён код, демонстрирующий эффективность подхода со «сжатым» представлением дефектов в двумерных материалах. Авторы отмечают, что 2D-кристаллы обладают колоссальным потенциалом для модификации их свойств путём контролируемого введения вакансий и замещений, однако большинство универсальных моделей плохо учитывают возникающие при этом квантовые эффекты. В работе предлагается рассматривать только атомы, непосредственно относящиеся к точечным дефектам (включая «виртуальные» атомы‑вакансии), и использовать графовые нейронные сети, дополненные специфичными для 2D-фаз признаками — разницей координат по оси z и новой меткой «EOS», связанной с осцилляциями электронных оболочек. Эксперименты показывают, что подход со «сжатым» представлением существенно превосходит классические графовые нейросети и методы с предварительными признаками. Авторы подчеркивают, что их метод значительно упрощает моделирование дефектных систем, повышая точность и эффективность. Работа может быть полезна инженерам, физикам и исследователям в областе новых материалов.

статья | код

SAE-Reasoning

Коллаборация ученных из АИРИ, ВШЭ, Сколтеха, МТУСИ и Сбера, посвященная интерпретации больших языковых моделей с помощью SAE - разреженных автоэнкдеров. В репозитории находится код, демонстрирующий, как SAE могут выявлять и корректировать специфические признаки рассуждения внутри больших языковых моделей. Авторы анализируют активации модели при генерации цепочек рассуждений, используя специальную метрику ReasonScore, которая показывает, насколько конкретная латентная компонента связана с логическими словами и фразами. Далее исследователи показывают, как выборочно усиливать такие признаки в процессе генерации: при steering повышается склонность модели к пошаговым объяснениям, перепроверке вычислений и более глубокому анализу. Эксперименты на ряде задач (например, MATH-500) подтверждают, что подобная тонкая настройка увеличивает как количество промежуточных выводов, так и общее качество ответа. Код может быть полезен специалистам, занимающимся интерпретацией внутренних представлений LLM, DL-инженерам и DS-специалистам

статья | код

rapid-ao

В репозитории содержится код для воспроизведения экспериментов, описанных в работе про “Adaptive Divergence”, где ученные из лаборатории LAMBDA ФКН решают задачу быстрого согласования распределений в условиях дорогих симуляторов. Основная идея — использовать новое семейство «адаптивных расхождений», которое динамически регулирует мощность дискриминатора, переключаясь с «узких» моделей на «более сильные» лишь тогда, когда исходные распределения уже близки друг к другу. В частности, авторы демонстрируют, как это семейство ускоряет процедуру настройки высокоразмерных симуляторов с помощью чёрных ящиков. Репозиторий может быть полезен исследователям из физики, DL-инженерам и DS-специалистам

статья | код

digital-twin

В данном исследовании группа ученых из ВШЭ моделируют производительность систем хранения данных, используя вероятностный подход. Они рассматривают различные компоненты — кэш, SSD, HDD, — собирают показатели IOPS и задержки при разных конфигурациях и нагрузках, а затем обучают свои модели CatBoost и Normalizing Flow. Авторы демонстрируют, что этот подход не только предсказывает средние значения, но и охватывает всё распределение метрик, что особенно важно для оценки неопределенности и сценариев «цифрового двойника». Исследователи также проверяют надежность предсказаний с помощью известных зависимостей и отмечают, что полученные результаты тесно соответствуют реальным измерениям, превосходя простые методы вроде kNN. Данная методика может быть применена для анализа производительности, оптимизации настроек и предиктивного обслуживания систем хранения данных. Вклад авторов не ограничивается выбранным подходом: они также предоставляют открытый доступ к набору данных, использованному в исследовании. Найти его можно в репозитории с кодом. Работа может быть полезна ML-инженерам и DS-специалистам.

статья | код

hogwild_llm

В репозитории содержится код для реализации и запуска параллельного инференса больших языковых моделей (LLM) по методу Hogwild! Inference — подхода, при котором несколько копий одной и той же модели выполняются параллельно и синхронизируются через общий attention-кэш. Вместо заранее заданной стратегии кооперации, модели сами решают, как разделить задачи, используя видимость токенов друг друга в общем KV-кэше и минимальную задержку при взаимодействии. Метод позволяет моделям в процессе инференса договариваться о стратегии: распределять подзадачи, исправлять ошибки других агентов, перепланировать ход решения. Для этого используются специальные конфигурации shared attention cache (contiguous, interleaved и combined), а также промптинг, стимулирующий модели проверять, не дублируют ли они работу друг друга. Эксперименты с открытыми LLM (например, QwQ-32B, DeepSeek-R1) показывают, что даже без дополнительного обучения модели способны обнаруживать дублирование, корректировать план решения и достигать сопоставимого или лучшего качества при меньшем количестве итераций. Кроме того, предложенная архитектура демонстрирует хорошее аппаратное ускорение за счёт снижения необходимости повторного вычисления attention-блоков. Код может быть полезен LLM-инженерам и исследователям, специалистам по агентам и DL исследователям.

статья | код

MIGTF

В репозитории содержится код для воспроизведения результатов работы по дополнению пропущенных связей в knowledge graph с использованием новой модели факторизации тензоров со смешанной геометрией (MIG-TF). Авторы предлагают подход, комбинирующий евклидову геометрию, через Tucker-разложение, и гиперболическую геометрию, через введённый гиперболический тернарный член взаимодействия TPTF. Такая конструкция позволяет более точно моделировать структурные особенности реальных knowledge graph, где распределение связей зачастую лишь частично следует иерархической структуре. В экспериментах показано, что предложенная модель превосходит по качеству как чисто евклидовые, так и чисто гиперболические модели, достигая state-of-the-art результатов на стандартных датасетах FB15k-237, YAGO3-10 и WN18RR при меньшем числе параметров. Особенно заметно улучшение на графах с нарушенной иерархией (например, FB15k-237). Кроме того, авторы изучают влияние кривизны гиперболической компоненты, вводят регуляризацию через ортогонализацию и анализируют робастность модели к зашумлённости обучающих данных. Работа может быть полезна исследователям в области factorization-based подходов к knowledge graph completion, а также специалистам, занимающимся построением компактных и эффективных моделей для анализа графовых данных со смешанной структурой.

статья | код

В канун Первомая выпустили статью на Хабре, где рассказываем о деталях реализации нашего проекта OSA — "улучшателя" научных репозиториев на базе LLM.

https://habr.com/ru/companies/spbifmo/articles/906018/

Также в статье поделились примерами использования OSA и обратной связью от коллег, попробовавших проект на своих репозиториях. В их числе — сотрудники лаборатории КТ ИТМО, ФКН ВШЭ и бразильского Universidade Federal de Juiz de Fora.

Приятного чтения!

P.S. Попробовать Осу можно здесь. Будем рады вашим звёздочкам.

invertible-cd

В репозитории содержится код для реализации метода Invertible Consistency Distillation (iCD) — нового подхода к ускоренному текстово-ориентированному редактированию изображений с возможностью точной инверсии входного изображения. Исследователи из Яндекса и ВШЭ демонстрируют, что iCD позволяет выполнять как генерацию по текстовому описанию, так и обратное кодирование реального изображения в латентное пространство за 3–4 итерации, что делает метод пригодным для быстрой и реалистичной генерации и правок. Ключевым элементом является модифицированная схема consistency distillation с разделением на прямую и обратную модели, поддерживающими многопроходную инверсию. Дополнительно используется динамическое управление шкалой classifier-free guidance, что улучшает качество реконструкции без увеличения вычислительных затрат. Эксперименты на моделях SD1.5 и SDXL показывают, что iCD превосходит или сравним по качеству с SOTA-методами, такими как NTI, InfEdit, ReNoise, но работает в несколько раз быстрее: 8 шагов против 50–150 у конкурентов. Работа может быть полезна разработчикам инструментов для редактирования изображений, исследователям в области дистилляции диффузионных моделей и тем, кто разрабатывает быстрые пайплайны генерации и редактирования в условиях ограниченных ресурсов.

статья | код