DeepZ

Репозиторий содержит код и данные для обучения нейросетей для поиска и выявления паттернов в Z-ДНК генома человека и мышей. Вопрос о роли Z-ДНК в процессе транскрипции актуален для вычислительной биологии и медицины. Исследования роли Z-флипонов в процессе создания РНК-копий генов может помочь в разработке новых лекарств. При обучении учитывалась не только информация из линейной последовательности ДНК, но и данные из десятков тысяч омиксных экспериментов. Обученные модели - для человека и мыши - выявляют в последовательности ДНК участки, которые с наибольшей вероятностью являются Z-ДНК. Работа может быть полезна медикам, биологам, биоинженерам и фармакологам.

статья | код

Mr.Handy

Handy — проект с открытым исходным кодом на С++ и python, поддерживаемый HSE Robotics Group. Цель проекта — спроектировать и разработать роботизированный манипулятор, который сможет играть в настольный теннис. В репозитории есть код для считывания данных с камер, обучения и инференса модели для детекции шарика для тенниса, а так же для управления рукой-манипулятором. Весь код, наборы данных, модели и инструкции по разработке доступны и, как обещают авторы, всегда будут доступны онлайн. Следить за проектом можно в канале группы робототехники. Проект может быть полезен начинающим специалистам в области робототехники, машинного обучения и программирования микроконтроллеров.

код | канал

delPezzo

Модуль для Sagemath для изучения гибкости аффинных конусов над поверхностями дель Пеццо. Код призван облегчать большинство операций для проверки общей гибкости аффинных конусов над поверхностями дель Пеццо и слабыми поверхностями дель Пеццо произвольной степени в зависимости от поляризации. Используя его, авторы проверили общую гибкость аффинных конусов над поляризациями поверхностей степени 1 при определенных условиях и над произвольными очень обильными поляризациями слабых поверхностей дель Пеццо степени 6. Репозиторий может быть полезен математикам.

статья | код

vaidya-with-certificates

В репозитории представлен код для построения сертификатов точности — специальных вычислимых критериев останова в задачах выпуклой оптимизации — подходящих для методов отсечения плоскости, использующих многоугольники в качестве локализаторов. В качестве примера авторы приводят метод Вайдьи, являющийся асимптотически оптимальным с точки зрения вызова оракула. Численные эксперименты показывают превосходство представленного метода построения сертификатов по сравнению с бейзлайн подходом. В качестве причины такого феномена исследователи называют отличие в методах: описываемый алгоритм ищет сертификаты, напрямую максимизирующие функцию, используемую для ограничения остатка. Работа может быть полезна исследователям в области оптимизации, DL-исследователям и математикам.

статья | код

heterophilous-graphs

В репозитории содержится код для воспроизведения результатов работы по критическому анализу оценки графовых нейронных сетей (GNN) на гетерофильных графах. Авторы выявили серьёзные недостатки популярных датасетов (squirrel, chameleon), включая дублирование узлов, что приводит к утечке данных между обучающей и тестовой выборками. Устранение дубликатов значительно снижает производительность моделей, меняя их ранжирование. Исследователи предлагают новые гетерофильные датасеты (roman-empire, amazon-ratings и др.), охватывающие различные домены и структурные свойства. Эксперименты показали, что стандартные GNN (например, GCN, GraphSAGE), особенно с модификацией разделения эго- и соседних эмбеддингов, часто превосходят специализированные модели для гетерофилии. Работа может быть полезна аналитикам данных, DL-исследователям и специалистам по графам.

статья | код

Привет!

Напоминаем, что сегодня в 18:30 в аудитории N508 Александр Рыжков расскажет про LightAutoML и про себя 😎

Приходите послушать и задать свои вопросы Александру

btard

В репозитории представлен код для проведения безопасного распределённого обучения нейронных сетей с учетом атак Byzantine. Авторы предлагают новый протокол BTARD-SGD, который сочетает эффективность современных алгоритмов All‑Reduce с криптографическими методами проверки целостности данных.В работе проведён строгий теоретический анализ сходимости как для выпуклых, так и для невыпуклых задач, а также для случаев с тяжелыми хвостами распределения градиентов. Дополнительно предложена эвристика для защиты от Sybil‑атак, позволяющая новым участникам присоединяться к обучению только после демонстрации надёжности своих вычислений. Экспериментальная оценка включает обучение ResNet‑18 на CIFAR‑10 и предобучение ALBERT‑large, где предложенный протокол успешно противостоит различным типам атак (обратное знаковое, атаки случайным направлением, флиппинг меток, задержка градиентов и др.), позволяя быстро восстановить качество модели после атак. Работа может быть полезна исследователям в области распределённого обучения, специалистов по безопасности ИИ и разработчикам систем коллективного обучения, где важно объединять вычислительные ресурсы без риска компрометации результатов из-за недобросовестных участников.

статья | код

CodeBuddy

В репозитории содержится код для реализации сервиса генерации кода мобильных приложений (iOS/Android) на основе больших языковых моделей. Авторы адаптируют существующую модель (CodeQwen) с помощью тонкой настройки (PEFT, QLoRA), а также проводят собственное бенчмаркинговое тестирование, ориентированное на задачи мобильной разработки (Swift). Предложенная микросервисная архитектура включает несколько модулей (API Gateway, чат, авторизация, ИИ-модуль), что повышает масштабируемость и удобство интеграции. Авторы показывают, что такой сервис способен автоматически генерировать компоненты пользовательского интерфейса, бизнес-логику, а также код тестов, упрощая рутинные задачи разработчика. Работа может быть полезна разработчикам мобильных приложений, специалистам по генерации кода и исследователям, занимающимся применением больших языковых моделей в узкоспециализированных областях.

статья | код

LLM-Microscope

В репозитории содержится код для экспериментов, показывающих линейность трансформеров. Авторы исследуют механизм, при котором соседние слои декодера (например, в GPT, LLaMA, OPT и BLOOM) оказываются почти линейно зависимыми. Используя Procrustes-метрику, показывается, что выходы последовательных слоев совпадают с точностью ~99% (но лишь при учёте residual connection). Исследователи демонстрируют, что нормировка выхода каждого блока относительно residual-части весьма мала, и это приводит к «линейности» между слоями. Кроме того, в работе изучаются задачи «прореживания» (pruning) слоёв на основе выявленной линейности и замены некоторых блоков их линейными аналогами без значимой потери в качестве. Предложены также регуляризационные приёмы на основе косинусной близости, снижающие линейность для повышения выразительности модели и улучшения результатов на ряде задач (TinyStories, SuperGLUE). Работа может быть полезна исследователям и практикам, занимающимся анализом внутренней структуры больших языковых моделей, а также LLM-инженерам, стремящимся к более эффективным моделям при сохранении качества.

статья | код

ai4material_design

В репозитории приведён код, демонстрирующий эффективность подхода со «сжатым» представлением дефектов в двумерных материалах. Авторы отмечают, что 2D-кристаллы обладают колоссальным потенциалом для модификации их свойств путём контролируемого введения вакансий и замещений, однако большинство универсальных моделей плохо учитывают возникающие при этом квантовые эффекты. В работе предлагается рассматривать только атомы, непосредственно относящиеся к точечным дефектам (включая «виртуальные» атомы‑вакансии), и использовать графовые нейронные сети, дополненные специфичными для 2D-фаз признаками — разницей координат по оси z и новой меткой «EOS», связанной с осцилляциями электронных оболочек. Эксперименты показывают, что подход со «сжатым» представлением существенно превосходит классические графовые нейросети и методы с предварительными признаками. Авторы подчеркивают, что их метод значительно упрощает моделирование дефектных систем, повышая точность и эффективность. Работа может быть полезна инженерам, физикам и исследователям в областе новых материалов.

статья | код

SAE-Reasoning

Коллаборация ученных из АИРИ, ВШЭ, Сколтеха, МТУСИ и Сбера, посвященная интерпретации больших языковых моделей с помощью SAE - разреженных автоэнкдеров. В репозитории находится код, демонстрирующий, как SAE могут выявлять и корректировать специфические признаки рассуждения внутри больших языковых моделей. Авторы анализируют активации модели при генерации цепочек рассуждений, используя специальную метрику ReasonScore, которая показывает, насколько конкретная латентная компонента связана с логическими словами и фразами. Далее исследователи показывают, как выборочно усиливать такие признаки в процессе генерации: при steering повышается склонность модели к пошаговым объяснениям, перепроверке вычислений и более глубокому анализу. Эксперименты на ряде задач (например, MATH-500) подтверждают, что подобная тонкая настройка увеличивает как количество промежуточных выводов, так и общее качество ответа. Код может быть полезен специалистам, занимающимся интерпретацией внутренних представлений LLM, DL-инженерам и DS-специалистам

статья | код

rapid-ao

В репозитории содержится код для воспроизведения экспериментов, описанных в работе про “Adaptive Divergence”, где ученные из лаборатории LAMBDA ФКН решают задачу быстрого согласования распределений в условиях дорогих симуляторов. Основная идея — использовать новое семейство «адаптивных расхождений», которое динамически регулирует мощность дискриминатора, переключаясь с «узких» моделей на «более сильные» лишь тогда, когда исходные распределения уже близки друг к другу. В частности, авторы демонстрируют, как это семейство ускоряет процедуру настройки высокоразмерных симуляторов с помощью чёрных ящиков. Репозиторий может быть полезен исследователям из физики, DL-инженерам и DS-специалистам

статья | код

digital-twin

В данном исследовании группа ученых из ВШЭ моделируют производительность систем хранения данных, используя вероятностный подход. Они рассматривают различные компоненты — кэш, SSD, HDD, — собирают показатели IOPS и задержки при разных конфигурациях и нагрузках, а затем обучают свои модели CatBoost и Normalizing Flow. Авторы демонстрируют, что этот подход не только предсказывает средние значения, но и охватывает всё распределение метрик, что особенно важно для оценки неопределенности и сценариев «цифрового двойника». Исследователи также проверяют надежность предсказаний с помощью известных зависимостей и отмечают, что полученные результаты тесно соответствуют реальным измерениям, превосходя простые методы вроде kNN. Данная методика может быть применена для анализа производительности, оптимизации настроек и предиктивного обслуживания систем хранения данных. Вклад авторов не ограничивается выбранным подходом: они также предоставляют открытый доступ к набору данных, использованному в исследовании. Найти его можно в репозитории с кодом. Работа может быть полезна ML-инженерам и DS-специалистам.

статья | код

hogwild_llm

В репозитории содержится код для реализации и запуска параллельного инференса больших языковых моделей (LLM) по методу Hogwild! Inference — подхода, при котором несколько копий одной и той же модели выполняются параллельно и синхронизируются через общий attention-кэш. Вместо заранее заданной стратегии кооперации, модели сами решают, как разделить задачи, используя видимость токенов друг друга в общем KV-кэше и минимальную задержку при взаимодействии. Метод позволяет моделям в процессе инференса договариваться о стратегии: распределять подзадачи, исправлять ошибки других агентов, перепланировать ход решения. Для этого используются специальные конфигурации shared attention cache (contiguous, interleaved и combined), а также промптинг, стимулирующий модели проверять, не дублируют ли они работу друг друга. Эксперименты с открытыми LLM (например, QwQ-32B, DeepSeek-R1) показывают, что даже без дополнительного обучения модели способны обнаруживать дублирование, корректировать план решения и достигать сопоставимого или лучшего качества при меньшем количестве итераций. Кроме того, предложенная архитектура демонстрирует хорошее аппаратное ускорение за счёт снижения необходимости повторного вычисления attention-блоков. Код может быть полезен LLM-инженерам и исследователям, специалистам по агентам и DL исследователям.

статья | код