tencdm

В репозитории опубликован код для воспроизведения результатов работы по генерации текста с помощью диффузионных моделей. Авторы предлагают новый подход TEncDM, где диффузионная модель обучается не на стандартных векторных представлениях слов (эмбеддингах), а на выходах заранее обученных языковых моделей — так называемых кодировках. В отличие от эмбеддингов, такие кодировки содержат контекст, что облегчает восстановление текста при пошаговом удалении шума. В исследовании подробно анализируются ключевые компоненты диффузионной модели: архитектура декодера, стратегия добавления шума и механизм обуславливания на предыдущий выход - self-conditioning. Авторы показывают, что использование кодировок вместо эмбеддингов существенно повышает качество генерации, а также то, что более сложный декодер, учитывающий контекст, исправляет ошибки и делает текст более связным. Для проверки метода проведены эксперименты на задачах переформулирования вопросов, суммаризации и упрощения текста. Результаты показывают, что TEncDM превосходит существующие неавторегрессионные диффузионные модели и по ряду метрик сравним с классическими авторегрессионными методами. Работа будет полезна исследователям в области обработки текста, специалистам по генеративным моделям и разработчикам систем автоматической генерации контента.

статья | код

graphland

В репозитории опубликован код и набор данных GraphLand для оценки методов машинного обучения на графах в прикладных промышленных задачах. Авторы отмечают, что большинство существующих бенчмарков ограничены узкой областью, что не отражает реального разнообразия графовых данных. GraphLand включает 14 графовых наборов из разных доменов: веб-графы с задачами предсказания посещаемости сайтов и выявления мошенничества, социальные сети художников и пользователей стриминговых платформ, дорожные сети с прогнозом скорости движения, сервисы отзывов с задачей обнаружения фейковых рецензий, а также данные электронной коммерции и рекламы. Авторы проводят масштабные эксперименты, сравнивая графовые нейронные сети с градиентным бустингом над деревьями решений. Показано, что GNN с механизмом внимания часто превосходят классические архитектуры, однако модели бустинга при расширении признаков за счёт графовой информации становятся сильным бейзлайном, особенно в регрессионных задачах. Также выявлено, что временные сдвиги в распределении данных и динамика графа существенно влияют на качество, что подчёркивает необходимость разработки более устойчивых моделей. Современные универсальные фундаментальные графовые модели продемонстрировали слабые результаты на предложенных наборах данных. Работа будет полезна исследователям в области анализа графов, разработчикам алгоритмов машинного обучения, а также инженерам, работающим с промышленными данными.

статья | код

TwoToInfinity

В репозитории опубликован код для воспроизведения результатов работы по оценке специальных матричных норм в режиме без явного хранения матрицы. Авторы рассматривают две нормы операторов — от двух к бесконечности и от единицы к двум, которые позволяют контролировать структуру строк и столбцов матриц и широко применяются в теории обучения и регуляризации. Предложены новые случайные алгоритмы TwINEst и его улучшенная версия TwINEst++, которые используют только операции умножения матрицы на вектор и модифицируют классический метод Хатчинсона. Авторы доказывают сходимость и выводят оценки сложности, показывая, что новые методы точнее и устойчивее стандартных степенных итераций, которые могут расходиться. Эксперименты на синтетических и реальных данных демонстрируют эффективность предложенных алгоритмов. В частности, при обучении сверточных сетей на задачах классификации изображений регуляризация на основе двухк-бесконечности нормы улучшает обобщающую способность и повышает устойчивость к атакам. В области рекомендательных систем показано, что метод повышает надёжность моделей UltraGCN к целенаправленным возмущениям. Работа будет полезна исследователям в области численных методов линейной алгебры, специалистам по глубинному обучению и инженерам, разрабатывающим устойчивые рекомендательные системы.

статья | код

Осенний Scientific Open Source Meetup - в октябре!

Дорогие друзья и единомышленники!
С радостью приглашаем вас на очередной Scientific Open Source Meetup, который пройдет 2 октября 2025 года с 19:00 до 22:00 в Санкт-Петербурге в уютном лофте на Газовой, 10ж. Это отличная возможность встретиться, обсудить актуальные темы и поделиться опытом в мире открытого программного обеспечения.

Что вас ждет на митапе?

• Доклады от экспертов по разработке и применению Open Source
• Демонстрация новых Open Source инструментов;
• Живое общение с коллегами и единомышленниками;
• Возможность задать вопросы и обсудить последние тренды в Open Source
• Дискуссия о развитии научного опенсорса в России с участие экспертов из индустрии

А если у вас есть научный Open Source проект, опыт разработки открытых решений или пет-проект, о котором вы давно хотели рассказать, регистрируйтесь с докладом. Лучшего докладчика ждёт мерч от организаторов.

📩 Для регистрации пишите на почту [email protected] с темой «Митап Научный Open Source».

Мероприятие проходит при поддержке:
GitVerse
Среди разработок GitVerse — не только платформа с возможностью размещать, зеркалировать и импортировать репозитории, запускать CI/CD, но и инструмент для обучения ИТ-специалистов, SmartClass.
Разработчики могут использовать встроенную среду разработки GigaIDE, в том числе в облачном варианте, а также AI-ассистент GigaCode, чтобы избавиться от рутинных задач!

OpenScaler
OpenScaler — сообщества разработчиков ОС с открытым исходным кодом. Они уже несколько лет исследуют китайскую open-source экосистему.


🗓 Дата: 2 октября 2025 года
🕢 Время: 19:00 - 22:00
📍 Место: Лофт на Газовой, 10ж

Участие бесплатное, но количество очных мест ограничено
🔗 Ссылка на регистрацию

Ждем вас на митапе!

G2T-FM

В репозитории опубликован код G2T-FM, позволяющего строить простую базовую модель для графов на основе TabPFNv2. Идея заключается в превращении каждой графовой задачи в табличную с добавлением к исходным признакам узлов агрегатов по соседям, классических структурных характеристик графа (степень, PageRank, собственные векторы лапласиана) и обучаемых структурных кодировок PEARL; затем на этих представлениях работает TabPFNv2. Такой конвейер позволяет обрабатывать разнородные признаки узлов и таргета, не ограничиваясь только текстовыми графами. В режиме без дообучения G2T-FM даёт сильные результаты и заметно превосходит доступные открытые бейзлайновые графовые модели; после дообучения модель обгоняет хорошо настроенные GNN, обученные с нуля. Авторы проводят оценку на наборах GraphLand с нетекстовыми признаками и на классических датасетах с текстовыми признаками; показано, что выигрыш обеспечивается сочетанием табличного бэкбона и графовых дополнений к признакам. Работа может быть полезна исследователям графового обучения, инженерам, работающим с промышленными графами и смешанными типами признаков, и командам, которым нужна переносимость между разными графовыми доменами.

статья | код

🔥 Эта осень богата на события!

⭐ 8 октября состоится наша ежегодная конференция OpenSourceDay'2025 в городе с самыми красивыми закатами, по мнению местных жителей. В Нижнем Новгороде!

Приглашаем принять участие в одном из главных офлайн событий для российского open source комьюнити!

Что будет на конференции?

✔ Поговорим о том, как open source становится двигателем развития ИИ и цифровых технологий.
✔ Разберем успешные кейсы Китая и России по созданию аналогов мировых open source платформ.
✔ Поговорим с теми, кто уже создает открытые экосистемы и меняет правила игры.
✔ Вы узнаете, куда идти новичку, как "найти своих" и получить оффер.
✔ Разберем, какую роль играет open source и ИИ для студентов.
✔ Нетворкинг и фуршет: знакомимся, общаемся с лидерами open source комьюнити, договариваемся о совместных проектах.

Место встречи:
📍 Б. Покровская, 18, пространство DKRT, 16:30–21:30

‼ Регистрация обязательна, количество мест ограничено!

Присоединяйтесь и станьте частью нашего open source комьюнити!

multimodal_unlearning

В репозитории опубликован код и данные для воспроизведения результатов работы по удалению информации из мультимодальных моделей — задачам машинного забывания (machine unlearning). Авторы представляют CLEAR: первый открытый бенчмарк для оценки того, насколько модели способны забывать данные одновременно в текстовой и визуальной формах. Набор данных включает сведения о 200 вымышленных авторах, их биографии и 3700 синтетических портретов. Для каждого персонажа предусмотрены пары вопрос–ответ и изображения, что позволяет проверять, как хорошо модель забывает конкретную личность сразу в двух модальностях. Исследование охватывает 11 современных методов разучивания и показывает, что одновременное разучивание обеих модальностей значительно эффективнее, чем по отдельности. Авторы подробно анализируют баланс между удалением лишней информации и сохранением полезных знаний. Показано, что даже лучшие методы (LLMU и DPO) не достигают качества эталонной модели и часто теряют способность к распознаванию или порождению связанного контента. CLEAR также вводит систему показателей для оценки качества забывания, сохранения знаний и устойчивости к утечкам между модальностями. Работа будет полезна исследователям в области защиты данных, разработчикам мультимодальных языковых моделей и специалистам, изучающим этические аспекты ИИ и реализацию права на забвение.

статья | код

non-acyclic-gfn

В репозитории опубликован код для воспроизведения результатов работы по GFlowNets в неациклических средах. Авторы упрощают теорию для дискретного случая и показывают, как корректно определять потоки состояний и рёбер, когда траектории могут иметь произвольную длину, а классические допущения DAG не выполняются. Также уточняются связи с энтропийно-регуляризованным обучением с подкреплением, что расширяет мост между GFlowNets и RL за пределы ациклических задач. Авторами предложена простая конструкция потоков через ожидаемое число посещений, обеспечивающая детальный баланс и совпадение наград, а также показано, что при фиксированной обратной политике устойчивость лосса не влияет на оптимум, а при обучаемой — минимизация ожидаемой длины траектории эквивалентна минимизации суммарного потока, для чего вводится регуляризация по потокам состояний. Работа может быть полезна исследователям в области генеративных моделей и обучения с подкреплением.

статья | код

Итоги конкурса open-source проектов ФКН

Рады сообщить, что 23 октября мы подводим итоги первого конкурса открытых проектов для студентов ФКН!

На мероприятии будут объявлены победители конкурса и пройдет торжественное вручение наград. Также у участников будет возможность познакомиться с наиболее интересными работами.

Приходите поддержать финалистов, найти вдохновение для собственных проектов и погрузиться в мир open-source!


📅 Когда: 23 октября
📍 Где: Покровский бульвар 11, R407
⏰ Во сколько: 18:00

Ждем всех на церемонии награждения!

Mos.Hub //Демо

В этот четверг, 23 октября будет Mos.Hub //Демо

Приглашаем вас послушать о новых инструментах развития платформы Mos.Hub для разработки ПО

📅 Когда: 23 октября
⏰ Во сколько: 11:00 - 12:00
📍 Онлайн: https://vkvideo.ru/video-90870698_456240115

Мы начинаем через 15 минут. Приходите!

glgenn

В репозитории опубликован код GLGENN — новой эквивариантной архитектуры нейросетей на основе геометрических алгебр. Модель сохраняет эквивариантность ко всем псевдоортогональным преобразованиям пространства, включая повороты и отражения, и при этом использует заметно меньше обучаемых параметров благодаря продуманному разделению и совместному использованию весов, согласованному со структурой геометрических алгебр. Ключевая идея — обобщённые группы Липшица и построение слоёв, которые действуют сразу на четыре фундаментальные подпространства алгебры, задаваемые инволюцией по разряду и ревёрсией. Это даёт лёгкую по параметрам реализацию без потери выразительности и автоматически гарантирует нужную эквивариантность. Предложены слои проекций, геометрического произведения и нормализации, а также слой конъюгаций с дискретными коэффициентами, что упрощает обучение и повышает устойчивость. В экспериментах на эталонных задачах архитектура либо превосходит, либо не уступает существующим эквивариантным моделям при существенно меньшем числе параметров. Показаны результаты на регрессии с симметрией O(5), оценке объёма выпуклой оболочки в пространствах O(5) и O(7), а также на задаче взаимодействия N-тел. По сравнению с CGENN достигается сопоставимое или лучшее качество, при этом число параметров и время обучения ниже; отмечена меньшая склонность к переобучению на малых выборках. Работа может быть полезна исследователям эквивариантных архитектур, специалистам по моделированию физических систем и робототехнике, а также командам, которым важны строгие симметрии при ограниченных данных и ресурсах.

статья | код

Псс 👀 еще не забыли про нас?

Yandex Open Source Jam возвращается!

Уже 24 ноября мы будем ждать вас в Москве и онлайн на нашем третьем опенсорс-джеме. В этот раз мероприятие проходит при поддержке платформы для разработчиков SourceCraft: ребята подготовили для вас много интересных активностей и приятные призы.

Что еще вас ждет на джеме — смотрите на сайте. И регистрируйтесь по ссылке ❤️

До встречи!

when-punctuation-matters

В репозитории опубликован код и протокол масштабного сравнения методов повышения устойчивости моделей к формату запроса. Авторы берут 8 открытых LLM из семейств Llama, Qwen и Gemma, 52 задачи из набора Natural Instructions и системно оценивают пять подходов: калибровку батча, ансамбли шаблонов, чувствительное к возмущениям декодирование, дообучение LoRA с форматными аугментациями и LoRA с согласующим штрафом. Результаты дополнены проверкой на GPT-4.1 и DeepSeek V3, чтобы понять, как ведут себя «флагманские» модели при изменении пробелов, пунктуации и разметки вариантов ответа. Авторы выяснили, что калибровка батча одновременно повышает точность и снижает разброс качества между разными форматами, оставаясь почти бесплатной по вычислениям; однако при сильном перекосе классов её преимущество исчезает. Исследователи также проверяют переносимость под сдвигами распределения: при композиционном сдвиге по форматам влияние невелико, а при переносе между наборами данных точность LoRA зависит от домена исходного обучения. Работа может быть полезна практикам, которым нужна стабильность LLM в продакшене; исследователям оценки и калибровки; командам, внедряющим ботов и ассистентов в чувствительных сценариях, где изменение шаблона промпта недопустимо.

статья | код

ProcrustesGPT

В репозитории опубликован код ProcrustesGPT — подхода к сжатию больших языковых моделей, который опирается на структурированные матрицы и ортогональные преобразования весов. Авторы используют тот факт, что выход трансформера не меняется, если внутри слоя повернуть скрытое пространство ортогональной матрицей и соответствующим образом скорректировать скип-соединения. Рассматриваются два семейства представлений: суммы произведений Кронекера и так называемые GS-матрицы, обобщающие известные Monarch-структуры. Эксперименты на моделях OPT и Llama2 показывают, что при сжатии порядка 14–36 % по числу параметров ProcrustesGPT даёт меньшую потерю качества, чем SliceGPT и другие методы без дообучения, как по перплексии на WikiText2, так и по нулевому обучению на задачах ARC, HellaSwag, PIQA и WinoGrande. Особенно заметен выигрыш на моделях Llama2, где средняя точность после сжатия остаётся близкой к исходной и существенно превосходит альтернативы. Работа демонстрирует, что грамотно подобранные ортогональные преобразования могут сделать структурированные разложения практичным инструментом сжатия LLM без дополнительного обучения. Код может быть полезен исследователям сжатия нейросетей, инженерам, внедряющим LLM в ресурсно-ограниченные среды, и разработчикам, работающим со структурированными матричными разложениями.

статья | код