tabpfn-finetuning

В репозитории представлен код для систематического изучения дообучения табличной фундаментальной модели TabPFNv2. Авторы сравнивают различные стратегии адаптации — полный fine-tuning, частичный — последние слои/LayerNorm/голова/эмбеддинги, параметро-эффективные LoRA, а также добавочные числовые эмбеддинги — и показывают, что при корректном подборе гиперпараметров именно полное дообучение даёт наилучший баланс точности и скорости сходимости. Ключевой вывод: после адаптации скалярные произведения запрос–ключ в последнем слое inter-sample внимания лучше согласуются с близостью объектов по целевой переменной; за счёт этого модель точнее собирает предсказание из релевантных контекстных примеров. Практически авторы демонстрируют дообучение на наборах до 1 млн ячеек и до 50 тыс. объектов: на академических i.i.d.-разбиениях затюненая версия достигает или превосходит современный уровень, тогда как на задачах с временным сдвигом и богатыми признаками стабильность ниже и сильные не фундаментальные DL/GBDT бейзлайны иногда предпочтительнее. Дополнительно отмечено: полный fine-tuning сходится быстрее альтернатив; увеличение числа объектов, участвующих в одном градиентном шаге предсказаний, стабильно улучшает качество; ансамбли из нескольких дообученных копий дают дополнительный прирост. Код и конфигурации доступны в открытом виде. Работа будет полезна практикам табличного DL и AutoML, выбирающим стратегию адаптации под конкретные данные, и исследователям, изучающим механизмы in-context-обучения в табличных моделях.

статья | код

FEVERDiagnostics

В репозитории опубликован код для воспроизведения результатов исследования по автоматической проверке фактов с использованием Википедии. Авторы рассматривают задачу в формате корпуса FEVER, где система должна по запросу находить подтверждающие или опровергающие утверждение отрывки текста. Несмотря на высокий прогресс в области, существующие модели часто совершают ошибки, природа которых оставалась недостаточно понятной. Для решения этой проблемы предложена диагностическая таксономия ошибок, включающая десять категорий: синонимы и антонимы, имена собственные, отрицания, квантификаторы, отношения между объектами, числа и арифметика, время, смысловые выводы, география и перегрузка текста лишними деталями. На основе таксономии создан новый диагностический набор данных, позволяющий выявлять слабые места современных систем. Кроме того, авторы разработали генеративный подход к дополнению обучающих данных: часть примеров создаётся автоматически по правилам, а часть — с помощью языковой модели. Эксперименты показывают, что дообучение на таких данных повышает точность распознавания в сложных категориях и улучшает итоговые результаты на тестовом корпусе FEVER. Работа будет полезна исследователям в области обработки естественного языка, специалистам по проверке фактов и разработчикам систем автоматической модерации контента.

статья | код

tencdm

В репозитории опубликован код для воспроизведения результатов работы по генерации текста с помощью диффузионных моделей. Авторы предлагают новый подход TEncDM, где диффузионная модель обучается не на стандартных векторных представлениях слов (эмбеддингах), а на выходах заранее обученных языковых моделей — так называемых кодировках. В отличие от эмбеддингов, такие кодировки содержат контекст, что облегчает восстановление текста при пошаговом удалении шума. В исследовании подробно анализируются ключевые компоненты диффузионной модели: архитектура декодера, стратегия добавления шума и механизм обуславливания на предыдущий выход - self-conditioning. Авторы показывают, что использование кодировок вместо эмбеддингов существенно повышает качество генерации, а также то, что более сложный декодер, учитывающий контекст, исправляет ошибки и делает текст более связным. Для проверки метода проведены эксперименты на задачах переформулирования вопросов, суммаризации и упрощения текста. Результаты показывают, что TEncDM превосходит существующие неавторегрессионные диффузионные модели и по ряду метрик сравним с классическими авторегрессионными методами. Работа будет полезна исследователям в области обработки текста, специалистам по генеративным моделям и разработчикам систем автоматической генерации контента.

статья | код

graphland

В репозитории опубликован код и набор данных GraphLand для оценки методов машинного обучения на графах в прикладных промышленных задачах. Авторы отмечают, что большинство существующих бенчмарков ограничены узкой областью, что не отражает реального разнообразия графовых данных. GraphLand включает 14 графовых наборов из разных доменов: веб-графы с задачами предсказания посещаемости сайтов и выявления мошенничества, социальные сети художников и пользователей стриминговых платформ, дорожные сети с прогнозом скорости движения, сервисы отзывов с задачей обнаружения фейковых рецензий, а также данные электронной коммерции и рекламы. Авторы проводят масштабные эксперименты, сравнивая графовые нейронные сети с градиентным бустингом над деревьями решений. Показано, что GNN с механизмом внимания часто превосходят классические архитектуры, однако модели бустинга при расширении признаков за счёт графовой информации становятся сильным бейзлайном, особенно в регрессионных задачах. Также выявлено, что временные сдвиги в распределении данных и динамика графа существенно влияют на качество, что подчёркивает необходимость разработки более устойчивых моделей. Современные универсальные фундаментальные графовые модели продемонстрировали слабые результаты на предложенных наборах данных. Работа будет полезна исследователям в области анализа графов, разработчикам алгоритмов машинного обучения, а также инженерам, работающим с промышленными данными.

статья | код

TwoToInfinity

В репозитории опубликован код для воспроизведения результатов работы по оценке специальных матричных норм в режиме без явного хранения матрицы. Авторы рассматривают две нормы операторов — от двух к бесконечности и от единицы к двум, которые позволяют контролировать структуру строк и столбцов матриц и широко применяются в теории обучения и регуляризации. Предложены новые случайные алгоритмы TwINEst и его улучшенная версия TwINEst++, которые используют только операции умножения матрицы на вектор и модифицируют классический метод Хатчинсона. Авторы доказывают сходимость и выводят оценки сложности, показывая, что новые методы точнее и устойчивее стандартных степенных итераций, которые могут расходиться. Эксперименты на синтетических и реальных данных демонстрируют эффективность предложенных алгоритмов. В частности, при обучении сверточных сетей на задачах классификации изображений регуляризация на основе двухк-бесконечности нормы улучшает обобщающую способность и повышает устойчивость к атакам. В области рекомендательных систем показано, что метод повышает надёжность моделей UltraGCN к целенаправленным возмущениям. Работа будет полезна исследователям в области численных методов линейной алгебры, специалистам по глубинному обучению и инженерам, разрабатывающим устойчивые рекомендательные системы.

статья | код

Осенний Scientific Open Source Meetup - в октябре!

Дорогие друзья и единомышленники!
С радостью приглашаем вас на очередной Scientific Open Source Meetup, который пройдет 2 октября 2025 года с 19:00 до 22:00 в Санкт-Петербурге в уютном лофте на Газовой, 10ж. Это отличная возможность встретиться, обсудить актуальные темы и поделиться опытом в мире открытого программного обеспечения.

Что вас ждет на митапе?

• Доклады от экспертов по разработке и применению Open Source
• Демонстрация новых Open Source инструментов;
• Живое общение с коллегами и единомышленниками;
• Возможность задать вопросы и обсудить последние тренды в Open Source
• Дискуссия о развитии научного опенсорса в России с участие экспертов из индустрии

А если у вас есть научный Open Source проект, опыт разработки открытых решений или пет-проект, о котором вы давно хотели рассказать, регистрируйтесь с докладом. Лучшего докладчика ждёт мерч от организаторов.

📩 Для регистрации пишите на почту [email protected] с темой «Митап Научный Open Source».

Мероприятие проходит при поддержке:
GitVerse
Среди разработок GitVerse — не только платформа с возможностью размещать, зеркалировать и импортировать репозитории, запускать CI/CD, но и инструмент для обучения ИТ-специалистов, SmartClass.
Разработчики могут использовать встроенную среду разработки GigaIDE, в том числе в облачном варианте, а также AI-ассистент GigaCode, чтобы избавиться от рутинных задач!

OpenScaler
OpenScaler — сообщества разработчиков ОС с открытым исходным кодом. Они уже несколько лет исследуют китайскую open-source экосистему.


🗓 Дата: 2 октября 2025 года
🕢 Время: 19:00 - 22:00
📍 Место: Лофт на Газовой, 10ж

Участие бесплатное, но количество очных мест ограничено
🔗 Ссылка на регистрацию

Ждем вас на митапе!

G2T-FM

В репозитории опубликован код G2T-FM, позволяющего строить простую базовую модель для графов на основе TabPFNv2. Идея заключается в превращении каждой графовой задачи в табличную с добавлением к исходным признакам узлов агрегатов по соседям, классических структурных характеристик графа (степень, PageRank, собственные векторы лапласиана) и обучаемых структурных кодировок PEARL; затем на этих представлениях работает TabPFNv2. Такой конвейер позволяет обрабатывать разнородные признаки узлов и таргета, не ограничиваясь только текстовыми графами. В режиме без дообучения G2T-FM даёт сильные результаты и заметно превосходит доступные открытые бейзлайновые графовые модели; после дообучения модель обгоняет хорошо настроенные GNN, обученные с нуля. Авторы проводят оценку на наборах GraphLand с нетекстовыми признаками и на классических датасетах с текстовыми признаками; показано, что выигрыш обеспечивается сочетанием табличного бэкбона и графовых дополнений к признакам. Работа может быть полезна исследователям графового обучения, инженерам, работающим с промышленными графами и смешанными типами признаков, и командам, которым нужна переносимость между разными графовыми доменами.

статья | код

🔥 Эта осень богата на события!

⭐ 8 октября состоится наша ежегодная конференция OpenSourceDay'2025 в городе с самыми красивыми закатами, по мнению местных жителей. В Нижнем Новгороде!

Приглашаем принять участие в одном из главных офлайн событий для российского open source комьюнити!

Что будет на конференции?

✔ Поговорим о том, как open source становится двигателем развития ИИ и цифровых технологий.
✔ Разберем успешные кейсы Китая и России по созданию аналогов мировых open source платформ.
✔ Поговорим с теми, кто уже создает открытые экосистемы и меняет правила игры.
✔ Вы узнаете, куда идти новичку, как "найти своих" и получить оффер.
✔ Разберем, какую роль играет open source и ИИ для студентов.
✔ Нетворкинг и фуршет: знакомимся, общаемся с лидерами open source комьюнити, договариваемся о совместных проектах.

Место встречи:
📍 Б. Покровская, 18, пространство DKRT, 16:30–21:30

‼ Регистрация обязательна, количество мест ограничено!

Присоединяйтесь и станьте частью нашего open source комьюнити!