multimodal_unlearning

В репозитории опубликован код и данные для воспроизведения результатов работы по удалению информации из мультимодальных моделей — задачам машинного забывания (machine unlearning). Авторы представляют CLEAR: первый открытый бенчмарк для оценки того, насколько модели способны забывать данные одновременно в текстовой и визуальной формах. Набор данных включает сведения о 200 вымышленных авторах, их биографии и 3700 синтетических портретов. Для каждого персонажа предусмотрены пары вопрос–ответ и изображения, что позволяет проверять, как хорошо модель забывает конкретную личность сразу в двух модальностях. Исследование охватывает 11 современных методов разучивания и показывает, что одновременное разучивание обеих модальностей значительно эффективнее, чем по отдельности. Авторы подробно анализируют баланс между удалением лишней информации и сохранением полезных знаний. Показано, что даже лучшие методы (LLMU и DPO) не достигают качества эталонной модели и часто теряют способность к распознаванию или порождению связанного контента. CLEAR также вводит систему показателей для оценки качества забывания, сохранения знаний и устойчивости к утечкам между модальностями. Работа будет полезна исследователям в области защиты данных, разработчикам мультимодальных языковых моделей и специалистам, изучающим этические аспекты ИИ и реализацию права на забвение.

статья | код

non-acyclic-gfn

В репозитории опубликован код для воспроизведения результатов работы по GFlowNets в неациклических средах. Авторы упрощают теорию для дискретного случая и показывают, как корректно определять потоки состояний и рёбер, когда траектории могут иметь произвольную длину, а классические допущения DAG не выполняются. Также уточняются связи с энтропийно-регуляризованным обучением с подкреплением, что расширяет мост между GFlowNets и RL за пределы ациклических задач. Авторами предложена простая конструкция потоков через ожидаемое число посещений, обеспечивающая детальный баланс и совпадение наград, а также показано, что при фиксированной обратной политике устойчивость лосса не влияет на оптимум, а при обучаемой — минимизация ожидаемой длины траектории эквивалентна минимизации суммарного потока, для чего вводится регуляризация по потокам состояний. Работа может быть полезна исследователям в области генеративных моделей и обучения с подкреплением.

статья | код

Итоги конкурса open-source проектов ФКН

Рады сообщить, что 23 октября мы подводим итоги первого конкурса открытых проектов для студентов ФКН!

На мероприятии будут объявлены победители конкурса и пройдет торжественное вручение наград. Также у участников будет возможность познакомиться с наиболее интересными работами.

Приходите поддержать финалистов, найти вдохновение для собственных проектов и погрузиться в мир open-source!


📅 Когда: 23 октября
📍 Где: Покровский бульвар 11, R407
⏰ Во сколько: 18:00

Ждем всех на церемонии награждения!

Mos.Hub //Демо

В этот четверг, 23 октября будет Mos.Hub //Демо

Приглашаем вас послушать о новых инструментах развития платформы Mos.Hub для разработки ПО

📅 Когда: 23 октября
⏰ Во сколько: 11:00 - 12:00
📍 Онлайн: https://vkvideo.ru/video-90870698_456240115

Мы начинаем через 15 минут. Приходите!

glgenn

В репозитории опубликован код GLGENN — новой эквивариантной архитектуры нейросетей на основе геометрических алгебр. Модель сохраняет эквивариантность ко всем псевдоортогональным преобразованиям пространства, включая повороты и отражения, и при этом использует заметно меньше обучаемых параметров благодаря продуманному разделению и совместному использованию весов, согласованному со структурой геометрических алгебр. Ключевая идея — обобщённые группы Липшица и построение слоёв, которые действуют сразу на четыре фундаментальные подпространства алгебры, задаваемые инволюцией по разряду и ревёрсией. Это даёт лёгкую по параметрам реализацию без потери выразительности и автоматически гарантирует нужную эквивариантность. Предложены слои проекций, геометрического произведения и нормализации, а также слой конъюгаций с дискретными коэффициентами, что упрощает обучение и повышает устойчивость. В экспериментах на эталонных задачах архитектура либо превосходит, либо не уступает существующим эквивариантным моделям при существенно меньшем числе параметров. Показаны результаты на регрессии с симметрией O(5), оценке объёма выпуклой оболочки в пространствах O(5) и O(7), а также на задаче взаимодействия N-тел. По сравнению с CGENN достигается сопоставимое или лучшее качество, при этом число параметров и время обучения ниже; отмечена меньшая склонность к переобучению на малых выборках. Работа может быть полезна исследователям эквивариантных архитектур, специалистам по моделированию физических систем и робототехнике, а также командам, которым важны строгие симметрии при ограниченных данных и ресурсах.

статья | код

Псс 👀 еще не забыли про нас?

Yandex Open Source Jam возвращается!

Уже 24 ноября мы будем ждать вас в Москве и онлайн на нашем третьем опенсорс-джеме. В этот раз мероприятие проходит при поддержке платформы для разработчиков SourceCraft: ребята подготовили для вас много интересных активностей и приятные призы.

Что еще вас ждет на джеме — смотрите на сайте. И регистрируйтесь по ссылке ❤️

До встречи!

when-punctuation-matters

В репозитории опубликован код и протокол масштабного сравнения методов повышения устойчивости моделей к формату запроса. Авторы берут 8 открытых LLM из семейств Llama, Qwen и Gemma, 52 задачи из набора Natural Instructions и системно оценивают пять подходов: калибровку батча, ансамбли шаблонов, чувствительное к возмущениям декодирование, дообучение LoRA с форматными аугментациями и LoRA с согласующим штрафом. Результаты дополнены проверкой на GPT-4.1 и DeepSeek V3, чтобы понять, как ведут себя «флагманские» модели при изменении пробелов, пунктуации и разметки вариантов ответа. Авторы выяснили, что калибровка батча одновременно повышает точность и снижает разброс качества между разными форматами, оставаясь почти бесплатной по вычислениям; однако при сильном перекосе классов её преимущество исчезает. Исследователи также проверяют переносимость под сдвигами распределения: при композиционном сдвиге по форматам влияние невелико, а при переносе между наборами данных точность LoRA зависит от домена исходного обучения. Работа может быть полезна практикам, которым нужна стабильность LLM в продакшене; исследователям оценки и калибровки; командам, внедряющим ботов и ассистентов в чувствительных сценариях, где изменение шаблона промпта недопустимо.

статья | код

ProcrustesGPT

В репозитории опубликован код ProcrustesGPT — подхода к сжатию больших языковых моделей, который опирается на структурированные матрицы и ортогональные преобразования весов. Авторы используют тот факт, что выход трансформера не меняется, если внутри слоя повернуть скрытое пространство ортогональной матрицей и соответствующим образом скорректировать скип-соединения. Рассматриваются два семейства представлений: суммы произведений Кронекера и так называемые GS-матрицы, обобщающие известные Monarch-структуры. Эксперименты на моделях OPT и Llama2 показывают, что при сжатии порядка 14–36 % по числу параметров ProcrustesGPT даёт меньшую потерю качества, чем SliceGPT и другие методы без дообучения, как по перплексии на WikiText2, так и по нулевому обучению на задачах ARC, HellaSwag, PIQA и WinoGrande. Особенно заметен выигрыш на моделях Llama2, где средняя точность после сжатия остаётся близкой к исходной и существенно превосходит альтернативы. Работа демонстрирует, что грамотно подобранные ортогональные преобразования могут сделать структурированные разложения практичным инструментом сжатия LLM без дополнительного обучения. Код может быть полезен исследователям сжатия нейросетей, инженерам, внедряющим LLM в ресурсно-ограниченные среды, и разработчикам, работающим со структурированными матричными разложениями.

статья | код