Сообщают, что авторы семейства бенчмарков MERA выкатили MERA Code - новый открытый бенчмарк предназначенный для оценки больших языковых моделей на реальных прикладных задачах.

Хорошие бенчмарки сейчас вещь очень востребованная - новые модели и агенты/мультиагенты на их основе создаются очень часто, и без адекватной оценки - далеко не уедешь. В наших изысканиях по ИИ для опенсорса сталкивается с таким постоянно.

В разработке бенчмарка принимали участие команды Сбера, Т-Банка, MWS AI, Ростелекома, Университета Иннополис, ИТМО, Сколтеха, Центрального университета и компании «Сибирские нейросети».

Заявлены:
- Прозрачная методика оценки LLM для русского языка.
- 11 задач в формате инструкций (text2code, code2text, code2code) на 8 языках программирования: Python, Java, C#, JavaScript, Go, C, C++ и Scala.
- Открытая платформа со сквозной системой подсчёта баллов, рейтингом и удобным фреймворком для тестирования.
- И, конечно, анализ и результаты, охватывающие как открытые общие модели, так и проприетарные API для генерации кода.

Репозитории - гитхаб, гитверс.

Почитать подробнее можно на Хабре или на arxiv.

В цикле хабропостов Дмитрия Кабанова, посвященном опенсорсу, вышел новый материал - расширенный вариант одного из докладов с нашей секции Datafest:

От экосистемы KScience к опенсорс-хабу — рассказывает Александр Нозик, директор Центра научного программирования

Внутри - много подробностей про экосистему KScience, опыте опенсорс-разработчиков решений с бизнесом, а также обсуждение концепции университетского open source-хаба и его потенциальной финансовой модели.

При этом, если мы фокусируемся больше на опенсорсе в науке (пусть и с большим креном в сторону AI/ML), то тематику нового хаба (создаваемого на базе МФТИ) Александр обозначил как "Индустриальный open-source" (уже есть чат хаба, в котором можно поучаствовать всем заинтересованным).

Недавно обещал рассказать про то, как статью о нашем инструменте OSA приняли на воркшоп CODEML конференции ICML 2025.

Формат воркшопа любопытный - рассматривают статьи про новые ML-проекты с открытым кодом, багфиксы и улучшения в существующих, опыт разработки и предложения по улучшению процессов.

Поэтому написали туда короткую статью с описанием Осы и небольшими экспериментами по оценка качества генерации README и его сравнению с аналогами (ReadmeAI и др.). Получилось, на мой взгляд неплохо - с чем рецензенты и согласились.

Публикации non-archival - так что учтем полученные рецензии (довольно содержательные и позитивные) и подадим куда-нибудь ещё. Из минусов - нужна анонимизация (мне кажется, что для статей про опенсорс это несколько излишне).

Порадовало что организаторы отнесли нашу статью к категории spotlight - т.е. предложили выступить с докладом, а не только с постером. К сожалению, вживую добраться до ICML не удалось (получить визу в Канаду непросто) - но с доставкой постера помогли коллеги из AIRI, так что на воркшопе мы засветились (см. фото).

Текст статьи доступен на openreview, код - всё в том же репозитории https://github.com/aimclub/OSA.

Всем летний привет от нашего сообщества!

Рады анонсировать внеочередной Scientific Open Source Meetup от нашего сообщества ITMO Opensource, который пройдет 24 июля 2025 года с 18:30 до 22:00 в Санкт-Петербурге.

Формат необычный - митап частично проводится как элемент обучения в рамках программы дополнительного профессионального образования для преподавателей и руководителей образовательных программ подготовки топ-специалистов в области ИИ. Поэтому и уклон выступлений - в сторону образования. Из-за ограниченной вместимости площадки, для широкой публики все выступления будут доступны в формате live-трансляции.

Какие доклады будут в программе митапа:

- Николай Никитин, руководитель группы научно-технического развития, Институт ИИ ИТМО - Практики создания и поддержки культуры и экосистемы открытого кода в сфере ИИ в университете

- Владислав Терещенко, аспирант лаборатории LISA, ИТМО - Как мы научили LLM-ассистента рецензировать научные работы студентов ИТМО: вновь о проекте Edulytica

- Юлия Борисова, аспирант лаборатории NSS, ИТМО - Репозитории и опенсорс для студентов - что, зачем и как?

- Дмитрий Чуканов, ведущий эксперт по технологиям GitVerse - GitVerse — пространство для развития, обучения и новых открытий

- Олег Сиротюк, лидер сообщества OpenScaler - Секреты DeepSeek: академический open source как катализатор китайских инноваций и технологической независимости

Мероприятие проходит при поддержке:
OpenScaler — сообщество разработчиков ОС с открытым исходным кодом. Они уже несколько лет исследуют китайскую open-source экосистему, а также ведут канал Китай.AI, где публикуют и разбирают статьи из первоисточников про достижения Китая в ИИ. На этот раз коллеги расскажут о том, как в Китае opensource применяется в образовании.

Дата: 24 июля 2025 года
Время: 18:30 - 22:00
Место: онлайн

Ждем вас в трансляции в четверг!

Небольшое объявление для тех, кто хочет попробовать себя на научной позиции в сфере AI/ML:

У нас Институте ИИ ИТМО открылось несколько вакансий уровня junior и middle, от NSS Lab и AI Industrial Research Lab.

Среди тематики выделали три основных трека: по AI4Science, AI4Industry и по мультиагентным LLM.

В ходе работы можно будет и поучаствовать в разработке наших многочисленных open-source решений, и поресерчить на уровне A* / Q1.
Так что если ищете позицию с уклоном в разработку ПО - такие тоже есть.

Все подробности и форма для откликов - тут (по ссылке - канал NSS Lab, там периодически пишем о наших достижениях и результатах).

Вышел лонгрид от ICT Moscow про отечественные LLM и различные подходы к их созданию: Остаться в седле: кто и как в России обучает модели искусственного интеллекта.

Мне материал показался интересным, достаточно системно рассмотрены релизы ИИ-моделей этого года, опрошены эксперты как из бигтеха и университетов, так и стартапов.

Наверное, в не-бигтеховую часть подборки можно было бы включить мини-модели от "Сибирских нейросетей". Но, вероятно, не вошли по дате релиза.
Мы в ИТМО свои наработки по до-обучению специализированных моделей тоже ещё пока не успели опубликовать.

P.S. Про вчерашние open-source модели от OpenAI все, вероятно, уже прочитали. По метрикам выглядит многообещающе, у себя тоже попробуем поднять GPT-OSS-20B и протестировать в составе наших мультиагентных LLM-инструментов, вместо текущей Gemma 3 27b.

Коллеги из Yandex анонсируют опенсорсные активности вокруг платформы SourceCraft:

- Рейтинг репозиториев на SourceCraft с лайками и ачивками. Про лучшие проекты обещают написать в канале, а авторов - снабдить мерчом.
Наверное, на будущее не хватает каких-то фильтров по языкам и тематикам.

- Очередной цикл уже традиционной грантовой программы от Yandex Open Source, подавать заявки можно будет с середины августа и до 15 марта 2026. Но в этом году репозитории-кандидаты должны быть размещены именно на SourceCraft-е.

В канале pythonl узнал про любопытный open-source инструмент - https://github.com/HKUDS/DeepCode

C его помощью можно генерировать полноценные репозитории с кодом (включая не только алгоритмы, но и фронтенд и бекенд) на основе текста научной статьи:

- Paper2Code — реализация идей из исследований в рабочий код;
- Text2Web — генерация веь-интерфейсов по описанию ;
- Text2Backend — автоматическое создание масштабируемой серверной части;
- Поддержка длинных документов и больших проектов.

Тестируют планируют на бенчмарке по воспроизводимости научных статей (PaperBench), но это пока future plans.

В целом, выглядит весьма интересно, часть функциональности близка к нашей разработке OSA (у нас в планах как раз авто-анализ соответствия текста статьи и документации коду). Внутренняя реализация тоже схожа - внутри MAS LLM с множеством агентов и тулов.

У авторов проекта вообще очень сильный задел - ранее они выкатывали довольно популярные AutoAgent, AI-Researcher, Auto-Deep-Research, RAG-Anything и другие LLM-based инструменты.

Насколько DeepCode будет используем на практике - надо смотреть; но вообще концептуально ситуация когда код статьи надо с нуля восстанавливать по тексту - она какая-то не очень здоровая.

Не будем нарушать традицию анонсов этого цикла опенсорсных конференций:

«Базальт СПО» при поддержке Института программных систем им. А.К. Айламазяна РАН проводит "XXI конференцию разработчиков свободных программ". Она состоится 3-5 октября 2025 года в городе Переславле-Залесском на базе ИПС РАН.

7 сентября заканчивается прием заявок на участие в качестве докладчика, слушателям можно регистрироваться до 1 октября.

Тематики следующие:

- Разработка свободного программного обеспечения;
- Новейшие достижения проектов СПО;
- Формирование сообщества разработчиков СПО;
- Философские, культурные и правовые аспекты свободного ПО;
- Студенческие проекты разработки СПО;
- Разработка свободного аппаратного обеспечения (OSHW).

Заявлены следующие ограничения:
- Доклады о проприетарном ПО и бизнесе не допускаются.
- Если тема доклада связана с разработкой ПО, заявка должна содержать ссылку на код, опубликованный в любом общедоступном репозитории под любой свободной лицензией (по определению ГОСТ Р 54593-2011, FSF или OSI).
- Если тема доклада связана с разработкой свободного аппаратного обеспечения (OSHW), то все материалы проекта должны быть опубликованы в соответствии с требованиями Open Source Hardware (OSHW) Definition.


Актуальная информация о регистрации и участии публикуется на странице конференции. Там же будут размещены программа конференции и электронная версия сборника тезисов докладов.

Участие для докладчиков и слушателей бесплатное. Будет онлайн-трансляция.

На прошлогодней конференции от нас выступал Андрей Гетманов с докладом "Создание научного Open Source-сообщества — опыт ИТМО". На эту конференцию тоже постараемся добраться и рассказать про наши новые результаты - в частности про активно развиваемый улучшатель репозиториев OSA.

Пишут о запуске новой грантовой программы "Код без границ" от GitVerse, совместно с Cloud. ru и Хабром.

Обещают финансовую поддержку (150к, 100к и 50к рублей за 1, 2 и 3 места в каждой из четырех номинации), вычислительные ресурсы и менторинг для опенсорсных проектов.
Выглядит как полезный формат для поддержки небольших опенсорсных проектов, в том числе студенческих.

Номинации следующие:
1) AI-инновации: проекты, использующие искусственный интеллект для решения технологических задач: новые алгоритмы, фреймворки, AI-инструменты, реализации мультиагентных и RAG-систем и другие;

2) Наука и образование: проекты, направленные на улучшение образовательных процессов или научных исследований с использованием открытых технологий;

3) Проекты для всех: приложения и сервисы для конечного пользователя, средства коммуникации, программы для просмотра и редактирования файлов, цифровые помощники.

4) Разработка для разработчиков: проекты, которые ускоряют и облегчают работу. AI-инструменты разработки (кодовые ассистенты, ассистенты DevOps).

Из ограничений - проекты должны быть независимыми от конкретных компаний, а также размещаться на платформе gitverse (возможно и зеркалирование с других площадок).
Заявки - до 31 октября, результаты - в декабре.

Интересное от Selectel - обещают оплату за решение задач по доработке open-source решений.

Сейчас предлагаемые задачи связаны с архиватором xz, библиотекой асинхронного разрешения DNS-имен c-ares и парсером libxml2.

Подробнее - https://promo.selectel.ru/openfix

Выкатили сегодня совместное с Yandex B2B Tech исследование, посвященное ИИ-ассистентам для разработки ПО.

Все результаты и подробности проделанной работы представлены тут:
https://habr.com/ru/companies/yandex_cloud_and_infra/articles/947526

Там же доступен и полный текст исследования.

В ходе подготовки материала проведен опрос более 600 разработчиков из индустрии и академии; также пообщались с экспертами, про анализировали собственный опыт исследований в области LLM-агентов и AI4Code.

Надеюсь будет интересно и полезно!
Также будем рады обратной связи, а также идеям и предложениями для будущих исследований.

Осенний Scientific Open Source Meetup - в октябре!

Дорогие друзья и единомышленники!
С радостью приглашаем вас на очередной Scientific Open Source Meetup, который пройдет 2 октября 2025 года с 19:00 до 22:00 в Санкт-Петербурге в уютном лофте на Газовой, 10ж. Это отличная возможность встретиться, обсудить актуальные темы и поделиться опытом в мире открытого программного обеспечения.

Что вас ждет на митапе?

• Доклады от экспертов по разработке и применению Open Source
• Демонстрация новых Open Source инструментов;
• Живое общение с коллегами и единомышленниками;
• Возможность задать вопросы и обсудить последние тренды в Open Source
• Дискуссия о развитии научного опенсорса в России с участие экспертов из индустрии

А если у вас есть научный Open Source проект, опыт разработки открытых решений или пет-проект, о котором вы давно хотели рассказать, регистрируйтесь с докладом. Лучшего докладчика ждёт мерч от организаторов.

📩 Для подачи доклада на рассмотрение пишите на почту [email protected] с темой «Митап Научный Open Source».

Мероприятие проходит при поддержке:
GitVerse
Среди разработок GitVerse — не только платформа с возможностью размещать, зеркалировать и импортировать репозитории, запускать CI/CD, но и инструмент для обучения ИТ-специалистов, SmartClass.
Разработчики могут использовать встроенную среду разработки GigaIDE, в том числе в облачном варианте, а также AI-ассистент GigaCode, чтобы избавиться от рутинных задач!

OpenScaler
OpenScaler — сообщества разработчиков ОС с открытым исходным кодом. Они уже несколько лет исследуют китайскую open-source экосистему.


🗓 Дата: 2 октября 2025 года
🕢 Время: 19:00 - 22:00
📍 Место: Лофт на Газовой, 10ж

Участие бесплатное, но количество очных мест ограничено
🔗 Ссылка на регистрацию

Ждем вас на митапе!

Вот такую классную активность анонсируют. Сам Highload++ в представлении не нуждается - это топовая технологическая конференция (в этом году у меня как раз на нее приняли доклад про MAS LLM).

В опенсорс-трибуне участвовали в 2022-м с FEDOT-ом - мне понравилось, собирает интересные проекты и заинтересованную аудиторию. Здорово что возродили этот формат.
Так что если есть сильный проект - есть смысл попробовать!

Для тех кому интересно с утра прослушать про открытый код в индустрии и академии: в 10-00 на конференции РИФ начнётся дискуссия "Лидеры опенсорса: зачем компании делятся своими разработками бесплатно и как это развивает ИТ-рынок".

Трансляция:
https://rif2025.ru/
Зал "Лесной"

Я буду в роли модератора, среди участников:

- Сергей Бережной, директор по взаимодействию с разработчиками, Яндекс 
- Даниил Гаврилов, руководитель лаборатории научных исследований искусственного интеллекта T-Bank AI Research
- Анатолий Шипов, управляющий директор СберТеха, лидер платформы GitVerse
- Алексей Анисимов, заместитель руководителя Департамента  информационных технологий г. Москвы
- Владислав Куренков, руководитель научной группы "Адаптивные агенты" в Институте AIRI

UPD:

А вот и запись (ютуб-версия) + пересказ основных тезисов в "Российской газете".

Коллеги из МТС Web Services опубликовали пост на Хабре про инструменты для авто-генерации README и документации для открытых проектов:

https://habr.com/ru/companies/mws/articles/944316/

Приятно, что подборка начинается с нашего инструмента OSA. Также упомянуты ReadmeAI, Readme Forge, user-statistician, DeepWiki (и его сторонняя открытая реализация - deepwiki-open).

Инструменты довольно известные, но может кому-то будет полезно. Тот же дипвики довольно неплох в своей нише - быстрого обзора незнакомых проектов.

OpenScaler анонсирует опенсорс-конференцию в Нижнем Новгороде. Региональные мероприятия - это очень нужна вещь, так что всем заинтересованным рекомендуем поучаствовать!

🔥 Эта осень богата на события!

⭐ 8 октября состоится наша ежегодная конференция OpenSourceDay'2025 в городе с самыми красивыми закатами, по мнению местных жителей. В Нижнем Новгороде!

Приглашаем принять участие в одном из главных офлайн событий для российского open source комьюнити!

Что будет на конференции?

✔ Поговорим о том, как open source становится двигателем развития ИИ и цифровых технологий.
✔ Разберем успешные кейсы Китая и России по созданию аналогов мировых open source платформ.
✔ Поговорим с теми, кто уже создает открытые экосистемы и меняет правила игры.
✔ Вы узнаете, куда идти новичку, как "найти своих" и получить оффер.
✔ Разберем, какую роль играет open source и ИИ для студентов.
✔ Нетворкинг и фуршет: знакомимся, общаемся с лидерами open source комьюнити, договариваемся о совместных проектах.

Место встречи:
📍 Б. Покровская, 18, пространство DKRT, 16:30–21:30

‼ Регистрация обязательна, количество мест ограничено!

Присоединяйтесь и станьте частью нашего open source комьюнити!

А тем временем, наш петербуржский митап приближается. Уже в этот четверг в 19-00 ждем всех в лофте на Газовой - доклады, интересный нетворкинг и угощения будут вас ждать - для участия успевайте зарегистрироваться!

Доклады будут про ИИ-агентов для разработки, идеи для хранения данных, платформы для виртуализации - и не только.

Ссылка на трансляцию будет тут ближе к делу.