Наши коллеги из AGI NLP SberAI и GigaCode SberAI вместе с другими участниками команды MERA из МТС AI, Т-банка, Ростелекома и Сибирских нейросетей выпустили новый бенчмарк MERA Code. Он позволяет более точно оценивать результаты LLM в задачах программирования, в том числе с учётом требований, сформулированных на русском языке.

Современные языковые модели для программирования (GigaChat, ChatGPT, Claude, Qwen, DeepSeek Coder и др.) сложно сравнивать между собой из-за отсутствия единого подхода к оценке. Они имеют разные наборы тестовых задач и условия замеров: разные датасеты, промптинговые стратегии и метрики. MERA Code стал первым шагом к решению этой проблемы.

Что внутри

🔘 11 задач в форматах text2code, code2text, code2code на 8 языках: Python, Java, C#, JavaScript, Go, C, C++ и Scala.
🔘 Открытая платформа с единой системой оценки, рейтингом и удобным фреймворком для тестирования
🔘 Анализ как открытых моделей, так и проприетарных API для генерации кода
🔘 Кодовая база, разработанная на основе LM Evaluation Harness

Авторы также предложили таксономию навыков, которая описывает ключевые способности LLM, необходимых для решения конкретных задач. В основе подхода — представление о модели как о системе из трёх компонентов:

вход → внутреннее состояние → выход

Исходя из этого, выделяются четыре базовых навыка:

🔘 восприятие (отвечает за входные данные)
🔘 логика и знания (внутренние характеристики модели)
🔘 генерация (отвечает за выходные данные)

Такую таксономию можно воспринимать как «карту навыков». Она показывает, что требуется от модели для успешного прохождения теста и какие области карты ещё не покрыты в бенчмарке.

➡️ Видеогайд, как замерить модель

MERA Code — шаг к честной, точной и воспроизводимой оценке LLM на русском языке. Присоединяйтесь к проекту, тестируйте свои модели и развивайте бенчмарк вместе с нами!

Подписывайтесь на наш канал 👈