#1C_Code_Bench
Запустили 1C Code Bench — первый открытый бенчмарк для оценки того, как LLM-ки пишут код на 1С.
20 задач из реальной практики: запросы, табличные части, регистры, движения документов. Всё автоматизировано — подставляем код от модели в обработку, компилируем, прогоняем тесты.
Пока лидирует Claude Sonnet 4.5 с 70% успешных решений, GPT-5 внезапно на последнем месте с 30%. Базовый синтаксис модели освоили, а вот виртуальные таблицы регистров и специфику объектов платформы — пока не очень.
Код открыт, задачи можно добавлять — приглашаю контрибьютить.
🔗 https://1cbench.github.io/ - сайт проекта
🔗 https://github.com/1cbench/bench - github проекта
Запустили 1C Code Bench — первый открытый бенчмарк для оценки того, как LLM-ки пишут код на 1С.
20 задач из реальной практики: запросы, табличные части, регистры, движения документов. Всё автоматизировано — подставляем код от модели в обработку, компилируем, прогоняем тесты.
Пока лидирует Claude Sonnet 4.5 с 70% успешных решений, GPT-5 внезапно на последнем месте с 30%. Базовый синтаксис модели освоили, а вот виртуальные таблицы регистров и специфику объектов платформы — пока не очень.
Код открыт, задачи можно добавлять — приглашаю контрибьютить.
🔗 https://1cbench.github.io/ - сайт проекта
🔗 https://github.com/1cbench/bench - github проекта
GitHub
GitHub - 1cbench/bench
Contribute to 1cbench/bench development by creating an account on GitHub.
🔥4