Создан бенчмарк для оценки качества химических языковых моделей 🔖

Учёные Института AIRI разработали инструмент для оценки эффективности нейросетевых языковых моделей в решении сложных химических задач. В отличие от простого извлечения фактов, современные химические LLM испытывают трудности с многоступенчатыми задачами, требующими последовательного логического рассуждения — например, определения продуктов реакции и оценки их свойств.

Новый бенчмарк, созданный на основе комбинации базовых химических задач, имитирует реальные рабочие процессы химиков при разработке лекарств и катализаторов. Исследование показало, что универсальные языковые модели дают содержательные ответы, но профильные химические LLM точнее в решении специализированных задач, хоть и уступают по формальным метрикам.

Исследование подготовили сотрудники группы органической химии центра ИИ-разработки лекарственных препаратов AIDD и группы «Прикладное NLP» под руководством Артура Кадурина и доктора компьютерных наук, старшего научного сотрудника ИСП РАН Елены Тутубалиной. Работа будет представлена на конференции EMNLP 2025.

📎Подробности — в материале ТАСС.