ИИ-чат-боты «провалили» тест на когнитивные способности, но стоит ли это воспринимать всерьёз?

Новое исследование, опубликованное в The BMJ, показало, что ведущие искусственные интеллекты продемонстрировали признаки «когнитивного снижения» при прохождении теста MoCA — популярного инструмента для диагностики лёгких когнитивных нарушений. Удивительно, но Дональд Трамп, известный своими заявлениями о прохождении этого теста, превзошёл машины по результатам.

В ходе исследования проверяли ChatGPT-4, ChatGPT-4o, Claude 3.5 и две версии Gemini (1 и 1.5). Лучший результат показал ChatGPT-4o (26 баллов из 30), что лишь на грани лёгкого когнитивного нарушения. Gemini 1 набрал всего 16 баллов, что соответствует более выраженному снижению когнитивных функций. Боты справились с памятью и вниманием, но провалили задания на зрительно-пространственные навыки: ни один не смог правильно нарисовать куб или циферблат часов с заданным временем.

Однако многие эксперты раскритиковали методику исследования, указывая, что тест MoCA разработан исключительно для оценки человеческого мышления. Даже сам создатель теста, Зиад Насреддин, признал, что ИИ-боты не обучались стратегии успешного прохождения MoCA, поэтому их низкие результаты не означают реальных «когнитивных нарушений». Один из самих испытуемых — Claude 3.5 — даже «ответил» исследователям, назвав тестирование «категориальной ошибкой», сравнимой с «диагностикой астмы у подводной лодки».

Несмотря на споры, ведущий автор исследования Рой Даян отмечает, что это работа с ироничным оттенком, характерным для рождественских выпусков The BMJ. Однако исследование поднимает важный вопрос: можно ли доверять ИИ диагностику пациентов, если он сам показывает «когнитивные сбои»? Пока что, по мнению исследователей, врачи могут не беспокоиться о замене их искусственным интеллектом — по крайней мере, ещё несколько лет.

💊 Основной канал
💳 Поддержать нас

#неврология #деменция #ии #chatgpt #интеллект

🔬 Источник: The BMJ