Появление LLM (больших языковых моделей) привело к самым разнообразным новым вариантам исследований. Например, исследователи из университета Вашингтона решили посмотреть, может ли ChatGPT воспроизвести предпочтения людей. Проверяли они это на примере выявления терпеливости людей – насколько они готовы подождать и получить награду чуть побольше. (Если интересно, как такие вещи вообще делаются, расскажу отдельно).

Исследователи сравнивали ответы ChatGPT-3.5 и ChatGPT-4 на разных языках. Всего было 22 языка, русский среди них тоже был.

Выяснилось, что у ChatGPT-3.5 очень простой принцип – он в ситуациях выбора упорядочивает лексикографически сначала во времени, потом награды. Поэтому если ему начинать предлагать более высокую награду в будущем (увеличивать ставку процента на языке экономистов), он ее никогда не выберет, потом что начинает выбор по дате и берет ближайшую.

Чат GPT 4.0 более терпелив, особенно если его попросить объяснить его выбор. Но все равно существенно менее терпелив, чем люди. Хотя, заметим, люди сами не слишком терпеливы во многих случаях. Так что пока эти прекрасные инструменты, как отмечают исследователи, не могут нам помочь моделировать ответы людей в ситуациях выбора (а как бы это удешевило разные эксперименты для экономистов!!!).

Но что интересно, обе модели, как и люди, при использовании языков со слабым будущим временем оказываются более терпеливыми, чем в случае языков с сильным будущим временем. К языкам со слабым будущим временем относятся, например, китайский и немецкий – там будущее действие можно выразить настоящим временем, обозначив время контекстом. К языкам с сильным будущим временем относятся, например, русский и английский – для выражения будущего используется отдельное время. Эта связь между силой выражения будущего времени в языке и терпением не всеми принимается, но корреляции, безусловно, есть.

#язык #LLM #emcr