Продуктовые LLM Бенчмарки GPT-4o 🤩


GPT-4o модель очень шустра, обладает контекстом в 128K и стоит дешевле GPT-4 Turbo. А еще умеет понимать эмоции и выражать их.

Под капотом у нее расширенный словарь, который в разы уменьшает число tokens, которые использует модель. Говорят, что улучшили понимание языков.

Особо сильного скачка у модели не было, т.к. модели OpenAI там уже практически уперлись в потолок - она просто обновила максимумы.

Но там есть один нюанс - категория Reason (способность к сложным рассуждениям) исторически была сделана очень сложной. GPT-4o подняла эту категорию с 62 (GPT-4 Turbo v3/1106-preview) до 75.

Что самое крышесносное - вся эта красота доступна не только по API, но и будет доступна в ChatGPT бесплатно. А это вызывает вопросик - что же такого OpenAI выкатят платным пользователям, чтобы те не ломанулись отменять подписки?

Ваш, @llm_under_hood 🤗

---


Описание работы, категорий и примеры кейсов есть в лабах. См другие бенчмарки по категории #bench