Завершилась презентация GPT-5 от OpenAI. Главное о модели:

0. OpenAI говорят, что с GPT-5 вы получите эксперта в кармане буквально в каждой области: «GPT-3 был школьником, GPT-4 студентом, а GPT-5 стал экспертом».

Обещания на подобных презах, как правило, надо на сколько-то делить. На сколько именно, мы узнаем в ближайшее время, когда бенчмарки GPT-5 сравнят с моделями-конкурентами. Все бенчмарки модели GPT-5 в презентации спикеры сравнивали со своими же моделями: OpenAI o3 и другими. Что не совсем корректно, так как по многим бенчам Claude 4 Opus обходит o3.

1. Слово «прорыв» (breakthrough) звучало очень часто, сбился со счёта уже на 10-ой минуте. Но реальный прорыв — это то, как модель держит длинный контекст. На 256k токенов она точна в 90% при поиске «иголок в стоге сена». Иголки в стоге сена — это факты, которые ей надо найти в большом куске текста. Предыдущая лучшая от OpenAI, GPT-4.1 находит всего 55% «иголок» на дистанции в 256k.

2. Модель стала меньше галлюцинировать в 6-7 раз. OpenAI особенно сконцентрировали внимание на галлюцинациях моделей в задачах, связанных со здоровьем, где галлюцинации критичнее всего. На задачах, связанных со здоровьем, галлюцинации уменьшились почти в 10 раз. Здоровью и медицине был посвящён целый блок. И именно в медицине GPT-5 показывает себя значительно лучше по сравнению с OpenAI o3.

3. Много было уделено кодингу. Модель рисует красивые интерфейсы и достаточно быстро делает задачи. Но! Опять демонстрировали написание достаточно искусственных задач с нуля. А также поправили одно issue в репозитории openai-python, но не замерджили.

Важно, как модель проходит SWE-Bench. Это такой тест на закрытие issues из популярных репозиториев. GPT-5 закрывает 74.9% задач. По данным из презентации, OpenAI o3 закрывала 69.1% задач. То есть рост на 5.8%. Но я иду на сайт SWE-Bench в таблицу лидеров и вижу, что лидирует Claude 4 Opus с 67.6%, что больше, чем OpenAI o3 (58.4%) аж на 9.2%.

И я не знаю, как трактовать это. Это уже breakthrough или ещё нет. Claude уже может делать с тем же качеством то, что они показали на презе. Хотя Денис попробовал GPT-5 в действии и говорит, что GPT-5 гораздо лучше Claude 4 Opus.

4. Цены на API за миллион токенов такие.

┌─────────┬─────────────┬──────────────┐
│ Модель  │ Input цена  │ Output цена  │
├─────────┼─────────────┼──────────────┤
│ GPT-4.1 │ $2          │ $8           │
│ GPT-5   │ $1.25       │ $10          │
└─────────┴─────────────┴──────────────┘

Input подешевел, output подорожал.

5. Бенчмарки собраны здесь. GPT-5 там сравнивают с OpenAI o3. Графики выглядят с первого взгляда потрясающе, но если приглядываться к шкалам, то выигрыши почти в каждом всего на несколько процентов.

6. Количество параметров и сумма денег, потраченная на обучение, не раскрывается. Вот источник, где фигурирует число 52.5 триллионов параметров, что больше в 30 раз, чем у GPT-4. Тренировка могла стоить полмиллиарда долларов. Оба источника сомнительны, я их приложил лишь для того, чтобы вы могли составить примерное представление. Эти данные OpenAI не раскрывает, и в интернете, в основном, спекулируют по этому поводу.

7. В GPT-5 не нужно указывать, какой именно моделью нужно пользоваться. А это была всегда головная боль с зоопарком моделей. Ты постоянно переключаешься между разными под свои нужды. Сейчас GPT-5 сама будет определять, куда перенаправить запрос.

8. Ну и самое главное. GPT-5 будет доступна даже пользователям бесплатного тира. У неё точно будут лимиты, но какие, пока не понятно.