– Показали GPT4o, самую мощную новую модель: она будет доступна для платных и ДЛЯ БЕСПЛАТНЫХ пользователей ChatGPT (даже без регистрации). Модель сейчас на первом месте по тестам сравнивая с другими лучшими моделями — и в коде и в других задачах.

– GPT4o это «Омнимодель» натренированная сразу на тексте, фото и видео — то есть та самая мультимодальность которую мы ждали.

– GPT4o уже доступна через API и стоит в два раза дешевле, и работает в 2 раза быстрее.

– Показали улучшенную версию аудио-чата через ассистента — она теперь шутит, понимает ваши эмоции; теперь ассистента можно перебивать своим голосом и сам ассистент говорит с эмоциями, и вы можете просить ее менять эти эмоции (даже петь). Переводчик с помощью GPT4o просто работает как в Sci-Fi кино (не путаясь и не требуя дополнительных нажатий кнопок).

– Запустят десктопные приложение наконец-то, чтобы не в вебе сидеть; в десктопном приложении ей можно показывать экран целиком и просить ее подправить код, что-то рассказать и тп. То есть это ассистент, который всегда видит ваш экран.


Дополнительные мелочи:

— Заявленные фичи выкатят через пару недель.
— Теперь через приложение можно просто ей показывать видео фид и она будет давать советы как решить какую-то задачу (не нужно фоткать ничего, работает как стрим);

— Во время демки ассистент тормозил хехе.

А вот что я предсказывал в посте выше и что сбылось или не сбылось:

✅ Демку ассистента как из фильма Her
✅ Полную мультимодальность: модель будет обучена сразу на видео, аудио, картинках и тексте
❌ Размер контекстного окна в 1М (128k токенов)
✅ Новую архитектуру к новой модели, у которой сразу будут все фишки выше
✅ GPT4 обновление с лучшим написанием кода, или 4.5 или 4.1 (с названиями, они, конечно, не консистентны)
✅ и ❌Новую версию Dalle 3, с улучшенным фотореализмом (gpt4o умеет генерировать фотореализм и видимо, заменит Dalle 3 однажды)

У новой модели контекстное окно 128k токенов, это две копии книги «Великого Гетсби» примерно – столько она может держать «в уме» работая с данными.

Это немного, хочется миллионы конечно

Я одного не понимаю, Google показал это в 2018 году – робот резервирует прием в салон красоты:
https://t.iss.one/denissexy/788

Как они умудрились не сделать масс продукт из этого?
Спустя 6 лет OpenAI просто обыграла их как дешевок ¯\_(ツ)_/¯

Буду радоваться когда Сундар Пичаи уйдет с поста, честно – риторические вопросы все

Киберпанк который мы заслужили

Давно не было милых новостей в стиле SimCity 3000 – вот версия от GPT-4o:

🔸 Кошка захватила мэрский офис, требуя бесплатного тунца для всех. Жители города поддерживают её кандидатуру.

🔸 Робот-пылесос стал героем дня, спасая хомячка из-под дивана. Теперь его зовут Суперпылесос.

🔸 Гигантская тыква выросла на крыше мэрии. Теперь она служит новой городской достопримечательностью и кафе.

🔸 Местная белка стала звездой социальных сетей, собирая орехи в форме сердечек. Жители дарят ей орехи каждый день.

🔸 Птица-певчая взяла под контроль городской светофор, поет песни на зеленый свет. Водители благодарны за музыкальные остановки.

🔸 Городской пруд захватили утки, организовав утиную регату. Победители получают золотые булочки.

🔸 Местный фермер вырастил арбуз в форме звезды. Симы считают, что это новый символ города.

🔸 Бабочка стала сенсацией, случайно прилетев на заседание городского совета. Все решения теперь принимаются с её согласия.

🔸 Городской почтальон на велосипеде заменен на почтового дрона, который раздает письма вместе с печеньем.

🔸 Местный музыкант учит кошек играть на пианино. Теперь каждую ночь город наполнен мелодичными мурлыканьями.

🔸 Местный хорек стал мэром города после случайного голосования. Жители утверждают, что его решения значительно улучшили городскую инфраструктуру, особенно туннели.

🔸 Почтовый голубь случайно доставил любовное письмо в соседний город, вызвав цепочку романтических встреч.

🔸 Власти города заменили все уличные фонари на светлячков. Жители довольны природным освещением.

🔸 Роботы-бариста готовят кофе с художественными рисунками на пенке. Теперь у каждого кофе своя история.

🔸 Городская библиотека ввела программу 'чтение с котом'. Теперь каждый читатель получает мурлыкающего напарника.

🔸 В зоопарке открылась школа танцев для слонов. Их выступления собирают аншлаги.

🔸 Местные жители случайно обнаружили подземный город хомяков. Экскурсии проводятся каждую субботу.

🔸 На городской площади установлен фонтан с мыльными пузырями. Дети и взрослые не могут наиграться.

🔸 Городская станция метро начала использовать вагоны для пикников. Пассажиры наслаждаются путешествиями с бутербродами.

🔸 Жители города нашли способ выращивать миниатюрные деревья-бонсай на балконах. Теперь у каждого дома своя зеленая мини-аллея.

🔸 В зоопарке открылась школа фехтования для пингвинов. Туристы не могут поверить своим глазам, наблюдая за их поединками на льду с миниатюрными рапирами.

🔸 Власти города заменили все автобусы на гигантские тапки. Симы признают, что новый транспорт мягкий, уютный и идеально подходит для коротких поездок.

Прошлая подборка.

Короче, я потратил сегодня весь день пытаясь делать разные промпты «эксперта в написании кода» под GPT-4o и у меня пока не очень хорошие новости:

— Чистый ChatGPT на GPT-4o пишет код лучше (!) чем запромченый эксперт через API, такого я еще не видел;

— Помните я писал раньше про модель «im-a-good-gpt2-chatbot» о которой мы мало что знаем и она мне понравилась больше всего? Она все еще лучше всех, не пропускает инструкций и слушается;

В видео есть 3 вида змейки написанных с первого раза (то есть я не дебажил код самой моделью, просто копировал его и запускал — все модели прекрасно дебажат сами себя если попросить, я тестировал генерацию с первого раза):

— GPT-4o БЕЗ какого-либо промпта, кроме системного промпта ChatGPT: модель сделала симпатичную игру которая сразу работает, нормально считает очки и тп. Код.

— GPT-4o С моим системным промптом, где я ей говорю какая она классная в разработке и описываю детально как лучше писать код: во-первых, не с первого раза игра заработала, пришлось пару раз делать перегенерации — я пробовал и длинные и короткие системные промпты, ей все равно. Во вторых, игра с багами — очки считаются x10, при врезании в стену показывается алерт JS с очками который я отключил потому что невозможно же. Код.

— Im-a-good-gpt2-chatbot с тем же самым промптом разработчика выше: сделала прекрасную игру, которая считает правильно очки, содержит игровое сообщение «Game Over» и в целом норм работает. Код.

Я утром читал какие-то негативные комментарии про GPT-4o, и подумал что люди просто хейтят ClosedAI, такое часто происходит — а сейчас вижу, что есть за что — модель плохо промптится.

Поэтому:
1) Или так задумано
2) Или у OpenAI баг в API
3) Или нас ждет скорый релиз еще лучшей модели – «im-a-good-gpt2-chatbot», а GPT-4o чисто для аудио-ассистента сделана (это мое мнение, высосанное из пальца)

P.S. Мой текущий промпт разработчика, который хорошо работает (execution mode штука только для моделей OpenAI и не ясно он вообще работает или нет, удалите если в другие модели понесете)

Стадии принятия деградацим модели

Гнев - да хейтеры closed Ai все врут
Дебаг - щаща промпт поменяю и нормально будет
Торг - ну, зато быстрее... И в ASCII рисует лучше... И e2e мультимодалка...
Депресия - блять ну как так то, почему я должен писать: I give you 100$
Принятие - ну, зато дешевле и быстрее и слава богу



https://t.iss.one/denissexy/8156