⚡️OpenAI представил поисковик внутри ChatGPT. Уже доступен для всех подписчиков.

Гугл и Perplexity ☠️ Или нет пока? 🤭

Выглядит прикольно, кажется хорошо, что я так и не успел оформить подписку на Perplexity.

P.s. А я пока в отпуске, мало пишу, немного пытаюсь отдохнуть перед эрой AGI 💆🤭

ИИволюция

Кстати, с релизом ChatGPT Search, OpenAI выпустила расширение для Chrome браузера, чтобы поиск по умолчанию шел через ChatGPT Search. Можно поставить и в Arc браузере (или вы всё ещё не пользуетесь арком?)

Судя по статистике из Chrome Store, расширение установили всего 30 тыс человек. Маловато для киллера гугла 😏

Расширение здесь.

ИИволюция

В API OpenAI завезли новую фичу — Predicted Outputs. Удивительно, что они сделали это первыми — а то вот кэширование дольше всех добавляли 🥺

Predicted Outputs позволяют существенно ускорить написание ответа в ситуациях, где большая часть генерируемого текста уже известна. Два самых популярных сценария использования — это редактирование кода (где нужно всего пару строк подправить посередине) и переписывание текста.

Работает это с помощью speculative decoding, на пальцах выглядит так:
0. Вспомним, что LLM обладают следующим свойством: они могут «прочитать» много текста за один проход, при этом сделав предсказания для каждого из слов (какое должно идти за ним); но генерация происходит по одному слову за раз (после чего берётся предсказание от последнего слова и приклеивается к исходному тексту)
1. В некоторых задачах мы наперёд знаем большую часть текста ответа. Берём и приклеиваем её ко входу, как будто бы это уже часть ответа (делается под капотом на серверах OpenAI, но текст ответа присылаете вы, см. документацию)
2. Модель делает все предсказания для текста ответа за раз. Это делается быстро, так как не нужно ждать генерации второго слова для получения третьего.
3. Начинается сравнение «что предсказала модель» и «что было написано в ответе». Первое слово и там, и там совпадает, второе тоже.. а вот, скажем, двадцатое — нет. В случае переписывания текста это может быть началом нового абзаца, или изменением имени персонажа в истории
4. Тогда первые 19 слов ответа подклеиваются к настоящему (а не подложенному) ответу. LLM как бы провалидировала, что эти токены и вправду должны использоваться, но сделала это кратно быстрее, чем если бы генерировала сама с нуля.
5. Затем LLM продолжает предсказывать сама, уже по одному слову за раз.
6. В какой-то момент предсказания снова могут начать сходиться с подложенным текстом — и процедура повторится. Сотрудник OpenAI написал, что это происходит, если последние 32 токена совпадают с подложенным ответом. Тогда возвращаемся на пункт 2, приклеиваем оставшуюся часть ответа, сравниваем, итд.

Ускорение происходит за счёт того, что мы можем сразу подхватывать большие токенов, не генерируя их, а лишь «проверяя», что LLM бы выдала их сама — всё за счёт свойства из пункта 0.

Компания Factory провела своё тестирование перед релизом на задачах, связанных с внесением изменений в код. Они брали файлы от 100 до более чем 3000 строк кода (Python, JS, Go, C++), давали текстовое описание, что нужно изменить, и замеряли скорость ответа.

GPT-4o в таком режиме работает даже быстрее, чем Claude 3 Haiku, маленькая и шустрая модель. Модель OpenAI — единственная, кто стабильно укладывается в 30 секунд на ответ, хотя вот, например, свежий Sonnet в среднем тратит более 73 секунд.

По идее, уже сегодня, край завтра в каких-нибудь Cursor и его аналогах вы должны заметить ускорение... или нет, если там под капотом уже добавили промпты, которые заставляют генерировать только отдельные куски, которые уже потом вклеиваются в код.

Настроил Claude управлять моим iPhone

Попросил Claude Computer Use увидеть не экране компа рекомендацию по фильму, добавить его в киноаппку и запланировать просмотр. Все это на iPhone через видеоповтор. И Claude неплохо выполнил задачу — он зашел в приложения на моем iPhone, добавил фильм и создал напоминание в календаре. Но ему не удалось полностью настроить напоминание в Google Calendar. Вместо указания даты он добавил время в название напоминания 😔

Сам промпт задачи для Claude:

You need to detect a movie name on the screen. After it you need see iPhone screen — click on it. There you need to click on the icon Must app (blue symbol "/") and search for the recommended movie. After you see match (movie name and recommended movie), add it to my want list. Then exit "Must", open Google Calendar app. Create a new reminder for available evening. Set the reminder title as "Watch [Movie Name]"

Не клево еще, что пока работает Claude, я не могу пользоваться устройством без конфликта управления. Поэтому CCU с задачей на iPhone будет крут, если нужно попросить нейроку сделать что-то в свое отсутствие. Если желаете опробовать фичу, в этом посте расписал про запуск 👀

P.S. В видео подрезал куски ожидания Claude, руками ничего не делал по задаче

🤖 InNeuralNetwork

Теперь в ChatGPT можно ходить по адресу https://chat.com (а еще https://ai.com)❤️

Сэм раскошелился на всю котлету, чтобы нам с вами было удобнее.

Домен Chat.com один из старейших, был зарегистрирован в 1996. В прошлом году он был продан за $15.5 млн. Интересно, за сколько он достался Сэму? 🤔

ИИволюция