Несколько людей прислали ссылку на пост из канала «Малоизвестное интересное» про то, что якобы «OpenAI обнаружили у своей модели новую эмерджентную когнитивную способность» (https://t.iss.one/theworldisnoteasy/1846).

Сначала прислали не самые знакомые мне люди, и я забил, прочитав и поставив метку «бред» в голове. Потом прислало несколько достопочтенных донов — и мне аж грустно стало 🥺 Кажется что даже сам пост написан в вызывающей манере, которая предрасполанает к уменьшению веса его восприятия.

Главная проблема объяснения — автор твита (который, кстати, нихрена не взорвал интернет — у него 33к просмотров в Twitter, господи, фотки кошек и нюдсочетверговые приколы больше собирают) делает логический переход от «модель стала лучше работать с внешним контекстом» к «ого именно эта способность открылась у модели» и даже «much bigger a deal because GPT can now retrieve information that is *not* in its knowledge on the fly!». Последняя фраза вообще ничем не подкреплена, и ничего на неё не указывает.

Моё предположение: OpenAI действительно существенно прокачали Retrieval Augmented Generation (RAG) по двум осям:
— embedder-модель, которая нареает на куски весь большой текст и переводит в векторы для будушего поиска (и они этим хвастались на DevDay, увеличили метрику в более чем два раза)
— способность модели опираться на контекст при генерации ответа, а не выдумывать (про то, что in-context retrieval улучшился, но не до уровня AGI, мы тоже знаем — вот я писал).

Всё. Просто модельные и инженерные улучшения позволяют делать более качественный RAG. Абсурдность и непонимание того, что пишет автор твитов, можно оценить по фразе «It's like a system that knows the best queries to answer a question». Поздравляем, он придумал HyDE (про который OpenAI знают, и этот метод указан как один из экспериментальных по ссылке выше).

И такое улучшение максимально логично, потому что RAG — самый частый юзкейс LLM (чтобы давать им доступ к внешним знаниям), и с точки зрения продукта, как мне кажется, прокачать его это самая главная задача при выкатке последних обновлений.

—————————————————

И отдельно про слова Sam Altman, мол, они что-то нашли несколько недель назад. Моя гипотеза что это никак не связано с RAG, а скорее с твитами «AGI has been achieved internally». Что это означает — я писал тут. Рекомендую прочитать весь пост (предупрежу, что это спекуляции по слухам, то есть примерно пшик), но вот TLDR:

ВИДИМО новая модель/улучшение GPT-4 прошло один из бенчмарков, который был заготовлен для оценки «AGI'шности» системы. Напомню, что AGI — это не терминатор, а просто ИИ, который делает много экономически ценных задач на уровне средних экспертов в своих областях (иными словами машина, которую можно будет нанимать на работу как удаленщика). И этому был удивлён Sam и люди в OpenAI — они не ожидали, что так быстро получится за полгода с релиза GPT-4 дойти до этой точки.

—————————————————

При этом возможно что кадровые перестановки в OpenAI как-то связаны с последней новостью выше — Sam узнал, что AGI как будто бы достигнут, и принял решение не анонсировать это, а изменить способ оценки/задачи в бенчмарке/поднять планку и, возможно, скрыть от части компании.

Обратите внимание, что последние 2 блока у меня идут под эгидой «спекуляции над слухами», и их не нужно воспринимать на 100%.

Представьте, что в итоге развитие сиутации следующее:

1. Совет директоров таки уходит
2. В него возвращается Sam и Greg, плюс еще пара человек
3. с Ilya они находят общий язык, тот признаётся, что совершил большую ошибку, и его, как в мелодраме, прощают
4. Очевидно, в MSFT никто не переходит и не приходит
5. Всё возвращается на круги своя, кроме того, что теперь в совете директоров (пока) нет старых независимых участников.

Wouldn't that be great? 🙏