Сиолошная
58.1K subscribers
1.21K photos
205 videos
1 file
1.35K links
Канал SeeAll'а с новостями (и мыслями о них) из мира NLP, VR и космоса.

Более подробно смотри в первом сообщении в канале (оно закреплено). А еще у нас есть чат! Заходи: https://t.iss.one/+i_XzLucdtRJlYWUy
Download Telegram
Please open Telegram to view this post
VIEW IN TELEGRAM
Пост выше был триггером для ускорения движа в твиттере. Конечно сразу после этого появились новости)


Лид команды SuperAlignment, работавший в этой должности вместе с Ilya, сказал, что считает необходимой отставку совета директоров.

Также появилась новость от журналистки, достаточно точно освещавшей всё происходящее, что из OpenAI уйдет 505 из 700 сотрудников, если совет директоров не уйдет в отставку. Если я правильно понял, то внизу идет перечисление подписантов этого документа — и в нём есть Ilya Sutskever 😆🍷😐

Сгорел сарай — гори и хата!
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Сиолошная
Пост выше был триггером для ускорения движа в твиттере. Конечно сразу после этого появились новости) Лид команды SuperAlignment, работавший в этой должности вместе с Ilya, сказал, что считает необходимой отставку совета директоров. Также появилась новость…
Представьте, что в итоге развитие сиутации следующее:

1. Совет директоров таки уходит
2. В него возвращается Sam и Greg, плюс еще пара человек
3. с Ilya они находят общий язык, тот признаётся, что совершил большую ошибку, и его, как в мелодраме, прощают
4. Очевидно, в MSFT никто не переходит и не приходит
5. Всё возвращается на круги своя, кроме того, что теперь в совете директоров (пока) нет старых независимых участников.

Wouldn't that be great? 🙏
Please open Telegram to view this post
VIEW IN TELEGRAM
Сиолошная
Пост выше был триггером для ускорения движа в твиттере. Конечно сразу после этого появились новости) Лид команды SuperAlignment, работавший в этой должности вместе с Ilya, сказал, что считает необходимой отставку совета директоров. Также появилась новость…
Как я написал, это был скрин письма от журналистки в твиттере (хоть она и имеет credibility).

Теперь официально можно сказать о его правдивости — на документ указала сотрудница OpenAI (lead-уровня), и сказала, что уже порядка 650 человек подписались. Ну и новая цифра: в OpenAI 770 сотрудников (но, быть может, это включая обслуживающий персонал, что, впрочем, не важно).

Не представляю, что должны думать люди в борде, чтобы не уйти в отставку.
Кажется, лучшего момента посмотреть свежайший Ted Talk от Ilya Sutskever по теме AGI не будет — а его релизнули только что:

тык

(записано 17го октября...так недавно, но так далеко...)

Каких-то инсайдов не будет, просто поможет посмотреть на мир глазами Ilya, чтобы понимать масштаб изменений, связанных с AI, которые он ожидает.

(и ещё вдогонку сразу можно посмотреть 11-минутную документалку про Ilya от The Guardian. Она была снята во время разработки ChatGPT)
Пока OpenAI «спят», конкуренты не дремлют — Anthropic презентовали Claude 2.1, улучшенную версию своей фронтир-модели.

Основные изменения:
1️⃣Окно контекста теперь 200'000 токенов — больше, чем у GPT-4-Turbo 👀 Это примерно 500 страниц текста, или 150'000 английских слов.
2️⃣Уменьшение частоты галлюцинаций в два раза (см. график). Повышается надёжность — повышается и количество задач, которые бизнесы могут переложить на GPT-like модели.
3️⃣Вместе с этим модель стала лучше работать на длинных контекстах при ответе на вопросы: уменьшение ошибки на ~30% при максимальной длине контекста. Это достигается в основном за счёт улучшения работы с началом и серединой запроса.
4️⃣Также добавлена возможность использовать внешние инстурменты по API — по сути это та же фича, что была у OpenAI с лета (function calling).
5️⃣ При этом цена на новую модель такая же, как и на Claude 2. Приятно!

Ну и чтобы новость не была просто пересказом пары твитов давайте я закину инсайд:
ℹ️Anthropic целится в релиз Claude 3 в середине следуюшего года, с окном контекста ~500'000 токенов. Можете начинать придумывать и обкатывать идеи, где это было бы полезным, чтобы подойти к релизу в полной боевой готовности.

Stay tuned!
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Сиолошная
По горизонтали — увеличение длины контекста. Во вертикали — изменение точки, куда вставляется новое предложение. Зелёный показывает 100%-ое качество, на других прямоугольниках метрики подписаны.
Автор этого эксперимента уже успел повторить его и для новой Claude 2.1. Если вы пропустили методологию, то читайте тут. Автор признался, что Anthropic связались с ним и предоставили кредиты — ведь на тест пришлось потратить больше $1k! И специалисты из компании даже помогли с промптом (с задаваемым вопросом).

И при этом всём...вот такая картинка. Как по мне, выглядит значительно хуже GPT-4-Turbo. Даже на маленьких длинах контекста до 100'000 токенов модель часто теряет «иголку» (специальное предложение, содержащее ответ), спрятанную в тексте.
Сиолошная
Как я написал, это был скрин письма от журналистки в твиттере (хоть она и имеет credibility). Теперь официально можно сказать о его правдивости — на документ указала сотрудница OpenAI (lead-уровня), и сказала, что уже порядка 650 человек подписались. Ну и…
Коротенький апдейт от Bloomberg по OpenAI:

— Sam и как минимум один директор, Adam D'Angelo, прямо сейчас обсуждают его возвращение в роли директора.
— Текущий ИО CEO всё еще не получил от совета директоров ответа на запрос про причину увольнения Sam. Он обещает уйти с поста (из этого цирка 🤡), если не получит ответа.
— При этом ранее стало известно, что как минимум двум другим кандидатам предлагали роль временного CEO — бывшему главе GitHub Nat Friedman и текущему самому молодому self-made миллиардеру, создателю платформы разметки данных (которой пользуется OpenAI) Scale.AI Alex Wang. Оба отказались.
— По слухам, совет директоров обратился с предложением о слиянии с Anthropic, но Dario Amodei сразу отказался. Однако разные источники указывают на неподтверждённость этой информации.
— На выходных Ilya Sutskever как один из председателей совета директоров объявил сотрудникам две версии, почему был уволен Sama. Вдохните поглубже и не смейтесь:
1️⃣ он поручил двум разным сотрудникам из OpenAI выполнять один и тот же проект;
2️⃣ он предоставил двум членам совета директоров разные мнения об одном сотруднике.
При этом Ilya был «заметно подавлен и расстроен». Чтож, если это официальные версии, которых борд будет придерживаться до конца, то завидовать директорам сложно.

Сейчас в Сан-Франциско 10:18, ждём обновлений в течение дня. Надеюсь, что борд уйдет в отставку с позором, Sama вернётся и все всех будут любить 🙏🥰
Please open Telegram to view this post
VIEW IN TELEGRAM
Сиолошная
Коротенький апдейт от Bloomberg по OpenAI: — Sam и как минимум один директор, Adam D'Angelo, прямо сейчас обсуждают его возвращение в роли директора. — Текущий ИО CEO всё еще не получил от совета директоров ответа на запрос про причину увольнения Sam. Он…
Ну ладно, интриги интригами, а релизы — по расписанию.

Теперь голосовая версия ChatGPT доступна всем пользователям приложения бесплатно.

На всякий случай напомню, что приложение НЕ доступно аккаунтам из РФ (и дело не в VPN).

🤔 интересно, а что с нехваткой GPU и ресурсов?

Как писали сотрудники OpenAI,
committed to the team and the mission 🫡


Ну и это...лицо команды Apple Siri представили? 👀😆
Please open Telegram to view this post
VIEW IN TELEGRAM
Сиолошная
Коротенький апдейт от Bloomberg по OpenAI: — Sam и как минимум один директор, Adam D'Angelo, прямо сейчас обсуждают его возвращение в роли директора. — Текущий ИО CEO всё еще не получил от совета директоров ответа на запрос про причину увольнения Sam. Он…
До слёз

Sama — CEO. При этом, не член совета директоров. То есть дальнейшую судьбу компании решают:

Bret Taylor, ex-CEO Salesforce и создатель Google Maps — станет председателем совета директоров.
Larry Summers, президент Harvard University с 2001 по 2006 — получит место за столом директоров.
Adam D'Angelo — сохранит своё место за столом директоров.

Что будет с Ilya Sutskever — пока не уточняется. Моё предположение что он останется в компании без права голоса в совете директоров.
Greg Brockman также возвращается в компанию.

Остальные детали появятся позже. Согласно источникам TheVerge, совет директоров будет расширен до 9 человек, а задача состава выше — определить, кто это будет.
Давайте вернёмся к последней работе OpenAI по LLM: «Let's Verify Step by Step». Она вышла 31го мая, в авторах числятся Jan Leike и Ilya Sutskever, люди, которые летом стали лидами команды SuperAlignment. Я уже писал пост про статью, но уверен, что многие или пропустили, или забыли — можно ознакомиться тут.

В работе обучается модель, генерирующая решения математических задач. При этом во время тренировки предлагается поощрять нейронку за каждый правильный шаг рассуждения (делается «контроль процесса») вместо вознаграждения за правильный окончательный ответ («контроль результата», именно так обучалась GPT-4).

Простыми словами вместо того, чтобы смотреть на всё решение целиком и говорить «ну, ответ неправильный, поэтому решение фигня» (как ваш препод в универе), теперь делают так: «ага, вот эти первые 6 шагов правильные, а в 7м ошибка, из-за которой ответ не получился». Это даёт куда больше полезного сигнала, что приводит к более качественным результатам.

Один из артефактов обучения новым методом — в ходе тренировки мы получаем модель, которая для каждого отдельного шага решения учится предсказывать, является ли оно корректным. Такая модель может обнаруживать как галлюцинации, когда модель что-то сказанула не подумав, так и ошибки в чистой математике, когда задним числом понимаешь, что что-то не сходится.

А теперь давайте сделаем вот такой трюк: через GPT сгенерируем тысячу решений задачи, а затем используем упомянутую выше модель-оценщика для того, чтобы выбрать самое правильное. Если ChatGPT достаточно умна, чтобы хотя бы раз в 1000 генераций выдавать правильный ответ (не так много и требуем, кстати), а оценщик достаточно хорошо пост-фактум по решению определяет его корректность, то это ведёт к увеличению доли решённых задач. И действительно — вы можете в этом убедиться на приложенном графике. По горизонтали увеличивается количество генерируемых гипотез, а по вертикали видим рост качества. Интересно, что оно не выходит на плато — в теории, можно и сто тысяч гипотез генерировать, и качество лишь улучшится.
Сиолошная
Давайте вернёмся к последней работе OpenAI по LLM: «Let's Verify Step by Step». Она вышла 31го мая, в авторах числятся Jan Leike и Ilya Sutskever, люди, которые летом стали лидами команды SuperAlignment. Я уже писал пост про статью, но уверен, что многие или…
А вот пример задачи из этого датасета. Слева вы можете видеть условие, оно достаточно сложное — уверен, значимая часть подписчиков даже не знает, как подступиться к проблеме 🥺

А справа — генерация решения моделью. Цветом обозначены предсказания модели-оценщика, и зелёный говорит о том, что в строчке модель проблемы не видит, а красный — что предсказывает ошибку.

И действительно — GPT-4 пытается использовать формулу разности квадратов на шаге 12 для выражения, которое на самом деле не является разностью квадратов. Модель вознаграждения обнаруживает эту ошибку.

В теории, на этом шаге можно было попросить GPT-4 перегенерировать ответ, и делать это десятки-сотни раз, пока оценщик не будет удовлетворён.

TLDR: ничего страшного, если модели требуется несколько попыток на то, чтобы написать правильное решение. Она, в теории, и сама может находить ошибки, которые замечает человек.
Please open Telegram to view this post
VIEW IN TELEGRAM
Так вот, к чему была эта прелюдия. В Reuters пишут, что якобы катализатором увольнения Альтмана стало письмо сотрудников OpenAI совету директоров. В нём говорится о прорыве в исследовании ИИ, которое, «может угрожать человечеству».

Правда, Reuters не смогло ознакомиться с копией письма. А автор(ы) не ответили на запросы о комментариях. Так что особо почвы у теории под ногами нет.

Масла в огонь подливает тот факт, что за сутки до увольнения Sam Altman на оффлайн-саммите сказал следующее:
— Четыре раза за всю историю OpenAI, и последний раз был вот несколько недель назад, я присутствовал в комнате, когда мы как бы отодвигаем завесу невежества и подталкиваем границу открытий вперед. Сделать это — профессиональная честь на всю жизнь.

Что он там такого увидел?

Согласно новости, модель (система?) Q* смогла решить некоторые математические задачи, сообщил источник на условиях анонимности. Это само по себе выглядит странно — ведь даже в примере выше пример куда сложнее, это конец средней школы. И как будто никакого прорыва и нет. Возможно, журналисты всё перепутали — ну или история выдумка.

Теперь о том, как на это смотреть и чего ждать:
1) OpenAI точно занимается разработкой модели, которая будет осуществлять научные исследования. Они про это пишут открыто.
2) Для того, чтобы это произошло, нужно, чтобы модель-учёный умела решать сложные задачи и планировать исследования. Часть этой работы уже сделана — см. статью из поста выше.
3) Вся концепция заключается в том, что модель будет генерировать тысячи неправильных кусочков решений, иногда выдавая верные — главное, чтобы их можно было отранжировать в списке гипотез выше, чем мусорные (вспоминайте модель-оценщика из поста выше).
4) Для этого нужно огромное количество мощностей. Поэтому деньги тут решают. OpenAI пока привлекли больше всех инвестиций, и моё видение такое, что через 2 года это станет большим препятствием для входа. Останется 5-10 игроков, кто готов столько денег сжигать.
5) Вопрос в том, насколько большим будет следующий скачок. Сможет ли модель писать решения на уровне магистра? PhD? Постдока? Доктора наук? Будет ли она ограничена 2-3 доменами, или же обобщится на любую научную область, где есть вычисления?
6) Однажды вы проснётесь, и слух из новости станет правдой: появится модель, которая будет хотя бы частично (>50%) заменять одного учёного в лаборатории. С этих пор прогресс начнёт двигаться гораздо быстрее — потому что нанять 100 учёных за день нельзя, а запустить 100500 моделей на кластере за день — можно.

Более подробно с моим видением дальнейшей стратегии OpenAI и направлениями, в которых они будут копать, вы можете ознакомитсья в моей недавней лекции «What's next for OpenAI?». Там я, конечно, не предсказал шумиху с увольнением CEO, но много говорю про агентов-исследователей и подход OpenAI.

А почитать больше спекуляций по поводу Gemini и Q* можно на LessWrong.
Уникальная возможность поучаствовать в создании контента.

Нужен ли к началу декабря (годовщина ChatGPT) YouTube-ролик с обзором того, что произошло в AI за год? А если ответили положительно — кидайте идеи в комменты! Что включить в такой ролик?
Anonymous Poll
61%
Да, конечно!
19%
Да, было бы норм.
15%
Нет, зачем? Я итак «Сиолошную» читаю каждый день и всё знаю!
3%
Нет, не хочу такое.
2%
Нет, не нравятся твои видео.
Слышали ли вы про Alex Gerko? Это британский (С) математик российского происхождения, выпускник МГУ.

В 2015м году он основал трейдинговую компанию XTX Markets, и сейчас его состояние оценивается в более чем $11B. В начале 2023го года было посчитано, что он является крупнейшим налогоплательщиком Великобритании 🤔 неплохо торгует, в общем.

И вот для того, чтобы заработать бабок (нахайрить лучших специалистов) подстегнуть прогресс AI в математике, он, совместно с организаторами Международной Олимпиадой по Математике (International Mathematical Olympiad, IMO), спонсирует конкурс AIMOPrize с бюджетом $10M.

Для участия в конкурсе надо сделать открытую и общедоступную модель (в OpenAI растерялись 😣), которая сможет выиграть золотую медаль на официальной олимпиаде. Решения на основе GPT-4 не подходят!

Список мероприятий, подходящих под критерии, будет опубликован позже — в первых месяцах 2024го года.

Модель, при этом, должна принимать задачи в том же виде, что и человек (полагаю, изображение + текст), и выдавать человекочитаемое решение. Про ограничения на время и ресурсы пока ни слова, но кажется логичным, что нужно какие-то вменяемые рамки задать.

А на 65й IMO (пройдет в июле 2024го) будет секция с обзором прогресса соревнования. Как думаете, к тому моменту сорвут главный куш, или пока рановато? Какая-нибудь упоротая команда из Google DepMind или Facebook AI Research может в такие сроки забустить качество текущих моделей до требуемой планки? Или нет?
Please open Telegram to view this post
VIEW IN TELEGRAM
Новый пак апдейтов от Sam Altman и OpenAI касательно происходящего и ближайшего будущего компании.

Тезисно:
1) Sama говорит, что Adam D'Angelo, член совета директоров, на которого некоторые переводили стрелки, мол, он преследует свои интересы (он — CEO Quora, которая запустила Poe и магазин AI-ботов, прямо как OpenAI) — вообще клёвый мужик. Никаких проблем нет, он супер осторожен, обсуждал свой уход из совета директоров, если нужно (из-за конфликта интересов).
2) Также Altman подчеркнул, что Quora — крупный клиент OpenAI (они используют API ChatGPT), и что это помогает компании в планировании развития. А в будущем, по мере развития AI и затрагивания всё большей части экономики, придётся выстраивать отношения с бОльшим количеством разных организаций.
3) Sama (в третий раз) говорит, что приветствует независимый анализ его действий и произошедших событий, который инициировал новый совет директоров (это было одним из условий возвращения). При этом констатирует, что у него и борда «there were real misunderstandings». Интересно, что покажет расследование и будует ли что-то отдано в публичное поле.

Также в блоге OpenAI появились два письма, от нового CEO (Sam Altman) и председателя совета директоров, Bret Taylor, от лица всей борды.
1) Greg Brockman возвращается как Президент компании, Mira возвращается на роль CTO. Раньше думал, что президент — это председатель совета директоров, но оказывается нет. Не до конца понимаю, в чём эта роль.
2) Sama не испытывает неприязни к Ilya Sutskever, однако последнего не будет в совете директоров, а опции его дальнейшего сотрудничества с OpenAI «обсуждаются». Очень не хотелось бы терять «guiding light of the field and a gem of a human being» (цитата от Altman)
3) Старый-новый CEO также подчеркнул, что он управляет компанией вместе с Greg. Полагаю, что они очень близки по своим взглядам, и плотно дружат. Двойственность этой связи «так и не поняли, как передать это в организационной структуре, но мы это сделаем».
4) Sama поблагодарил команду leadership OpenAI за их работу в тяжелый период, и перечислил аж 17 имён, и говорит, что они и без него отлично бы управляли компанией. Интересно, как это скажется на новой структуре, над которой работает совет директоров. Как мне кажется, честно было бы включить руководителей направлений в расширенный совет.
5) OpenAI за время турбулентности не потеряли ни одного сотрудника, а также от них не ушёл ни один клиент.
6) У компании есть три основных приоритета. на данный момент:
— обновление и доработка плана исследований с упором на Safety
— улучшение сервиса для клиентов, доработки продуктов
— улучшение структуры управления компанией, набор нового репрезентативного совета директоров. Сюда также входит вышеупомянутое расследование деятельности Sam (логично: если он чист и действовал адекватно ситуации, то почему бы не вернуть его в директора?)

И к неудобным новостям: Microsoft получит место наблюдателя в новом совете директоров. В целом это не то чтобы плохо, но осадочек оставляет. Остальные члены совета не определены.
😔
Please open Telegram to view this post
VIEW IN TELEGRAM
Подоспела запись моего открывающего выступления для конференции Global CIO.

Там я:
— рассказываю про то, как правильно воспринимать AI сейчас, почему это действительно «другое», не то же самое, что технологии, которые мы уже видели
— пройдусь по типичным проблемам современного AI, и почему эти ограничения не должны мешать вам сегодня
— покажу как правильно смотреть на модели вроде GPT-4 и Claude
— разберу научные исследования влияния AI-ассистентов на продуктивность работников, чтобы показать, какую ценность можно извлекать уже сегодня
— и вишенка на торте: step-by-step гайд о том, что нужно делать, чтобы не отставать от AI (спойлер: не только подписаться на Сиолошную 👆)

Полистать слайды можно тут.

Напомню, что это первый мой опыт записи доклада/публичного выступления на английском языке. Оцениваем, ставим лайки (главное на YouTube не забудьте подписаться на канал, а то на следующей неделе еще лекции будут...ух...).


Bri'ish??? 😭

—————
Не обращайте внимания на обложку, просто захотелось сделать так называемый МЭМ. Контент внутри нормальный)
Please open Telegram to view this post
VIEW IN TELEGRAM