Forwarded from BOGDANISSSIMO
Mochary Method
Существует такой персонаж, Matt Mochary, коуч для CEO. Его очень рекомендует Sam Altman (CEO, OpenAI):
"Matt’s coaching has brought me clarity, focus, organization, less stress, higher performance (me and the team). I have always been skeptical of coaches but I think he can 10x the output of a lot of people and I hope he does!"
У Matt Mochary есть Mochary Method Curriculum, это открытая база знаний по всевозможным темам, с которыми фаундеру необходимо сталкиваться в работе: как строить компанию, организовывать встречи (включая 1:1), как слушать, как принимать решения, ставить цели, нанимать, мотивировать, оптимизировать, расти, работать над ошибками – и много чего ещё. Все знания разбиты на короткие заметки по 2-5 минут чтения. Со слов Matt, эти заметки покрывают 95% его тренинга. Я рекомендую их чтение любому, кто даже только начинает пробовать себя в менеджерской роли.
Впервые этими заметками со Мной довольно давно поделился Игорь, автор канала Сиолошная. Но почему Я вспомнил о них сегодня?
Решил Я, значит, натравить вчера на эти заметки пайплайн с языковой моделью поверх базы знаний, который собирал под другой проектик, заглядываю на сайт, а там... это уже сделано, притом в клёвом интерфейсе. Впрочем, это было ожидаемо, раз уж Sam Altman оказался на лендинге сайта!😧
Соответственно, highly recommended (Mochary AI):
https://beta.mocharymethod.com/matt_bot
Существует такой персонаж, Matt Mochary, коуч для CEO. Его очень рекомендует Sam Altman (CEO, OpenAI):
"Matt’s coaching has brought me clarity, focus, organization, less stress, higher performance (me and the team). I have always been skeptical of coaches but I think he can 10x the output of a lot of people and I hope he does!"
У Matt Mochary есть Mochary Method Curriculum, это открытая база знаний по всевозможным темам, с которыми фаундеру необходимо сталкиваться в работе: как строить компанию, организовывать встречи (включая 1:1), как слушать, как принимать решения, ставить цели, нанимать, мотивировать, оптимизировать, расти, работать над ошибками – и много чего ещё. Все знания разбиты на короткие заметки по 2-5 минут чтения. Со слов Matt, эти заметки покрывают 95% его тренинга. Я рекомендую их чтение любому, кто даже только начинает пробовать себя в менеджерской роли.
Впервые этими заметками со Мной довольно давно поделился Игорь, автор канала Сиолошная. Но почему Я вспомнил о них сегодня?
Решил Я, значит, натравить вчера на эти заметки пайплайн с языковой моделью поверх базы знаний, который собирал под другой проектик, заглядываю на сайт, а там... это уже сделано, притом в клёвом интерфейсе. Впрочем, это было ожидаемо, раз уж Sam Altman оказался на лендинге сайта!
Соответственно, highly recommended (Mochary AI):
https://beta.mocharymethod.com/matt_bot
Please open Telegram to view this post
VIEW IN TELEGRAM
Прочитал намедни таки статью от Wired (https://www.wired.com/story/what-openai-really-wants/). К сожалению, не так много новой информации, но постарался выделить основные моменты для вас.
Про появление компании и найм первых сотрудников:
— незадолго до основания OpenAI Altman подумывал о том, чтобы баллотироваться на пост губернатора Калифорнии. Но он понял, что у него есть все шансы сделать что-то большее — возглавить компанию, которая изменит человечество;
— с первых дней работы компании делался акцент на AI safety. Миссия компании состоит в том, чтобы создать AGI и сделать его безопасным для человечества. Люди, работающие в OpenAI, фанатично стремятся к этой цели;
— но это не культ, а сама обстановка такая. Когда автор статьи спросил нескольких руководителей из OpenAI, сможет ли кто-то с комфортом работать там, если они не верят, что AGI действительно наступит – и что его появление ознаменует один из величайших моментов в истории человечества — большинство руководителей однозначно ответили "нет";
— «Еще в 2015 году, когда мы набирали сотрудников, для исследователя считалось чуть ли не убийством карьеры, если он сказал, что серьезно относится к проблемам AGI», — говорит Altman. «Но мне нужны были люди, которые отнеслись к этому серьезно»;
— Одним из таких людей был Ilya Sutskever. В середине 2015 года Altman отправил Ilya имейл с приглашением на ужин с Elon Musk в шикарном отеле Rosewood в Пало-Альто. «Это был своего рода общий разговор об AI и будущем», — говорит он. В частности, они обсуждали, «были ли Google и DeepMind настолько далеко впереди, что их невозможно было бы догнать, или все еще возможно, как выразился Elon, создать лабораторию, которая стала бы противовесом». Хотя никто на ужине явно не пытался предложить Ilya работу, разговор его зацепил;
— Вскоре после этого Sutskever написал Sam имейл, в котором сказал, что готов возглавить проект, но сообщение застряло в его папке с черновиками, лол. Благо Altman отправил ещё одно, и начались переговоры;
— Однако не всех, до кого смог дотянуться Altman, удалось привлечь. Например, от участия в проекте отказался John Carmack, легендарный программист и разработчик игр, создавший культовые Doom и Quake. Хотя сейчас он тоже начал заниматься AI, уйдя из сферы виртуальной реальности🤓;
Большой блок статьи посвящен объяснению разделения OpenAI на for-profit и non-profit. В целом там объясняется то же самое, что я пересказывал много ранее в канале, можете ознакомиться, если пропустили: раз и два. Однако есть ещё пара моментов:
— в финансовых документах для инвесторов OpenAI чётко говорят: «Мы здесь не для того, чтобы обеспечить вам доход. Мы здесь, прежде всего, для выполнения нашей миссии. И мы, кстати, на самом деле даже не знаем, какую роль будут играть деньги в мире после создания AGI»;
— более того где-то в документах о реструктуризации 2019го года (когда появилась for-profit компания) есть пункт о том, что если OpenAI удастся создать AGI, все финансовые договоренности будут пересмотрены. В конце концов, с этого момента начнётся новый мир, с новой экономикой и политикой;
— Sam Altman не владеет и никогда не владел акциями ни одной из OpenAI. Он говорит, что изначально хотел включить себя в списки получающих долю компании, но не сделал этого. Sam решил, что ему не нужна никакая часть компании, которую он основал и возглавляет. Многие не могут в это поверить до сих пор, даже в комментах в прошлый раз, когда я это упоминал, люди писали про оффшоры и трасты. Это, очевидно, бред.
Про появление компании и найм первых сотрудников:
— незадолго до основания OpenAI Altman подумывал о том, чтобы баллотироваться на пост губернатора Калифорнии. Но он понял, что у него есть все шансы сделать что-то большее — возглавить компанию, которая изменит человечество;
— с первых дней работы компании делался акцент на AI safety. Миссия компании состоит в том, чтобы создать AGI и сделать его безопасным для человечества. Люди, работающие в OpenAI, фанатично стремятся к этой цели;
— но это не культ, а сама обстановка такая. Когда автор статьи спросил нескольких руководителей из OpenAI, сможет ли кто-то с комфортом работать там, если они не верят, что AGI действительно наступит – и что его появление ознаменует один из величайших моментов в истории человечества — большинство руководителей однозначно ответили "нет";
— «Еще в 2015 году, когда мы набирали сотрудников, для исследователя считалось чуть ли не убийством карьеры, если он сказал, что серьезно относится к проблемам AGI», — говорит Altman. «Но мне нужны были люди, которые отнеслись к этому серьезно»;
— Одним из таких людей был Ilya Sutskever. В середине 2015 года Altman отправил Ilya имейл с приглашением на ужин с Elon Musk в шикарном отеле Rosewood в Пало-Альто. «Это был своего рода общий разговор об AI и будущем», — говорит он. В частности, они обсуждали, «были ли Google и DeepMind настолько далеко впереди, что их невозможно было бы догнать, или все еще возможно, как выразился Elon, создать лабораторию, которая стала бы противовесом». Хотя никто на ужине явно не пытался предложить Ilya работу, разговор его зацепил;
— Вскоре после этого Sutskever написал Sam имейл, в котором сказал, что готов возглавить проект, но сообщение застряло в его папке с черновиками, лол. Благо Altman отправил ещё одно, и начались переговоры;
— Однако не всех, до кого смог дотянуться Altman, удалось привлечь. Например, от участия в проекте отказался John Carmack, легендарный программист и разработчик игр, создавший культовые Doom и Quake. Хотя сейчас он тоже начал заниматься AI, уйдя из сферы виртуальной реальности🤓;
Большой блок статьи посвящен объяснению разделения OpenAI на for-profit и non-profit. В целом там объясняется то же самое, что я пересказывал много ранее в канале, можете ознакомиться, если пропустили: раз и два. Однако есть ещё пара моментов:
— в финансовых документах для инвесторов OpenAI чётко говорят: «Мы здесь не для того, чтобы обеспечить вам доход. Мы здесь, прежде всего, для выполнения нашей миссии. И мы, кстати, на самом деле даже не знаем, какую роль будут играть деньги в мире после создания AGI»;
— более того где-то в документах о реструктуризации 2019го года (когда появилась for-profit компания) есть пункт о том, что если OpenAI удастся создать AGI, все финансовые договоренности будут пересмотрены. В конце концов, с этого момента начнётся новый мир, с новой экономикой и политикой;
— Sam Altman не владеет и никогда не владел акциями ни одной из OpenAI. Он говорит, что изначально хотел включить себя в списки получающих долю компании, но не сделал этого. Sam решил, что ему не нужна никакая часть компании, которую он основал и возглавляет. Многие не могут в это поверить до сих пор, даже в комментах в прошлый раз, когда я это упоминал, люди писали про оффшоры и трасты. Это, очевидно, бред.
О технологиях:
— одним из ключевых исследователей в области, которая позже вылилась в разработку LLM по типу GPT, был Alec Radford. Ему было 23, он был креативен и много экспериментировал;
— когда он начал экспериментировать с архитектурой трансформера, то сказал: «За две недели я добился большего прогресса, чем за последние два года»;
— Настоящий момент прозрения наступил, когда Ilya Sutskever увидел новую архитектуру трансформера. Он сказал: «Это то, чего мы ждали». На тот момент это было частью стратегии OpenAI — упорно решать проблемы, и верить, что им или кому-то в этой области удастся найти недостающий ингредиент вроде новой архитектуры или подхода;
— напомню, что я тоже считаю трансформер эпохальной вещью и вне рамок NLP, про это писал тут. В посте, кстати, упомянут и Andrej Karpathy - один из ко-фаундеров OpenAI, который недавно туда вернулся на работу (уже после выхода ChatGPT);
— уже в момент разработки GPT-2 появились опасения касательно публикации модели в открытую. Если помните 2019й - OpenAI решили выложить все модели, кроме самой большой. Доступ к ней давался только отдельным исследовательским группам по заявкам. Подход, во многом продолженный и расширенный в GPT-3 и GPT-4. Это вызывало много дискуссий в рамках компании, кто-то хотел показывать миру ещё меньше, кто-то наоборот топил за полную открытость;
— Не нужно думать, что OpenAI вот только сейчас решили "прикрыться" AI Safety и сказать "ну нет, модели мы отдавать не будем";
— «Мне кажется, невозможно сделать меньший акцент на этом — у нас не было общего плана, как мы достигнем наших целей», — говорит Altman. «Как будто мы поворачиваем за каждый угол и светим фонариком. Мы готовы пройти через лабиринт, чтобы добраться до конца». Хоть лабиринт с ходом исследований, кажется, и стал более извилистым, цель не изменилась. «У нас по-прежнему есть наша основная миссия — верить в то, что безопасный искусственный интеллект является критически важной вещью, к которой мир не относится достаточно серьезно».
О политике и регуляции
Общение OpenAI с Конгрессом началось задолго до публичных слушаний. Про это чуть ниже.
— «Sam был чрезвычайно полезным, и при этом очень сообразительным в обращении с членами Конгресса», — говорит Richard Blumenthal, председатель Юридического комитета Сената. Он противопоставляет поведение Sam поведению Bill Gates, который неразумно препятствовал законодателям, когда в 1990-х годах Microsoft находилась под антимонопольным расследованием. «Altman, напротив, был рад провести со мной лишний час или даже больше, пытаясь поделиться со мной знаниями», — говорит Blumenthal. «Он пришел не с армией лоббистов или наблюдателей. Он продемонстрировал ChatGPT. Это было потрясающе».
— К тому времени, когда Altman впервые публично появился на слушаниях в Конгрессе, для него был открыт путь, по которому Bill Gates или Mark Zuckerberg никогда и не надеялись пройти. Ему почти не приходилось сталкиваться с трудными или по-дурацки высокомерными вопросами, которые обычно задают руководителям технологических компаний.
— И вполне логично, что Sam позиционирует себя как сторонник регулирования; в конце концов, его миссия — создание AGI, но исключительно по пути AI Safety. Критики обвиняют его в том, что он провоцирует политический процесс регуляций, чтобы установленные правила мешали небольшим стартапам и давали преимущество OpenAI и другим крупным игрокам. Altman это отрицает — напротив, на слушаниях он подчеркивал, что регуляции не должны касаться опенсорса или стартапов, и в первую очередь он хочет регуляций для OpenAI.
Вдогонку:
— автор статьи пишет, что посетил практически все крупные технологические компании в Кремниевой долине и за ее пределами, и ни одна из них не имела столь же хорошей кофейни в холле офиса, как у OpenAI. Быть может в этом секрет...
— одним из ключевых исследователей в области, которая позже вылилась в разработку LLM по типу GPT, был Alec Radford. Ему было 23, он был креативен и много экспериментировал;
— когда он начал экспериментировать с архитектурой трансформера, то сказал: «За две недели я добился большего прогресса, чем за последние два года»;
— Настоящий момент прозрения наступил, когда Ilya Sutskever увидел новую архитектуру трансформера. Он сказал: «Это то, чего мы ждали». На тот момент это было частью стратегии OpenAI — упорно решать проблемы, и верить, что им или кому-то в этой области удастся найти недостающий ингредиент вроде новой архитектуры или подхода;
— напомню, что я тоже считаю трансформер эпохальной вещью и вне рамок NLP, про это писал тут. В посте, кстати, упомянут и Andrej Karpathy - один из ко-фаундеров OpenAI, который недавно туда вернулся на работу (уже после выхода ChatGPT);
— уже в момент разработки GPT-2 появились опасения касательно публикации модели в открытую. Если помните 2019й - OpenAI решили выложить все модели, кроме самой большой. Доступ к ней давался только отдельным исследовательским группам по заявкам. Подход, во многом продолженный и расширенный в GPT-3 и GPT-4. Это вызывало много дискуссий в рамках компании, кто-то хотел показывать миру ещё меньше, кто-то наоборот топил за полную открытость;
— Не нужно думать, что OpenAI вот только сейчас решили "прикрыться" AI Safety и сказать "ну нет, модели мы отдавать не будем";
— «Мне кажется, невозможно сделать меньший акцент на этом — у нас не было общего плана, как мы достигнем наших целей», — говорит Altman. «Как будто мы поворачиваем за каждый угол и светим фонариком. Мы готовы пройти через лабиринт, чтобы добраться до конца». Хоть лабиринт с ходом исследований, кажется, и стал более извилистым, цель не изменилась. «У нас по-прежнему есть наша основная миссия — верить в то, что безопасный искусственный интеллект является критически важной вещью, к которой мир не относится достаточно серьезно».
О политике и регуляции
Общение OpenAI с Конгрессом началось задолго до публичных слушаний. Про это чуть ниже.
— «Sam был чрезвычайно полезным, и при этом очень сообразительным в обращении с членами Конгресса», — говорит Richard Blumenthal, председатель Юридического комитета Сената. Он противопоставляет поведение Sam поведению Bill Gates, который неразумно препятствовал законодателям, когда в 1990-х годах Microsoft находилась под антимонопольным расследованием. «Altman, напротив, был рад провести со мной лишний час или даже больше, пытаясь поделиться со мной знаниями», — говорит Blumenthal. «Он пришел не с армией лоббистов или наблюдателей. Он продемонстрировал ChatGPT. Это было потрясающе».
— К тому времени, когда Altman впервые публично появился на слушаниях в Конгрессе, для него был открыт путь, по которому Bill Gates или Mark Zuckerberg никогда и не надеялись пройти. Ему почти не приходилось сталкиваться с трудными или по-дурацки высокомерными вопросами, которые обычно задают руководителям технологических компаний.
— И вполне логично, что Sam позиционирует себя как сторонник регулирования; в конце концов, его миссия — создание AGI, но исключительно по пути AI Safety. Критики обвиняют его в том, что он провоцирует политический процесс регуляций, чтобы установленные правила мешали небольшим стартапам и давали преимущество OpenAI и другим крупным игрокам. Altman это отрицает — напротив, на слушаниях он подчеркивал, что регуляции не должны касаться опенсорса или стартапов, и в первую очередь он хочет регуляций для OpenAI.
Вдогонку:
— автор статьи пишет, что посетил практически все крупные технологические компании в Кремниевой долине и за ее пределами, и ни одна из них не имела столь же хорошей кофейни в холле офиса, как у OpenAI.
О политике и регуляциях
На фото вы видите Anna Makanju, она занимает пост Chief Policy Officer в OpenAI с сентября 2021го года.
Makanju — свой человек в округа Колумбия. Она занимала внешнеполитические должности в миссии США при ООН, Совете национальной безопасности США и Министерстве обороны, а также в офисе Джо Байдена, когда он был вице-президентом.
Интересна её история: Anna родилась в Санкт-Петербурге в семье нигерийца и украинки. Она переехала с семьей в Германию, когда ей было 11 лет, затем в Кувейт, где они жили до начала войны в Персидском заливе, и, наконец, в Техас. Anna поступила в Western Washington University, когда ей было 16 лет, получила степень бакалавра лингвистики и французского языка. После работы у шеф-повара Tom Douglas в Сиэтле она начала изучать право в Stanford University. Бывает же!
На момент её присоединения к OpenAI очень немногие люди в правительстве имели мнение по поводу генеративного ИИ. Зная, что продукты OpenAI вскоре изменят ситуацию, она начала знакомить Sam Altman с членами администрации, следя за тем, чтобы они первыми услышали хорошие и плохие новости от OpenAI.
P.S.: Anna кстати недавно попала в список 100 самых влиятельных людей в мире AI по версии журнала TIME
На фото вы видите Anna Makanju, она занимает пост Chief Policy Officer в OpenAI с сентября 2021го года.
Makanju — свой человек в округа Колумбия. Она занимала внешнеполитические должности в миссии США при ООН, Совете национальной безопасности США и Министерстве обороны, а также в офисе Джо Байдена, когда он был вице-президентом.
Интересна её история: Anna родилась в Санкт-Петербурге в семье нигерийца и украинки. Она переехала с семьей в Германию, когда ей было 11 лет, затем в Кувейт, где они жили до начала войны в Персидском заливе, и, наконец, в Техас. Anna поступила в Western Washington University, когда ей было 16 лет, получила степень бакалавра лингвистики и французского языка. После работы у шеф-повара Tom Douglas в Сиэтле она начала изучать право в Stanford University. Бывает же!
На момент её присоединения к OpenAI очень немногие люди в правительстве имели мнение по поводу генеративного ИИ. Зная, что продукты OpenAI вскоре изменят ситуацию, она начала знакомить Sam Altman с членами администрации, следя за тем, чтобы они первыми услышали хорошие и плохие новости от OpenAI.
P.S.: Anna кстати недавно попала в список 100 самых влиятельных людей в мире AI по версии журнала TIME
Сиолошная
Прочитал намедни таки статью от Wired (https://www.wired.com/story/what-openai-really-wants/). К сожалению, не так много новой информации, но постарался выделить основные моменты для вас. Про появление компании и найм первых сотрудников: — незадолго до основания…
Обложка октябрьского номера 10/10
На минутку погрузимся в мир менеджерской работы. Смотрел подкаст с Sam Altman, где среди прочего затронули следующий вопрос (ссылка на видео с таймкодом):
> Как вы развиваете людей в своей компании? Как вы выращиваете лидеров?
Ответ:
— Я думаю, что выращивание лидеров в большинстве случаев проваливается по некоторому набору причин. Они не тратят достаточное количество времени на найм, на развитие своей команды, на то, чтобы донести до команды своё видение, на стратегическое мышление — потому что зацикливаются на деталях.
Когда я ставлю человека на должность очень высокого уровня — что всегда лучше делать через взращивание специалиста внутри команды, чем нанимать извне — я зову их на обед, прогулку или мы просто садимся для обсуждения. Я говорю: вот вещи, в которых ты облажаешься. Сейчас я приведу тебе исчерпывающий список. Ты будешь меня полностью игнорировать по этому поводу, ты, вероятно, не будешь ими заниматься, потому что скорее всего думаешь, что ты лучше знаешь или ты не совершишь эти ошибки (по-русски немного грубовато звучит, но у Sam хорошие формулировки, с хорошим посылом. Посмотрите видео).
Я запишу на бумаге все основные причины и передам тебе, и мы обсудим их через 3 месяца, через полгода. В конце концов, я думаю, мы вернёмся к их обсуждению.
И всегда люди игнорируют эти проблемы, и потом возвращаются к обсуждению списка и потенциальных решений.
Sam думает, что дать человеку осознать проблемы и подумать над решениями самостоятельно, но при этом указать на них заведомо - это очень важная часть процесса.
Дальше ведущий спрашивает про процесс делегирования Sam, как он подходит к этому (потому что это важная часть лидерской работы, чтобы не утонуть в рутине и деталях).
— Есть 2 ключевые вещи.
Номер один: специалисты высшего класса (Sam говорит "high-quality people", но по-русски как-то не звучит "высококачественные", кек).
Номер два: установить вспомогательные тренировочные колёса (как на велосипеде, но можете для аналогии рассмотреть ходунки) на правильной высоте и начать их постепенно поднимать, предоставляя больше самостоятельности, по мере того как люди учатся, а у Sam появляется больше доверия.
Моё примечание: к сожалению, второе не работает без первого. Сложно начать что-либо делегировать, если человек почти не учится на ошибках, не воспринимает фидбек. На этом невозможно построить доверие и начать "усложнять" работу с предоставлением большего уровня самостоятельности.
> Как вы развиваете людей в своей компании? Как вы выращиваете лидеров?
Ответ:
— Я думаю, что выращивание лидеров в большинстве случаев проваливается по некоторому набору причин. Они не тратят достаточное количество времени на найм, на развитие своей команды, на то, чтобы донести до команды своё видение, на стратегическое мышление — потому что зацикливаются на деталях.
Когда я ставлю человека на должность очень высокого уровня — что всегда лучше делать через взращивание специалиста внутри команды, чем нанимать извне — я зову их на обед, прогулку или мы просто садимся для обсуждения. Я говорю: вот вещи, в которых ты облажаешься. Сейчас я приведу тебе исчерпывающий список. Ты будешь меня полностью игнорировать по этому поводу, ты, вероятно, не будешь ими заниматься, потому что скорее всего думаешь, что ты лучше знаешь или ты не совершишь эти ошибки (по-русски немного грубовато звучит, но у Sam хорошие формулировки, с хорошим посылом. Посмотрите видео).
Я запишу на бумаге все основные причины и передам тебе, и мы обсудим их через 3 месяца, через полгода. В конце концов, я думаю, мы вернёмся к их обсуждению.
И всегда люди игнорируют эти проблемы, и потом возвращаются к обсуждению списка и потенциальных решений.
Sam думает, что дать человеку осознать проблемы и подумать над решениями самостоятельно, но при этом указать на них заведомо - это очень важная часть процесса.
Дальше ведущий спрашивает про процесс делегирования Sam, как он подходит к этому (потому что это важная часть лидерской работы, чтобы не утонуть в рутине и деталях).
— Есть 2 ключевые вещи.
Номер один: специалисты высшего класса (Sam говорит "high-quality people", но по-русски как-то не звучит "высококачественные", кек).
Номер два: установить вспомогательные тренировочные колёса (как на велосипеде, но можете для аналогии рассмотреть ходунки) на правильной высоте и начать их постепенно поднимать, предоставляя больше самостоятельности, по мере того как люди учатся, а у Sam появляется больше доверия.
Моё примечание: к сожалению, второе не работает без первого. Сложно начать что-либо делегировать, если человек почти не учится на ошибках, не воспринимает фидбек. На этом невозможно построить доверие и начать "усложнять" работу с предоставлением большего уровня самостоятельности.
Сиолошная
Starship Flight 2 120-метровая машина стоит на ~10-метровом пусковом столе. Почти заряжена и готова к бою полёту. Совсем скоро, возможно уже в следующем году, вся конструкция будет садиться в мааааленькую специально отведённую для этого зону с минимальной…
Пара апдейтов:
1. Elon на недавнем интервью сказал, что лицензия от FAA— единственное, что препятствует пуску. Корабль и ускоритель больше не будут тестироваться и готовы к полёту. В прошлый раз с момента получения лицензии до первой попытки прошло что-то около суток.
2. Значимая часть команды SpaceX пришла на пусковую площадку для совместного фото перед значимым событием. Подпись под фото: "Made on Earth by humans".
3. Источник, который сообщал в прошлый раз про окончание разбирательств FAA за несколько часов до анонса, написал, что "лицензия может быть выдана через день-два".
😳 можно уже поскорее как-то а? 👊 люди ждут!
Короче, как будете в супермаркете в следующий раз - обязательно зайдите за попкорном!
1. Elon на недавнем интервью сказал, что лицензия от FAA— единственное, что препятствует пуску. Корабль и ускоритель больше не будут тестироваться и готовы к полёту. В прошлый раз с момента получения лицензии до первой попытки прошло что-то около суток.
2. Значимая часть команды SpaceX пришла на пусковую площадку для совместного фото перед значимым событием. Подпись под фото: "Made on Earth by humans".
3. Источник, который сообщал в прошлый раз про окончание разбирательств FAA за несколько часов до анонса, написал, что "лицензия может быть выдана через день-два".
Короче, как будете в супермаркете в следующий раз - обязательно зайдите за попкорном!
Please open Telegram to view this post
VIEW IN TELEGRAM
15 сентября. В этот день 15 лет назад рухнул один из крупнейших инвестиционных банков Lehman Brothers. Это стало поворотным моментом и катализатором мирового экономического кризиса, приведшим к глобальной рецессии. До сих пор это банкротство является крупнейшим в истории США. Оно обнажило уязвимости традиционной финансовой системы, многие из которых — хоть и не все — постарались урегулировать.
Причина банкротства — невозможность обеспечения ипотечных кредитов, выдаваемых всем подряд налево и направо без проверок доходов. К 2008 году Lehman выдал этих кредитов на $680 млрд., при этом обладая капиталом всего в $22,5 млрд. С точки зрения логики это означало, что уровень активов на рискованном рынке недвижимости у Lehman в 30 раз превышал собственный капитал. При такой уязвимой структуре снижение стоимости рынка жилья на уровне 3-5 % разом лишило бы банк всего капитала. С началом ипотечного кризиса именно это и произошло.
Немного удивлён, что нигде ни в новостях, ни в тг-каналах не видел сегодня постов про это. Поэтому в этот пятничный вечер приглашаю всех посмотреть мой любимый фильм The Big Short ("Игра на понижение" в локализации, Оскар за лучший адаптированный сценарий).
Без преувеличений, посмотрел этот фильм больше 300 раз за все годы. Даже после первых 50 находил для себя что-то новое с точки зрения экономики и ипотечного рынка. Если вы не банкир или не экономист — лучше всего по ходу фильма гуглить, чтобы лучше понять описываемое.
It ain’t what you don’t know that gets you into trouble.
It’s what you know for sure that just ain’t so.
– Mark Twain
Truth is like poetry. And most people fucking hate poetry.
– overheard at a Washington, D.C. bar
Причина банкротства — невозможность обеспечения ипотечных кредитов, выдаваемых всем подряд налево и направо без проверок доходов. К 2008 году Lehman выдал этих кредитов на $680 млрд., при этом обладая капиталом всего в $22,5 млрд. С точки зрения логики это означало, что уровень активов на рискованном рынке недвижимости у Lehman в 30 раз превышал собственный капитал. При такой уязвимой структуре снижение стоимости рынка жилья на уровне 3-5 % разом лишило бы банк всего капитала. С началом ипотечного кризиса именно это и произошло.
Немного удивлён, что нигде ни в новостях, ни в тг-каналах не видел сегодня постов про это. Поэтому в этот пятничный вечер приглашаю всех посмотреть мой любимый фильм The Big Short ("Игра на понижение" в локализации, Оскар за лучший адаптированный сценарий).
Без преувеличений, посмотрел этот фильм больше 300 раз за все годы. Даже после первых 50 находил для себя что-то новое с точки зрения экономики и ипотечного рынка. Если вы не банкир или не экономист — лучше всего по ходу фильма гуглить, чтобы лучше понять описываемое.
It ain’t what you don’t know that gets you into trouble.
It’s what you know for sure that just ain’t so.
– Mark Twain
Truth is like poetry. And most people fucking hate poetry.
– overheard at a Washington, D.C. bar
Please open Telegram to view this post
VIEW IN TELEGRAM
В марте 2023го в MIT Economics появилась статья про улучшение производительности труда у людей, использующих ChatGPT, тогда же я написал краткий обзор (читать тут).
Вчера же вышла статья в соавторстве исследователей из Harvard University (Business School) и MIT в партнерстве с представителем "большой тройки" консалтинга: Boston Consulting Group (BCG). Исследование примечательно по четырём причинам:
1) Брались реальные задачи, которые решаются консультантами на работе (про это ниже);
2) Привлекалось 7% консультантов BCG, а это более 750 человек — то есть исследование достаточно массовое со стат. значимыми результатами;
3) Использовалась GPT-4 (правда версии весны 23го года, тогда проводились эксперименты), а не ChatGPT. Да, прям вот та, что у вас в браузере доступна, без специальных дообучений;
4) Оценка результатов проводилась вручную с перекрытием 2 (через усреднение), хоть и были попытки использовать LLM как оценщик.
Для самых нетерпеливых напишу сразу результаты:
— Для каждой из 18 задач консультанты, использующие ИИ, были значительно более продуктивными (в среднем они выполняли на 12,2% больше задач и выполняли задачи на 25,1% быстрее) и давали значительно более качественные результаты — более чем на 40% более высокое качество по сравнению с контрольной группой, участники которой решали задачи без GPT-4.
— Как и в исследовании MIT, оказалось, что люди со значением базового навыка ниже среднего (среди группы в 700+ консультантов; оценивалось предварительно отдельным тестом) улучшили эффективность на 43%, а у тех, кто выше среднего, - на 17%.
Далее хочу процитировать пост одного из со-авторов, который участвовал в исследовании.
— Даже лучшие консультанты все равно получили прирост в эффективности работы. Глядя на эти результаты, я думаю, что недостаточно людей задумываются о том, что для человечества означает технология, которая поднимает всех работников на высшие уровни производительности;
— Когда ИИ очень хорош, у людей нет причин усердно работать и обращать внимание на детали. Они позволили ИИ "взять верх" вместо того, чтобы использовать его как инструмент. Другой автор назвал это «засыпанием за рулем», и это может навредить развитию навыков и производительности (почему так написано - см. в следующем посте);
— GPT-4 уже является мощным фактором, виляющим на то, как мы работаем. И это не разрекламированная новая технология, которая изменит мир через пять лет или которая требует больших инвестиций и ресурсов огромных компаний – она уже здесь, вот прямо СЕЙЧАС;
— Наши результаты показывают, что хотя люди, использовавшие ИИ, в рамках поставленных задач производят более высоко оцененные идеи, вариативность этих идей заметно снижается по сравнению с теми, кто не использует ИИ [моё примечание: тут неочевидно, насколько это плохо - по-хорошему, и 2 идей "на миллион" хватит, зачем мне 10 копеечных?];
Вчера же вышла статья в соавторстве исследователей из Harvard University (Business School) и MIT в партнерстве с представителем "большой тройки" консалтинга: Boston Consulting Group (BCG). Исследование примечательно по четырём причинам:
1) Брались реальные задачи, которые решаются консультантами на работе (про это ниже);
2) Привлекалось 7% консультантов BCG, а это более 750 человек — то есть исследование достаточно массовое со стат. значимыми результатами;
3) Использовалась GPT-4 (правда версии весны 23го года, тогда проводились эксперименты), а не ChatGPT. Да, прям вот та, что у вас в браузере доступна, без специальных дообучений;
4) Оценка результатов проводилась вручную с перекрытием 2 (через усреднение), хоть и были попытки использовать LLM как оценщик.
Для самых нетерпеливых напишу сразу результаты:
— Для каждой из 18 задач консультанты, использующие ИИ, были значительно более продуктивными (в среднем они выполняли на 12,2% больше задач и выполняли задачи на 25,1% быстрее) и давали значительно более качественные результаты — более чем на 40% более высокое качество по сравнению с контрольной группой, участники которой решали задачи без GPT-4.
— Как и в исследовании MIT, оказалось, что люди со значением базового навыка ниже среднего (среди группы в 700+ консультантов; оценивалось предварительно отдельным тестом) улучшили эффективность на 43%, а у тех, кто выше среднего, - на 17%.
Далее хочу процитировать пост одного из со-авторов, который участвовал в исследовании.
— Даже лучшие консультанты все равно получили прирост в эффективности работы. Глядя на эти результаты, я думаю, что недостаточно людей задумываются о том, что для человечества означает технология, которая поднимает всех работников на высшие уровни производительности;
— Когда ИИ очень хорош, у людей нет причин усердно работать и обращать внимание на детали. Они позволили ИИ "взять верх" вместо того, чтобы использовать его как инструмент. Другой автор назвал это «засыпанием за рулем», и это может навредить развитию навыков и производительности (почему так написано - см. в следующем посте);
— GPT-4 уже является мощным фактором, виляющим на то, как мы работаем. И это не разрекламированная новая технология, которая изменит мир через пять лет или которая требует больших инвестиций и ресурсов огромных компаний – она уже здесь, вот прямо СЕЙЧАС;
— Наши результаты показывают, что хотя люди, использовавшие ИИ, в рамках поставленных задач производят более высоко оцененные идеи, вариативность этих идей заметно снижается по сравнению с теми, кто не использует ИИ [моё примечание: тут неочевидно, насколько это плохо - по-хорошему, и 2 идей "на миллион" хватит, зачем мне 10 копеечных?];
Блиц-пост по статье.
А как вообще исполнители делали работу?
— Чтобы обеспечить искренность участия и усилий консультантов, стимулировали их участие в эксперименте. Участники, прошедшие до конца, были удостоены признания «служебного вклада», что влекло за собой финансовые плюшки, связанные с их годовыми бонусами. Кроме того, в знак признания и поощрения выдающихся достижений 20% лучших участников получили дополнительное признание (recognition), а 5% лучших также были награждены небольшим подарком.
Более того напомню, что исследование происходило весной 2023го года, и у людей не было опыта работы с инструментом.
А какие именно задачи то были?
Задачи были разделены на две группы: та, с которой AI хорошо справляется, и та, которая, по мнению авторов, лежит за пределами возможностей фронтир-моделей типа GPT-4. Для второй группы было одно задание: написать заметку для CEO на 500-750 слов с анализом трёх подразделений на основе прочтения интервью с инсайдерами, а также отчётности в Excel-файле.
Первая группа включала в себя 18 заданий. При желании все их можно найти в статье, я лишь отмечу несколько интересных. Все они представляют собой декомпозицию одной более сложной задачи, и выполняются последовательно. Итак:
— Сгенерируйте идеи для новой обуви, ориентированной на конкретный рынок или вид спорта, который недостаточно востребован;
— Составьте список шагов, необходимых для запуска продукта. Будьте кратки, но всеобъемлющи;
— Cегментируйте рынок обувной промышленности по покупателям. Постарайтесь сделать его общим и пока не сосредотачивайтесь на вашей конкретной цели;
— Придумайте маркетинговый слоган для каждого сегмента, на который вы ориентируетесь;
— Напишите своему начальнику отчёт из 500 слов, в котором объясните свои выводы;
— Объясните, почему ваш продукт лучше конкурентов в виде вдохновляющей записки для сотрудников;
— И последнее задание особенное: обобщите информацию, полученную в результате ответов на предыдущие вопросы, и создайте черновик статьи в стиле Harvard Business Review объемом примерно 2500 слов.
А эти задачи вообще похожи на работу консультантов? (в комменты приглашается Павел Комаровский)
Оба набора задач были задуманы как реалистичные, а их создание происходило с участием профессионалов в соответствующих секторах. "A senior level executive" (высокопоставленный руководитель) прокомментировал, что эти задачи «очень соответствуют части повседневной деятельности» участвующих консультантов. Так что можно считать, что это почти что ежедневная работа, максимально отражающая спектр всех задач.
А какая разница в результатах между двумя группами задач?
В задаче, которая менее чётко прописана, а также требует анализа сторонних документов, корректность работы людей, использующих AI, оказалась ниже, чем у полагающихся только на самих себя (60% против 84.5%). Однако если предварительно сделать мини-воркшоп, где дать обзор промптов и ограничений модели, то показатель меняется до 70.6%. И ещё раз — люди до этого не работали с ChatGPT над профессиональными задачами, это новый инструмент, который буквально с наскока показывает результаты. Если с ним пожить год, активно используя — УХХХХ что будет!
Но пока...собственно, вот это падение корректности ответов и называлось «засыпанием за рулем» (когда человек чересчур полагается на технологию).
А как вообще исполнители делали работу?
— Чтобы обеспечить искренность участия и усилий консультантов, стимулировали их участие в эксперименте. Участники, прошедшие до конца, были удостоены признания «служебного вклада», что влекло за собой финансовые плюшки, связанные с их годовыми бонусами. Кроме того, в знак признания и поощрения выдающихся достижений 20% лучших участников получили дополнительное признание (recognition), а 5% лучших также были награждены небольшим подарком.
Более того напомню, что исследование происходило весной 2023го года, и у людей не было опыта работы с инструментом.
А какие именно задачи то были?
Задачи были разделены на две группы: та, с которой AI хорошо справляется, и та, которая, по мнению авторов, лежит за пределами возможностей фронтир-моделей типа GPT-4. Для второй группы было одно задание: написать заметку для CEO на 500-750 слов с анализом трёх подразделений на основе прочтения интервью с инсайдерами, а также отчётности в Excel-файле.
Первая группа включала в себя 18 заданий. При желании все их можно найти в статье, я лишь отмечу несколько интересных. Все они представляют собой декомпозицию одной более сложной задачи, и выполняются последовательно. Итак:
— Сгенерируйте идеи для новой обуви, ориентированной на конкретный рынок или вид спорта, который недостаточно востребован;
— Составьте список шагов, необходимых для запуска продукта. Будьте кратки, но всеобъемлющи;
— Cегментируйте рынок обувной промышленности по покупателям. Постарайтесь сделать его общим и пока не сосредотачивайтесь на вашей конкретной цели;
— Придумайте маркетинговый слоган для каждого сегмента, на который вы ориентируетесь;
— Напишите своему начальнику отчёт из 500 слов, в котором объясните свои выводы;
— Объясните, почему ваш продукт лучше конкурентов в виде вдохновляющей записки для сотрудников;
— И последнее задание особенное: обобщите информацию, полученную в результате ответов на предыдущие вопросы, и создайте черновик статьи в стиле Harvard Business Review объемом примерно 2500 слов.
А эти задачи вообще похожи на работу консультантов? (в комменты приглашается Павел Комаровский)
Оба набора задач были задуманы как реалистичные, а их создание происходило с участием профессионалов в соответствующих секторах. "A senior level executive" (высокопоставленный руководитель) прокомментировал, что эти задачи «очень соответствуют части повседневной деятельности» участвующих консультантов. Так что можно считать, что это почти что ежедневная работа, максимально отражающая спектр всех задач.
А какая разница в результатах между двумя группами задач?
В задаче, которая менее чётко прописана, а также требует анализа сторонних документов, корректность работы людей, использующих AI, оказалась ниже, чем у полагающихся только на самих себя (60% против 84.5%). Однако если предварительно сделать мини-воркшоп, где дать обзор промптов и ограничений модели, то показатель меняется до 70.6%. И ещё раз — люди до этого не работали с ChatGPT над профессиональными задачами, это новый инструмент, который буквально с наскока показывает результаты. Если с ним пожить год, активно используя — УХХХХ что будет!
Но пока...собственно, вот это падение корректности ответов и называлось «засыпанием за рулем» (когда человек чересчур полагается на технологию).
На этом рисунке показано распределение усреднённых результатов выполнения заданий (из группы, где их 18 штук) для испытуемых в трех экспериментальных группах:
— красный показывает испытуемых, испольщующих GPT + имевших предварительный воркшоп с обзором технологии и промптов;
— зеленый - только GPT;
— синий - самостоятельное выполнение задач.
Шкала 10-бальная, но напомню, что результат усредняется по всем задачам. Можно хорошо решить первые, простые задачки, но обделаться на написании финального эссе. Обратная ситуация чуть менее вероятна, так как финальная работа сочетает все проделанные ранее шаги.
Невооруженным взглядом виден существенный скачок в качестве выполняемой работы.
— красный показывает испытуемых, испольщующих GPT + имевших предварительный воркшоп с обзором технологии и промптов;
— зеленый - только GPT;
— синий - самостоятельное выполнение задач.
Шкала 10-бальная, но напомню, что результат усредняется по всем задачам. Можно хорошо решить первые, простые задачки, но обделаться на написании финального эссе. Обратная ситуация чуть менее вероятна, так как финальная работа сочетает все проделанные ранее шаги.
Невооруженным взглядом виден существенный скачок в качестве выполняемой работы.
Сиолошная
В марте 2023го в MIT Economics появилась статья про улучшение производительности труда у людей, использующих ChatGPT, тогда же я написал краткий обзор (читать тут). Вчера же вышла статья в соавторстве исследователей из Harvard University (Business School)…
Очередной раз сделаем низкий поклон олимпиадникам, работающим в Telegram и пишущим код приложения: к постам, которые пересланы в канал (я из черновика выкидываю после редактуры), нет комментариев — только к первому посту.
Поэтому оставляйте свои комментарии для предыдущей новости тут, вот прямо тут. Обсудим, каким вы видите влияние GPT-4 и схожих инструментов на вашу работу.
А ещё...это ж GPT-4 презентации делать не умеет, а вот как научится - уххх жизнь будет у большой тройки, не завидую...🤯
Поэтому оставляйте свои комментарии для предыдущей новости тут, вот прямо тут. Обсудим, каким вы видите влияние GPT-4 и схожих инструментов на вашу работу.
А ещё...это ж GPT-4 презентации делать не умеет, а вот как научится - уххх жизнь будет у большой тройки, не завидую...
Please open Telegram to view this post
VIEW IN TELEGRAM
Вечер ностальгии. Ниже приведён список из 6 песен, имеющих нечто общее. Первый, кто отпишет закономерность в комментарии - получит...ничего (на самом деле я не придумал чего-то лучше, чем часовой созвон со мной по Zoom/Google Meet, но не уверен, что это всем интересно. Но пусть будет хоть так).
1) The Small Faces - Ogdens' Nut Gone Flake (link)
2) Stevie Wonder - Skeletons (link)
3) Queen - Radio Ga Ga (link)
4) Jay Rock - Hood Gone Love It (link)
5) Waylon Jennings - Are You Sure Hank Done It This Way (link)
6) The Chain Gang of 1974 - Sleepwalking (link)
Ну, в худшем случае просто послушаете очень годные треки хорошей выдержки!
1) The Small Faces - Ogdens' Nut Gone Flake (link)
2) Stevie Wonder - Skeletons (link)
3) Queen - Radio Ga Ga (link)
4) Jay Rock - Hood Gone Love It (link)
5) Waylon Jennings - Are You Sure Hank Done It This Way (link)
6) The Chain Gang of 1974 - Sleepwalking (link)
Ну, в худшем случае просто послушаете очень годные треки хорошей выдержки!
Снова наткнулся на видео со вступительной речью Andrej Karpathy перед хакатоном, посвященным AI-агентам (AGI House). Там ничего интересного в целом нет, кроме одного кусочка в конце видео
Таймкод
OpenAI очень хороши в тренировке больших трансформеров/языковых моделей (в том смысле, что имеют большое количество экспертизы и опыта).
Как пример можно привести следующую ситуацию. Если выходит новая статья, предлагающая оригинальный способ тренировки моделей, и её скидывают в слак OpenAI, то там пишут что-то в духе: "О да, кто-то пробовал это 2.5 года назад, и вот что получилось. А вот почему это не сработало", и это всё хорошо проработано и сохранено.
Но когда выходит новая статья про AI-агентов, то всем это интересно, сотрудники OpenAI смотрят, читают и думают "вау, круто, это реально что-то новое". И причина этому — то , что тут ни у кого нет большого преимущества с точки зрения опыта. Мощные модели появились вот-вот совсем недавно, и доступны всем в интернете по скромной цене. И теперь все соревнуются со всеми, перезаимствуя идеи — просто потому что таково состояние отдельно взятого домена в индустрии.
Для желающих погрузиться в историю развития AI-агентов предлагаю два survey:
— A Survey on Large Language Model based Autonomous Agents (авугст 23го)
— The Rise and Potential of Large Language Model Based Agents: A Survey (сентябрь 23го)
Думаю, имеет смысл немного углубиться в тему и подразобрать основные подходы, ограничение применимости, и начинать следить за происходящим. С развитием возможностей самих базовых моделей можно будет переиспользовать концепты агентов без изменений кода — и пр этом получать солидные результаты. Просто нужно моделькам стать ещё чуточку умнее🥰
Таймкод
OpenAI очень хороши в тренировке больших трансформеров/языковых моделей (в том смысле, что имеют большое количество экспертизы и опыта).
Как пример можно привести следующую ситуацию. Если выходит новая статья, предлагающая оригинальный способ тренировки моделей, и её скидывают в слак OpenAI, то там пишут что-то в духе: "О да, кто-то пробовал это 2.5 года назад, и вот что получилось. А вот почему это не сработало", и это всё хорошо проработано и сохранено.
Но когда выходит новая статья про AI-агентов, то всем это интересно, сотрудники OpenAI смотрят, читают и думают "вау, круто, это реально что-то новое". И причина этому — то , что тут ни у кого нет большого преимущества с точки зрения опыта. Мощные модели появились вот-вот совсем недавно, и доступны всем в интернете по скромной цене. И теперь все соревнуются со всеми, перезаимствуя идеи — просто потому что таково состояние отдельно взятого домена в индустрии.
Для желающих погрузиться в историю развития AI-агентов предлагаю два survey:
— A Survey on Large Language Model based Autonomous Agents (авугст 23го)
— The Rise and Potential of Large Language Model Based Agents: A Survey (сентябрь 23го)
Думаю, имеет смысл немного углубиться в тему и подразобрать основные подходы, ограничение применимости, и начинать следить за происходящим. С развитием возможностей самих базовых моделей можно будет переиспользовать концепты агентов без изменений кода — и пр этом получать солидные результаты. Просто нужно моделькам стать ещё чуточку умнее
Please open Telegram to view this post
VIEW IN TELEGRAM
В издании The Information часто публикуются инсайды о планах на будущее и внутренней кухне OpenAI и Google. В последнее время было много слухов про Gemini — модель следующего поколения от Google, которая отличается, как минимум, тем, что является мультимодальной.
"Мультимодальный" значит то, что модель работает с несколькими модальностями: текст, изображения, быть может даже видео и аудио. Но мультимодальность можно сделать по разному. Есть вариант "для бедных", который давно гуляет в опенсурсе — это когда мы берем две модели (картиночная и LLM) и дообучаем маленькую прослойку между ними, чтобы переводить изображение в аналог "текста", но на языке, понятном LLM (там сплошные цифры, человеку ничего не понять, да и не нужно). Чуть более подробно и технически писал выше в канале.
Но в таком случае получается, что LLM на самом деле не получает большого количества информации из других модальностей, их по сути просто "пришивают сбоку". А вот если модель сразу учить понимать всё, чтобы можно было и понимание окружающего мира расширить, и навыки размышлений и отслеживания причинно-следственных связей улучшить — это может существенно повлиять на качество в лучшую сторону.
И вот сейчас, как указано в новости, OpenAI хочет постараться опередить Google на этом поле, выпустив еще более мощную мультимодальную модель под кодовым названием Gobi. В отличие от GPT-4, Gobi с самого начала проектировалась и обучалась как мультимодальная модель. Однако в новости упоминается, что "не похоже, что тренировку Gobi уже начали". Так что как эта модель может выйти раньше Gemini (запланированной на осень 2023го) — не ясно.
Интересующийся читатель спросит: а почему [по крайней мере у OpenAI] так много времени занимает разработка и выкатка новой модели, где "всего лишь" можно добавить картинки? В статье указывается, что в основном это связано с опасениями по поводу новых функций и их использования злоумышленниками, например, для выдачи себя за людей путем автоматического решения капчи или отслеживания людей с помощью распознавания лиц. Но инженеры OpenAI, похоже, близки к разрешению юридических проблем, связанных с новой технологией.
Будем смотреть, чем порадуют компании до конца года.
"Мультимодальный" значит то, что модель работает с несколькими модальностями: текст, изображения, быть может даже видео и аудио. Но мультимодальность можно сделать по разному. Есть вариант "для бедных", который давно гуляет в опенсурсе — это когда мы берем две модели (картиночная и LLM) и дообучаем маленькую прослойку между ними, чтобы переводить изображение в аналог "текста", но на языке, понятном LLM (там сплошные цифры, человеку ничего не понять, да и не нужно). Чуть более подробно и технически писал выше в канале.
Но в таком случае получается, что LLM на самом деле не получает большого количества информации из других модальностей, их по сути просто "пришивают сбоку". А вот если модель сразу учить понимать всё, чтобы можно было и понимание окружающего мира расширить, и навыки размышлений и отслеживания причинно-следственных связей улучшить — это может существенно повлиять на качество в лучшую сторону.
И вот сейчас, как указано в новости, OpenAI хочет постараться опередить Google на этом поле, выпустив еще более мощную мультимодальную модель под кодовым названием Gobi. В отличие от GPT-4, Gobi с самого начала проектировалась и обучалась как мультимодальная модель. Однако в новости упоминается, что "не похоже, что тренировку Gobi уже начали". Так что как эта модель может выйти раньше Gemini (запланированной на осень 2023го) — не ясно.
Интересующийся читатель спросит: а почему [по крайней мере у OpenAI] так много времени занимает разработка и выкатка новой модели, где "всего лишь" можно добавить картинки? В статье указывается, что в основном это связано с опасениями по поводу новых функций и их использования злоумышленниками, например, для выдачи себя за людей путем автоматического решения капчи или отслеживания людей с помощью распознавания лиц. Но инженеры OpenAI, похоже, близки к разрешению юридических проблем, связанных с новой технологией.
Будем смотреть, чем порадуют компании до конца года.
Когда вышла GPT-4, то люди в твиттере что только не проверяли, чтобы понять границы применимости. Среди интересных и полезных отметил для себя тогда шахматы: модель играла очень плохо, примерно на 1000 ELO или даже чуть меньше. ELO - это относительный рейтинг, позволяющий сравнивать двух игроков. Например, разница в 100 очков означает, что вероятности побед соотносятся как 65:35, а 250 очков говорят о ситуациии 80:20. У гроссмейстеров рейтинг начинается от 2500 (то есть он выиграет 100 игр из 100 против GPT-4).
Вчера OpenAI анонсировали новую модель
Теперь к делу. В твиттере наткнулся на пост, где новую модель опробовали в шахматах, и оказалось, что без формата диалога (просто продолжая написанный текст в специальном формате Portable Game Notation, типа
> GPT-4 играет в шахматы на сильном клубном уровне при наличии соответствующего промпта. Такого уровня невозможно достичь без хорошего понимания игры и моделирования игровой доски. Даже в Go эта модель работает примерно в 10 раз лучше, чем та, что делает ходы случайно.
Возвращаясь к свежей модели — автор отметила, что новая GPT не предсказывала неправильные ходы (несуществующими фигурами или не по правилам), чем страдала GPT-4.
Интересно, что даже после того, как GPT сделал плохой ход, модель все еще был в состоянии *предсказать* ход Stockfish (бот-оппонент), который воспользовался бы ошибкой GPT. Таким образом, мы, вероятно, могли бы получить ELO > 2000 для GPT, приложив немного усилий к имплементации своего рода поиска (того, как работают настоящие шахматные боты) по дереву. И вы не поверите — про это я рассказывал в недавней лекции как один из путей дальнейшего развития LLM! Вот таймкод. Так что если вы не поняли, что это за поиск — можно посмотреть там.
Промпт дял тестирования можно подрезать тут.
Вчера OpenAI анонсировали новую модель
gpt-3.5-turbo-instruct. Но хайповать не нужно — ничего нового, кажется, в ней не появилось, это просто замена прошлым поколениям, и кажется, что она недотренированна на формате диалога (как и предыдущие, которые должно заменить). OpenAI пишут, что "It’s trained similarly to previous Instruct models such as the text-davinci series while maintaining the same speed as our turbo models."
Теперь к делу. В твиттере наткнулся на пост, где новую модель опробовали в шахматах, и оказалось, что без формата диалога (просто продолжая написанный текст в специальном формате Portable Game Notation, типа
1.e4 c6 2.d4 d5 3.Nc3 dxe4, откуда куда совершается ход) модель играет очень даже ничего — примерно на 1800 ELO (второй или первый разряд, КМС начинается от 2000). Оценка производилась методом игры с ботом Stockfish. Модель с 1700 рейтинга была обыграна, а вот 2000 не далась — так что рейтинг где-то между. А 1800 я взял из твита сотрудника OpenAI, которые, видимо, у себя внутри тоже проводили схожие тесты (правда он пишет про GPT-4!):
> GPT-4 играет в шахматы на сильном клубном уровне при наличии соответствующего промпта. Такого уровня невозможно достичь без хорошего понимания игры и моделирования игровой доски. Даже в Go эта модель работает примерно в 10 раз лучше, чем та, что делает ходы случайно.
Возвращаясь к свежей модели — автор отметила, что новая GPT не предсказывала неправильные ходы (несуществующими фигурами или не по правилам), чем страдала GPT-4.
Интересно, что даже после того, как GPT сделал плохой ход, модель все еще был в состоянии *предсказать* ход Stockfish (бот-оппонент), который воспользовался бы ошибкой GPT. Таким образом, мы, вероятно, могли бы получить ELO > 2000 для GPT, приложив немного усилий к имплементации своего рода поиска (того, как работают настоящие шахматные боты) по дереву. И вы не поверите — про это я рассказывал в недавней лекции как один из путей дальнейшего развития LLM! Вот таймкод. Так что если вы не поняли, что это за поиск — можно посмотреть там.
Промпт дял тестирования можно подрезать тут.
OpenAI неспешно докидывают знания в GPT-4.
Раньше она знала только то, что происходило до сентября 2021го, теперь же в промпте указано, что заложены знания до января 2022го. Правда, у меня всё еще "старая" модель, снова попал не в ту группу на А/Б тесте, поэтому спасибо Илье Гусеву за предоставление скриншота с верификацией.
Ну шо, го мучить модельку вопросами про политику в 2022м году)))
Раньше она знала только то, что происходило до сентября 2021го, теперь же в промпте указано, что заложены знания до января 2022го. Правда, у меня всё еще "старая" модель, снова попал не в ту группу на А/Б тесте, поэтому спасибо Илье Гусеву за предоставление скриншота с верификацией.
Ну шо, го мучить модельку вопросами про политику в 2022м году)))
Сиолошная
OpenAI неспешно докидывают знания в GPT-4. Раньше она знала только то, что происходило до сентября 2021го, теперь же в промпте указано, что заложены знания до января 2022го. Правда, у меня всё еще "старая" модель, снова попал не в ту группу на А/Б тесте…
Please open Telegram to view this post
VIEW IN TELEGRAM
Плохие новости для OpenAI и Microsoft Bing
Я обычно не люблю писать такие заголовки, однако повод серьёзный. Google внедрили в своего ассистента Bard интеграцию с большим количеством своих продуктов: Gmail, YouTube (судя по демо — модели доступны транскрипты видео), Google Docs, Drive, Maps, Hotels, Flights и другими менее известными.
Называется это Bard Extensions ✨
Интереснее всего взглянуть на предлагаемые в анонсирующем ролике способы применения:
— суммаризуй все недавние письма от X
— дай мне шаблон для речи шафера и покажи примеры видео для вдохновления
— (добавляет картинку) вот детское кресло, которое я недавно купил, покажи видео с инструкцией по установке в машину
— напомни, когда X предлагал мне Y? (ответ в виде извлекаемых из писем дат. Правда...кто ведет личные переписки в почте?)
— и фоллоу-ап вопрос к прошлому: покажи мне билеты на эти даты и близлежащие отели (подразумевается ответ с учётом предыдущего контекста)
— и ещё составь план на каждый день и расскажи, что собрать с собой
В целом, кажется ничего сильно продвинутого относительно GPT-4 с доступом к плагину поиска в интернете. Вопрос в том, насколько много данных у Google, чтобы дообучить модель очень хорошо работать с персональными данными, а также делать вызовы нескольких разных сервисов за раз.
А ещё прокачали опцию перепроверки каких-то фактов в Google — надо нажать на кнопочку снизу от ответа, после чего бот сам погуглит, и какие-то куски выделит желтым или зелёным, в зависимости от того, находит ли информация подтверждение!
Анонс
Попробовать можно на bard.google.com (доступно российским аккаунтам).
Я обычно не люблю писать такие заголовки, однако повод серьёзный. Google внедрили в своего ассистента Bard интеграцию с большим количеством своих продуктов: Gmail, YouTube (судя по демо — модели доступны транскрипты видео), Google Docs, Drive, Maps, Hotels, Flights и другими менее известными.
Называется это Bard Extensions ✨
Интереснее всего взглянуть на предлагаемые в анонсирующем ролике способы применения:
— суммаризуй все недавние письма от X
— дай мне шаблон для речи шафера и покажи примеры видео для вдохновления
— (добавляет картинку) вот детское кресло, которое я недавно купил, покажи видео с инструкцией по установке в машину
— напомни, когда X предлагал мне Y? (ответ в виде извлекаемых из писем дат. Правда...кто ведет личные переписки в почте?)
— и фоллоу-ап вопрос к прошлому: покажи мне билеты на эти даты и близлежащие отели (подразумевается ответ с учётом предыдущего контекста)
— и ещё составь план на каждый день и расскажи, что собрать с собой
В целом, кажется ничего сильно продвинутого относительно GPT-4 с доступом к плагину поиска в интернете. Вопрос в том, насколько много данных у Google, чтобы дообучить модель очень хорошо работать с персональными данными, а также делать вызовы нескольких разных сервисов за раз.
А ещё прокачали опцию перепроверки каких-то фактов в Google — надо нажать на кнопочку снизу от ответа, после чего бот сам погуглит, и какие-то куски выделит желтым или зелёным, в зависимости от того, находит ли информация подтверждение!
Анонс
Попробовать можно на bard.google.com (доступно российским аккаунтам).