Тут Eric Schmidt 40 мин отвечал про все сразу - и AI, и Китай, и геополитику/датацентры у арабов за $100 млрд:
SCSP
- Это было на конфе его НКО - Special Competitive Studies Project, с 2021, цель - обеспечить США лидерство в tech и экономике к 2030
- Замутил ее с Киссинджером (недавно умер, над ним еще шутили авторы книги AI Snake Oil)
AI
- В отрасли много интересного идет, на больших масштабах. В ближайшие 1-2 года появятся нишевые LLM, верю в них. LLM = просто language to language компьютинг
- В кодинге LLM конечно оч. полезно, 40 лет руководил разрабами, никогда не делают что просишь
- Для науки оч круто если математику компы смогут и гипотезы выдвигать, и доказывать, есть язык для этого, я финансировал его создание
- Смена работ из-за AI будет, но ведь в первую очередь убирают самую повторяющуюся и нудную работу e.g. охранники
- Прогресс в AI - это с какой скоростью добавляешь туда людей, обученных в научных и инженерных дисциплинах, и странно что Вашингтон все не упростит им въезд
Китай
- Гоняли туда перед смертью Киссинджера. Они оч hard working, умные и видят куда идти. Пилят fusion, кстати
- Санкции на чипы плохо работают, все равно много просачивается
- Гипотеза, что для AI нужны данные и Китай выиграет из-за anti privacy - не оправдалась
Энергия
- Чипов надо в ближайшие годы в 10x больше, а вообще - бесконечно. А датацентры уже 3% электросетей US, а будет 7-8% через 5-10 лет. Через 4 года электричества в US не хватит. Одобрение/постройка новых линий электропередач может до 18 (!) лет занимать - я реально боюсь умереть до этого, власти/госсектор - не для быстрых изменений [вот зачем Маск хочет дерегуляции и DOGE - Department Of Government Efficiency]
- Для солнца и ветро надо батареи и AI поможет в material sciences их улучшить, займет 5-7 лет, но сырье для них и редкоземельные элементы - 70% мирового производства у Китая (и чуток в мутных Боливиях Конго)
- Угольные станции в США не дадут строить, но газовые будем. OpenAI поэтому и хочет чтобы Сауд Аравия/Катар/ОАЭ (я тоже с ними много общаюсь) быстро построили электростанций и датацентров на $70-100 млрд, не переживая про security risks + те берут на себя обязательства по зеленой энергии. Мы разучились строить вообще что-то, а арабы умеют оч быстро строить
- Надо переоткрывать АЭС в США + строить новые. Но в США 11-13 лет займет одобрение, никакой learning curve такими темпами у нас не будет
- CO2 след от AI будет сглаживаться прогрессом электроавто итп
Fusion/термоядерный синтез
- Я вовлечен в один проект, есть ощущение, что за декаду сделают. Будущее целиком за fusion. Это помимо того, что это вопрос нацбезопасности
Геополитика
- Европейские сетки все тренятся за пределами EU, чаще в US. Арабские датацентры, как минимум, будут делать ВЕСЬ inference для EU, тк в EU запретительно дорогая энергия (даже по super deals, я общался с Макроном)
- В Китае есть кластеров на 600-700 тыс GPU + у OpenAI, Meta, Anthropic, Google + Малайзия - итого меньше дюжины мест
- С т.зр. national security можно там тренить НЕ секретное - мы доверяем Франции, Германии, еще ряду стран + может Япония, Корея - итого 8 стран. Индия - им не так доверяем. Пытаемся понять можно ли у арабов. Секретное в любом случае в странах Five Eyes (US, Canada, UK, New Zeland, Australia)
- В целом, проблема безопасности и хаков остается вне зависимости от того, где свои модели тренишь
Датацентры
- Европе надо строить свои, а иначе системы с AI в реальном времени не получатся из-за задержки сигнала/latency
- Тренинг больших моделей требует все время проворачивать оперативную память целиком -> все должны быть в едином кластере. Inference будут делать там же, где и тренят, те же сервера. 100 тыс GPU стоят $5 млрд, а обесцениваются за 2 года
- Microsoft строит в Висконсине датацентр больше, чем все гугловские вместе взятые, на несколько гигаватт - это как на несколько млн домов
AGI
- В, как я называю, "сан-францискской школе мысли” ждут AGI (умнее, чем все люди) через 18 мес - думаю, это не вопрос ближайших лет. Self-driving авто 30 лет уже пилят, и какое проникновение?
SCSP
- Это было на конфе его НКО - Special Competitive Studies Project, с 2021, цель - обеспечить США лидерство в tech и экономике к 2030
- Замутил ее с Киссинджером (недавно умер, над ним еще шутили авторы книги AI Snake Oil)
AI
- В отрасли много интересного идет, на больших масштабах. В ближайшие 1-2 года появятся нишевые LLM, верю в них. LLM = просто language to language компьютинг
- В кодинге LLM конечно оч. полезно, 40 лет руководил разрабами, никогда не делают что просишь
- Для науки оч круто если математику компы смогут и гипотезы выдвигать, и доказывать, есть язык для этого, я финансировал его создание
- Смена работ из-за AI будет, но ведь в первую очередь убирают самую повторяющуюся и нудную работу e.g. охранники
- Прогресс в AI - это с какой скоростью добавляешь туда людей, обученных в научных и инженерных дисциплинах, и странно что Вашингтон все не упростит им въезд
Китай
- Гоняли туда перед смертью Киссинджера. Они оч hard working, умные и видят куда идти. Пилят fusion, кстати
- Санкции на чипы плохо работают, все равно много просачивается
- Гипотеза, что для AI нужны данные и Китай выиграет из-за anti privacy - не оправдалась
Энергия
- Чипов надо в ближайшие годы в 10x больше, а вообще - бесконечно. А датацентры уже 3% электросетей US, а будет 7-8% через 5-10 лет. Через 4 года электричества в US не хватит. Одобрение/постройка новых линий электропередач может до 18 (!) лет занимать - я реально боюсь умереть до этого, власти/госсектор - не для быстрых изменений [вот зачем Маск хочет дерегуляции и DOGE - Department Of Government Efficiency]
- Для солнца и ветро надо батареи и AI поможет в material sciences их улучшить, займет 5-7 лет, но сырье для них и редкоземельные элементы - 70% мирового производства у Китая (и чуток в мутных Боливиях Конго)
- Угольные станции в США не дадут строить, но газовые будем. OpenAI поэтому и хочет чтобы Сауд Аравия/Катар/ОАЭ (я тоже с ними много общаюсь) быстро построили электростанций и датацентров на $70-100 млрд, не переживая про security risks + те берут на себя обязательства по зеленой энергии. Мы разучились строить вообще что-то, а арабы умеют оч быстро строить
- Надо переоткрывать АЭС в США + строить новые. Но в США 11-13 лет займет одобрение, никакой learning curve такими темпами у нас не будет
- CO2 след от AI будет сглаживаться прогрессом электроавто итп
Fusion/термоядерный синтез
- Я вовлечен в один проект, есть ощущение, что за декаду сделают. Будущее целиком за fusion. Это помимо того, что это вопрос нацбезопасности
Геополитика
- Европейские сетки все тренятся за пределами EU, чаще в US. Арабские датацентры, как минимум, будут делать ВЕСЬ inference для EU, тк в EU запретительно дорогая энергия (даже по super deals, я общался с Макроном)
- В Китае есть кластеров на 600-700 тыс GPU + у OpenAI, Meta, Anthropic, Google + Малайзия - итого меньше дюжины мест
- С т.зр. national security можно там тренить НЕ секретное - мы доверяем Франции, Германии, еще ряду стран + может Япония, Корея - итого 8 стран. Индия - им не так доверяем. Пытаемся понять можно ли у арабов. Секретное в любом случае в странах Five Eyes (US, Canada, UK, New Zeland, Australia)
- В целом, проблема безопасности и хаков остается вне зависимости от того, где свои модели тренишь
Датацентры
- Европе надо строить свои, а иначе системы с AI в реальном времени не получатся из-за задержки сигнала/latency
- Тренинг больших моделей требует все время проворачивать оперативную память целиком -> все должны быть в едином кластере. Inference будут делать там же, где и тренят, те же сервера. 100 тыс GPU стоят $5 млрд, а обесцениваются за 2 года
- Microsoft строит в Висконсине датацентр больше, чем все гугловские вместе взятые, на несколько гигаватт - это как на несколько млн домов
AGI
- В, как я называю, "сан-францискской школе мысли” ждут AGI (умнее, чем все люди) через 18 мес - думаю, это не вопрос ближайших лет. Self-driving авто 30 лет уже пилят, и какое проникновение?
У Ричарда Докинза вышла книга Genetic Book of the Dead: A Darwinian Reverie и ее _НЕ_ надо читать, и вообще никакие из полутора десятков его книг читать _НЕ_ надо,
а
Читать у него надо только самую первую - Selfish Gene 1976г, где он ввел концепцию мемов + описывают суть первичных репликаторов (клеток, жаждущих размножиться) + описывает симуляции на компах как сети коллаборирующих агентов выигрывают у читеров + как в нашем теле и геноме все между собой конкурирует (e.g. раковые клетки растут, скачут транспозоны, кусочки нашего генома пытаются размножиться не половым путем, а улететь как вирус через воздух и жидкости к другим геномам итд итп)
Но
В книге есть несколько красивых иллюстраций. Просто как грани Вселенной, где мы все с вами обитаем
- Овца и кошка - просто разница в длине кишечника
- Предпоследняя картинка - гемофилия у монархов (а в среднем у мужчин 1/5000 - 1/25000)
- Последняя картинка - это что когда-то население всех людей мира падало за 250 тыс лет до буквально нескольких тыс (!) человек
а
Читать у него надо только самую первую - Selfish Gene 1976г, где он ввел концепцию мемов + описывают суть первичных репликаторов (клеток, жаждущих размножиться) + описывает симуляции на компах как сети коллаборирующих агентов выигрывают у читеров + как в нашем теле и геноме все между собой конкурирует (e.g. раковые клетки растут, скачут транспозоны, кусочки нашего генома пытаются размножиться не половым путем, а улететь как вирус через воздух и жидкости к другим геномам итд итп)
Но
В книге есть несколько красивых иллюстраций. Просто как грани Вселенной, где мы все с вами обитаем
- Овца и кошка - просто разница в длине кишечника
- Предпоследняя картинка - гемофилия у монархов (а в среднем у мужчин 1/5000 - 1/25000)
- Последняя картинка - это что когда-то население всех людей мира падало за 250 тыс лет до буквально нескольких тыс (!) человек
Forwarded from Малоизвестное интересное
Кай-Фу Ли объявил войну Nvidia и всей ИИ-экосистеме США.
И судя по его последним достижениям, шансы победить есть.
Потрясающе интересное выступление китайского ИИ гуру Кай-Фу Ли будут теперь долго обсуждать. Это абсолютно революционное выступление, прозвучавшее на закрытой дискуссии Collective[i] Forecast, Ли посвятил трем темам.
1. ИИ-экосистема США (основа мировой ИИ-экосистемы) «невероятно больна». Её необходимо кардинально перестроить, иначе на реальном (практическом) прогрессе ИИ можно ставить крест.
Сегодня ИИ-экосистема состоит из Nvidia и мелких производителей ИИ чипов. При этом производители чипов для ИИ зарабатывают сейчас в год $75 млрд, а вендоры ИИ-инфраструктуры – лишь $10 млрд и вендоры ИИ-приложений — лишь $5 млрд».
«Если мы продолжим работать в этой перевернутой пирамиде, это станет проблемой» — сказал Ли. Т.к. это беспрецедентный переворот в экономике классической технологической отрасли. Традиционно производители приложений получают больше, чем поставщики чипов и систем (напр. Salesforce, внедряя CRM, получает куда больше, чем Dell и Intel, производящие компьютеры и чипы для запуска CRM в облаке)
Оздоровить ИИ-экосистему может лишь создание ИИ-компаниями собственных вертикальных интегрированных технологических стеков, как это сделала Apple с iPhone. Только так станет возможным значительно снизить стоимость генеративного ИИ.
2. Главным направление в разработке моделей должно стать снижение стоимости вывода – это самое важное для создания востребованных бизнесом приложений с ИИ.
Сегодняшняя стандартная стоимость сервиса типа GPT-4 составляет $4,40 за млн токенов. Это эквивалентно 57 центам за запрос —и это непростительно дорого, ибо поисковый запрос в Google (без всякого ИИ) обойдется в 180 раз дешевле.
3. Вторым важнейшим направлением в разработке моделей должен стать переход от универсальных базовых моделей к «экспертным моделям».
Бизнесу нужны не универсальные модели, обученные на океанах неразмеченных данных, собранных из Интернета и других источников. Подход «экспертных моделей» подразумевает создание множества нейронок, обученных на отраслевых данных. Это может обеспечить достижение того же уровня «интеллекта», что и универсальная базовая модель, при использовании гораздо меньшей вычислительной мощности.
Самое потрясающее, что все 3 пункта – это не предложения, основанные на предположениях. Стартап Кай-Фу Ли «01.ai» уже делает все это на практике.
И не просто делает, а уже добивается уникальных результатов.
• Их новая модель Yi-Lightning занимает 6-е место в мире (выше выпущенной 5 мес назад GPT-4o). Но при этом это очень маленькая модель, которая чрезвычайно быстра и недорога (всего $0,14 за млн токенов ). Её производительность сопоставима с Grok-2. Но она обучалась всего на 2000 H100 в течение 1 месяца. Что демонстрирует ненужность 100 тыс H100 и ярдов затрат (обучение Yi-Lightning стоило всего $3 млн).
• 01.ai применяет «экспертный» подход к сбору данных. И хотя «инженерам приходится проводить массу неблагодарной черновой работы» по маркировке и ранжированию данных, но – как считает Ли, - Китай с его резервом дешевых инженерных кадров может сделать это лучше, чем США.
• И даже в создании собственного вертикального интегрированного техно-стека есть прогресс. Напр, за счет использования собственных аппаратных инноваций, стоимость одного запроса к ИИ-поисковику BeaGo составляет всего около 1 цента (что приблизилось к стоимости запроса Google без всякого ИИ)
И еще 3 цитаты Ли:
Сила Китая не в том, чтобы делать лучшие прорывные исследования, которые никто не делал раньше, с бюджетом без ограничений. Сила Китая в том, чтобы построить хорошо, быстро, надежно и при этом дешево.
Для предприятий новое поколение ИИ станет их мозгом, а не периферийными приблудами. Для нефтяных компании ИИ будет добывать нефть. Для финансовых — зарабатывать на деньгах.
Для потребителей сегодняшняя модель смартфона, скорее всего, исчезнет.
А ведь еще 1.5 года назад Ли предупреждал - Китай не станет догонять США в ИИ, а сразу пойдет на обгон.
#ИИгонка #Китай
И судя по его последним достижениям, шансы победить есть.
Потрясающе интересное выступление китайского ИИ гуру Кай-Фу Ли будут теперь долго обсуждать. Это абсолютно революционное выступление, прозвучавшее на закрытой дискуссии Collective[i] Forecast, Ли посвятил трем темам.
1. ИИ-экосистема США (основа мировой ИИ-экосистемы) «невероятно больна». Её необходимо кардинально перестроить, иначе на реальном (практическом) прогрессе ИИ можно ставить крест.
Сегодня ИИ-экосистема состоит из Nvidia и мелких производителей ИИ чипов. При этом производители чипов для ИИ зарабатывают сейчас в год $75 млрд, а вендоры ИИ-инфраструктуры – лишь $10 млрд и вендоры ИИ-приложений — лишь $5 млрд».
«Если мы продолжим работать в этой перевернутой пирамиде, это станет проблемой» — сказал Ли. Т.к. это беспрецедентный переворот в экономике классической технологической отрасли. Традиционно производители приложений получают больше, чем поставщики чипов и систем (напр. Salesforce, внедряя CRM, получает куда больше, чем Dell и Intel, производящие компьютеры и чипы для запуска CRM в облаке)
Оздоровить ИИ-экосистему может лишь создание ИИ-компаниями собственных вертикальных интегрированных технологических стеков, как это сделала Apple с iPhone. Только так станет возможным значительно снизить стоимость генеративного ИИ.
2. Главным направление в разработке моделей должно стать снижение стоимости вывода – это самое важное для создания востребованных бизнесом приложений с ИИ.
Сегодняшняя стандартная стоимость сервиса типа GPT-4 составляет $4,40 за млн токенов. Это эквивалентно 57 центам за запрос —и это непростительно дорого, ибо поисковый запрос в Google (без всякого ИИ) обойдется в 180 раз дешевле.
3. Вторым важнейшим направлением в разработке моделей должен стать переход от универсальных базовых моделей к «экспертным моделям».
Бизнесу нужны не универсальные модели, обученные на океанах неразмеченных данных, собранных из Интернета и других источников. Подход «экспертных моделей» подразумевает создание множества нейронок, обученных на отраслевых данных. Это может обеспечить достижение того же уровня «интеллекта», что и универсальная базовая модель, при использовании гораздо меньшей вычислительной мощности.
Самое потрясающее, что все 3 пункта – это не предложения, основанные на предположениях. Стартап Кай-Фу Ли «01.ai» уже делает все это на практике.
И не просто делает, а уже добивается уникальных результатов.
• Их новая модель Yi-Lightning занимает 6-е место в мире (выше выпущенной 5 мес назад GPT-4o). Но при этом это очень маленькая модель, которая чрезвычайно быстра и недорога (всего $0,14 за млн токенов ). Её производительность сопоставима с Grok-2. Но она обучалась всего на 2000 H100 в течение 1 месяца. Что демонстрирует ненужность 100 тыс H100 и ярдов затрат (обучение Yi-Lightning стоило всего $3 млн).
• 01.ai применяет «экспертный» подход к сбору данных. И хотя «инженерам приходится проводить массу неблагодарной черновой работы» по маркировке и ранжированию данных, но – как считает Ли, - Китай с его резервом дешевых инженерных кадров может сделать это лучше, чем США.
• И даже в создании собственного вертикального интегрированного техно-стека есть прогресс. Напр, за счет использования собственных аппаратных инноваций, стоимость одного запроса к ИИ-поисковику BeaGo составляет всего около 1 цента (что приблизилось к стоимости запроса Google без всякого ИИ)
И еще 3 цитаты Ли:
Сила Китая не в том, чтобы делать лучшие прорывные исследования, которые никто не делал раньше, с бюджетом без ограничений. Сила Китая в том, чтобы построить хорошо, быстро, надежно и при этом дешево.
Для предприятий новое поколение ИИ станет их мозгом, а не периферийными приблудами. Для нефтяных компании ИИ будет добывать нефть. Для финансовых — зарабатывать на деньгах.
Для потребителей сегодняшняя модель смартфона, скорее всего, исчезнет.
А ведь еще 1.5 года назад Ли предупреждал - Китай не станет догонять США в ИИ, а сразу пойдет на обгон.
#ИИгонка #Китай
Forwarded from Victor Osyka, техноцивилизация
Когда-то давно в посту (аж на Medium =)) "Как правильно быть пациентом психолога?" я писал то, что был бы сам рад прочесть до знакомства с психотерапией. Хочу заапдейтить:
Что понимал:
1) Зачем делают терапию
- Объяснение своих эмоций, реакций, страхов, агрессии, рост контакта с собой. Убирание телесных напряжений, всплесков, онемений
- Выявление личностных сценариев/проекций/способов получения любви от близких и от мира + причин откуда взялось, разделение своего и чужого
- Примирение, принятие, благодарность к родным и к миру
2) Почему она работает
- В нас могут быть глубоко вшиты автоматизмы, которые мы не выбирали. Это магия эволюции, комбинаторная игра Вселенной: она перебирает и наши гены, и семьи где мы росли, и мир где мы социализировались
- Себя оч. сложно увидеть извне, слепая зона, у психики тонна обманок и [ложных] рационализаций. Суть терапии - в отстраненности психолога от вас и внутреннего диалога. Плюс он знает механизмы (со всем знанием, накопленным цивилизацией) и с вами их обходит, раскапывает
- Сознание, эмоции и тело оч. связаны, эмоции объёмно “хранятся” в теле и это важно разбирать
3) Как выбрать терапевта
- Женщины-психологи в целом круче мужчин: гуманистичнее, теплее, гибче. Также, чаще доверие у всех выше с мамами, это биология
- Хороший психолог после учебы в институте (а на Западе еще и лицензирования) проходит регулярные супервизии, а также сам прошел много личной терапии -> не проецирует на вас свое. Не обсуждает других клиентов. Не обещает. Этичен
4) Как идет процесс
- Терапии, фундаментально, отличаются только степенью доступа в подсознание. Если психолог такое умеет и личностно проработан - ваш прогресс будет на глазах
- Западная школа психологии слишком тяготеет к рацио (в пределе аж КПТ) - что якобы все можно выразить словами/от ума и сознание первично
- Нужно формулировать запрос - психолог вас никуда не тащит. Но прикол в том, что подсознание знает куда нам надо
- Важно быть оч. открытым к новому, т.к. закрытость - это всего лишь защитные механизмы психики
- На сессиях может быть сложно/слезы/телесные ощущения итп, но это и есть индикатор, что удалось залезть в подсознание. И потом может несколько дней идти интеграция
Новые понимания:
Личная терапия
- Терапевтические отношения (регулярные встречи) с психологом сами по себе целебны - донабрать доверие, спокойствие, тепло, принятие
- Вещества не инструмент развития, а просто походы в иллюзорные реальности или [групповая] регрессия
- Я перестал делать Ошо-динамику, а затем и просто медитировать по мере прогресса в терапии. Тиль дошел до терапии, Равикант подступается, Маску - не надо =)
- Юнг еще 100 лет назад описал, что западным людям больше подходит диалог/исповедь, а медитации/интроспекция - это для восточной культуры
- Терапия растит нашу целостность, высвобождает энергию. Начинал с поиска спокойствия, но сместился в резонанс - радостнее и объёмнее взаимодействовать с миром
Если уже и дозреваешь, но все еще боишься терапии
- Люди могут улетать в духовную прокрастинацию
- Или может быть невыносимая тяга к т.н. эхо-камерам - это чаты/тусы/блоги, где просто люди со схожими механиками травм
- Также, люди могут декларировать, что якобы в терапии, а на самом деле нет
Групповая - не только идешь свой путь, но и видишь как у других - что схоже, а что по-разному
Семейная
- У личной терапии есть фишка - работаешь над собой, но отношения улучшаются с другими
- Семейная терапия сложнее в поиске психолога. Мы перебрали человек 7, включая уход через 15 мин и не сговариваясь от дядечки с сессиями по $400 - а мы на тот момент жили отдельно, эмоционально было крайне напряженно и вообще
Духовное
- Есть, по сути, всего 3 уровня глубины работы с собой:
1. Информация/книги/видео/практики итп - копишь знания
2. Работа с внешним наблюдателем/психологом. Нужно решиться
3. Информация как субъективно переживаемая истина. Личностное развитие может вести к духовному/трансцендентному
- На разных этапах жизни у нас разные источники энергии
**
- По семейной терапии пишите мне - дам интро на волшебную Ольгу
а
- По личной терапии обращайтесь к Юле
Что понимал:
1) Зачем делают терапию
- Объяснение своих эмоций, реакций, страхов, агрессии, рост контакта с собой. Убирание телесных напряжений, всплесков, онемений
- Выявление личностных сценариев/проекций/способов получения любви от близких и от мира + причин откуда взялось, разделение своего и чужого
- Примирение, принятие, благодарность к родным и к миру
2) Почему она работает
- В нас могут быть глубоко вшиты автоматизмы, которые мы не выбирали. Это магия эволюции, комбинаторная игра Вселенной: она перебирает и наши гены, и семьи где мы росли, и мир где мы социализировались
- Себя оч. сложно увидеть извне, слепая зона, у психики тонна обманок и [ложных] рационализаций. Суть терапии - в отстраненности психолога от вас и внутреннего диалога. Плюс он знает механизмы (со всем знанием, накопленным цивилизацией) и с вами их обходит, раскапывает
- Сознание, эмоции и тело оч. связаны, эмоции объёмно “хранятся” в теле и это важно разбирать
3) Как выбрать терапевта
- Женщины-психологи в целом круче мужчин: гуманистичнее, теплее, гибче. Также, чаще доверие у всех выше с мамами, это биология
- Хороший психолог после учебы в институте (а на Западе еще и лицензирования) проходит регулярные супервизии, а также сам прошел много личной терапии -> не проецирует на вас свое. Не обсуждает других клиентов. Не обещает. Этичен
4) Как идет процесс
- Терапии, фундаментально, отличаются только степенью доступа в подсознание. Если психолог такое умеет и личностно проработан - ваш прогресс будет на глазах
- Западная школа психологии слишком тяготеет к рацио (в пределе аж КПТ) - что якобы все можно выразить словами/от ума и сознание первично
- Нужно формулировать запрос - психолог вас никуда не тащит. Но прикол в том, что подсознание знает куда нам надо
- Важно быть оч. открытым к новому, т.к. закрытость - это всего лишь защитные механизмы психики
- На сессиях может быть сложно/слезы/телесные ощущения итп, но это и есть индикатор, что удалось залезть в подсознание. И потом может несколько дней идти интеграция
Новые понимания:
Личная терапия
- Терапевтические отношения (регулярные встречи) с психологом сами по себе целебны - донабрать доверие, спокойствие, тепло, принятие
- Вещества не инструмент развития, а просто походы в иллюзорные реальности или [групповая] регрессия
- Я перестал делать Ошо-динамику, а затем и просто медитировать по мере прогресса в терапии. Тиль дошел до терапии, Равикант подступается, Маску - не надо =)
- Юнг еще 100 лет назад описал, что западным людям больше подходит диалог/исповедь, а медитации/интроспекция - это для восточной культуры
- Терапия растит нашу целостность, высвобождает энергию. Начинал с поиска спокойствия, но сместился в резонанс - радостнее и объёмнее взаимодействовать с миром
Если уже и дозреваешь, но все еще боишься терапии
- Люди могут улетать в духовную прокрастинацию
- Или может быть невыносимая тяга к т.н. эхо-камерам - это чаты/тусы/блоги, где просто люди со схожими механиками травм
- Также, люди могут декларировать, что якобы в терапии, а на самом деле нет
Групповая - не только идешь свой путь, но и видишь как у других - что схоже, а что по-разному
Семейная
- У личной терапии есть фишка - работаешь над собой, но отношения улучшаются с другими
- Семейная терапия сложнее в поиске психолога. Мы перебрали человек 7, включая уход через 15 мин и не сговариваясь от дядечки с сессиями по $400 - а мы на тот момент жили отдельно, эмоционально было крайне напряженно и вообще
Духовное
- Есть, по сути, всего 3 уровня глубины работы с собой:
1. Информация/книги/видео/практики итп - копишь знания
2. Работа с внешним наблюдателем/психологом. Нужно решиться
3. Информация как субъективно переживаемая истина. Личностное развитие может вести к духовному/трансцендентному
- На разных этапах жизни у нас разные источники энергии
**
- По семейной терапии пишите мне - дам интро на волшебную Ольгу
а
- По личной терапии обращайтесь к Юле
Там Степа Гершуни постил ссылку на видео чуть меньше часа, где Jake Sullivan (советник Байдена/Хиллари/итп по безопасности) выступал в National Defense University
Даже если демократы 6 ноября проиграют Трампу (пока все еще до конца непонятно), все эти инициативы останутся
AI доктрина США
- Хантим для нас таланты (разрабы, фаундеры, инженеры) упрощая визы, десятки млрд $ стимулов для производителей чипов (Chips and Science Act)
- Строим инфраструктуру clean energy, понимаем требуемые масштабы энергии которые потребуют AI датацентры - нужно для удержания нашего edge добавить десятки гигаватт в ближайшие годы (а лучше сотню гигаватт)
- Развиваем governance + мы успели зачекать модели которые пошли в продакшн по миру. Но наши враги в эпоху геополитической конкуренции (Китай растит R&D бюджет на 10%/год) могут быть быстрее и обогнать нас в оборонке и разведке, обрушить наши преимущества что мы копили десятки лет под водой или в космосе, и прочие стратегические сюрпризы
- Топ-фокус контрразведки - защита от атак/cybersecurity на наш частный сектор в AI. И мы потащим не самых типичных вендоров - топ-решения в AI и cloud от частных компаний на внедрение в national security сферах
- Нужно уметь тестить AI/создать для этого стандарты + делать его без bias’ов, чтобы за пределами США страны нам доверяли: и по safety/чтобы не было misuse, и опознавать по watermarks итп что люди с AI взаимодействуют. На 20 стран уже выкатили, а по military use 50 стран уже подписалось. В мае общались с Китаем. Это даст в тч ясность для частного сектора кто собрались по миру вложить сотни млрд $
- Мы продолжим ограничения Китаю на топ-чипы, впрочем, Китай фигачит свою экосистему и тк им плевать на privacy данных, она позволит им массовую слежку, цензуру и misinformation
- Нашу AI доктрину надо будет (как Эйзенхауер про нашу ядерную доктрину говорил) постоянно rethink и leadership, но мы справимся и конкуренцию в XXI в. выиграем
Q&A:
Иран: Они десятки лет через своих proxies дестабилизируют мир на Ближнем Востоке, боремся всеми мерами как можем + ядерное оружие им не допустим. А вообще может там народ выберут наконец себе другой режим..
Ускоренная адаптация: Мир показал, что сейчас оборонные технологии стали резко быстрее меняться/распространяться/адаптироваться, и это накладывает беспрецендентные вызовы на логистику итд итп
Фентанил: Год назад Байден и Цзиньпин встречались в SF, с тех пор Китай много проколлаборировал, двигаемся. И в целом - Китай в оборонке последние пару лет стал позволять встречи руководства, а лет 10 такого не было
Даже если демократы 6 ноября проиграют Трампу (пока все еще до конца непонятно), все эти инициативы останутся
AI доктрина США
- Хантим для нас таланты (разрабы, фаундеры, инженеры) упрощая визы, десятки млрд $ стимулов для производителей чипов (Chips and Science Act)
- Строим инфраструктуру clean energy, понимаем требуемые масштабы энергии которые потребуют AI датацентры - нужно для удержания нашего edge добавить десятки гигаватт в ближайшие годы (а лучше сотню гигаватт)
- Развиваем governance + мы успели зачекать модели которые пошли в продакшн по миру. Но наши враги в эпоху геополитической конкуренции (Китай растит R&D бюджет на 10%/год) могут быть быстрее и обогнать нас в оборонке и разведке, обрушить наши преимущества что мы копили десятки лет под водой или в космосе, и прочие стратегические сюрпризы
- Топ-фокус контрразведки - защита от атак/cybersecurity на наш частный сектор в AI. И мы потащим не самых типичных вендоров - топ-решения в AI и cloud от частных компаний на внедрение в national security сферах
- Нужно уметь тестить AI/создать для этого стандарты + делать его без bias’ов, чтобы за пределами США страны нам доверяли: и по safety/чтобы не было misuse, и опознавать по watermarks итп что люди с AI взаимодействуют. На 20 стран уже выкатили, а по military use 50 стран уже подписалось. В мае общались с Китаем. Это даст в тч ясность для частного сектора кто собрались по миру вложить сотни млрд $
- Мы продолжим ограничения Китаю на топ-чипы, впрочем, Китай фигачит свою экосистему и тк им плевать на privacy данных, она позволит им массовую слежку, цензуру и misinformation
- Нашу AI доктрину надо будет (как Эйзенхауер про нашу ядерную доктрину говорил) постоянно rethink и leadership, но мы справимся и конкуренцию в XXI в. выиграем
Q&A:
Иран: Они десятки лет через своих proxies дестабилизируют мир на Ближнем Востоке, боремся всеми мерами как можем + ядерное оружие им не допустим. А вообще может там народ выберут наконец себе другой режим..
Ускоренная адаптация: Мир показал, что сейчас оборонные технологии стали резко быстрее меняться/распространяться/адаптироваться, и это накладывает беспрецендентные вызовы на логистику итд итп
Фентанил: Год назад Байден и Цзиньпин встречались в SF, с тех пор Китай много проколлаборировал, двигаемся. И в целом - Китай в оборонке последние пару лет стал позволять встречи руководства, а лет 10 такого не было
7-ой ежегодный отчет State of AI 2024 от Nathan Benaich/Air Street VC. Он давно классно собирает big picture, аккуратен и оч бизнесовый
Часть 1:
Его термины: AI - любая intelligence не у людей/животных, AGI - что-то круче людей по всем когнитивным способностям по economically valuable tasks
Обзор делает его прогнозов 2023 года =)
- GenAI для VFX уровня Голливуда - угадали
- GenAI фирма попадет под следствие из-за выборов - мимо
- Self-improving агент побьет SoTA в каком-то окружении - пока не
- IPO оживут и будет big AI IPO - ждут конца 2024го ((
- Появится модель на $1 млрд тренинга - ждем еще годек )
- По AI governance будет мало прогресса - угадали
- Фининституты начнут давать кредиты на GPU вместо дорогих денег от VC - мимо
- AI песня попадет в топ чартов - да, Heart on My Sleeve
- Большая AI компания пойдет в чипы для inference - бигтехи давно, OpenAI - анонс дали
I. RESEARCH
- LLM догнали OpenAI (конвергенция состоялась, в тч llama3 догнала closed source models), но те релизнули o1 (в 3-4 раза дороже) - и терь все за planning и reasoning гонятся. И в нишах математики итп suprisingly strong results, но это, естественно, не опенсорс как в обычном софте, а рандомные раскрытия или нет весов, лицензий, данных итп
- Foundation models показывают что можно и в прочих НЕ языках создать value: math, биология, геномика, физика итп, нейронауки
- Как давно и предупреждали, утечки вопросов в тесты ставят вопросы о том, насколько вообще адекватен бенчмаркинг. RAG бенчмаркать пока не научились
- AlphaGeometry (symbolic deduction engine) от DeepMind сделала 25 из 30 задач олимпиадного уровня/уровеньь gold для людей
- LLM научились уменьшать в разы (в тч за счет квантизации, полезно на устройствах будет) без особых потерь в метриках. Карпаты говорит размеры моделей говорят о не эффективности подходов к обучению
- Трансформеры варьируют/hybrid models с attention, но хз куда вырулит. 74% моделей трансформеры + 22% RNN = 96%, 4% прочее
-Перспективы synthetic data для трансформеров сейчас не так оптимистичны как ранее. Вышел 15 трлн токенов датасет от hugging face (96 датасетов). Но data curation может снизить затраты на обучение (кажется это сделали Кай Фу Ли, не?)
- Опенсорсная Molmo от Allen Institute не хуже проприетарной gpt-4o
- Ну про Stable Video Diffusion все слышали ) А мета добавила в свою Movie Gen сетку еще и сразу озвучивание
- LLM сосут в simulations и planning. Все пробуют какие-то сочетания с RL
- Stable Diffusion стали осваивать пространственные ограничения 3d мира
- Все передовые лабы (стартапы + бигтехи) срезали масштабы публикации статей впервые за 7 лет, академия догнала. США 30%, Китай 22%, EU 23%
Биология
- AlphaFold вышла версия 3, получше, но уже не опенсорс. Baidu выдали HelixFold3, Chai-1 на деньги OpenAI итп. DeepMind вышли из стелса с AlphaProteo. Meta прибила EvolutionaryScale, но выходцы продолжили сами, выпустили ESM3 (sequences, structures and functions of proteins одновременно, не просто sequences)
- Бигфарма пробует запилить тест Polaris - benchmarking platform for AI-driven drug discovery (!)
- Пилится некая модель для fMRI/заход на BCI
Материалы
- Пилят трансформер по Materials Project Trajectory dataset - with millions of structures, energies, magnetic moments, forces, stresses
Роботы
- OpenAI вернулись к теме, а DeepMind лидеры с их AutoRT (VLM for environmental understanding + LLM to suggest a list of creative tasks the robot could carry out). HuggingFace добавили LeRobot
II. ИНДУСТРИЯ
- Nvidia выручка $30 млрд в квартал, AMD $6, Intel $12. Если в 2016ом вложиться в стартапы по чипам для ML (Groq, Cerebras итп), то было бы 5x, а Nvidia с тех пор 20x
- Все бигтехи и фигачат кластеры, связь внутри них, итп, и свои чипы начали пилить типа как гугл давно TPU - все устали от маржи Nvidia
- SoftBank когда-то экзитнул из своей инвестиции в Nvidia, а сейчас опять собирает пачку компаний (Arm, Graphcore) чтобы зачелленджить Nvidia
- Санкции США работают - Китай уже не 20% продаж Nvidia как раньше. Но обход санкций по GPU тоже наладили
Часть 2 тут
Часть 1:
Его термины: AI - любая intelligence не у людей/животных, AGI - что-то круче людей по всем когнитивным способностям по economically valuable tasks
Обзор делает его прогнозов 2023 года =)
- GenAI для VFX уровня Голливуда - угадали
- GenAI фирма попадет под следствие из-за выборов - мимо
- Self-improving агент побьет SoTA в каком-то окружении - пока не
- IPO оживут и будет big AI IPO - ждут конца 2024го ((
- Появится модель на $1 млрд тренинга - ждем еще годек )
- По AI governance будет мало прогресса - угадали
- Фининституты начнут давать кредиты на GPU вместо дорогих денег от VC - мимо
- AI песня попадет в топ чартов - да, Heart on My Sleeve
- Большая AI компания пойдет в чипы для inference - бигтехи давно, OpenAI - анонс дали
I. RESEARCH
- LLM догнали OpenAI (конвергенция состоялась, в тч llama3 догнала closed source models), но те релизнули o1 (в 3-4 раза дороже) - и терь все за planning и reasoning гонятся. И в нишах математики итп suprisingly strong results, но это, естественно, не опенсорс как в обычном софте, а рандомные раскрытия или нет весов, лицензий, данных итп
- Foundation models показывают что можно и в прочих НЕ языках создать value: math, биология, геномика, физика итп, нейронауки
- Как давно и предупреждали, утечки вопросов в тесты ставят вопросы о том, насколько вообще адекватен бенчмаркинг. RAG бенчмаркать пока не научились
- AlphaGeometry (symbolic deduction engine) от DeepMind сделала 25 из 30 задач олимпиадного уровня/уровеньь gold для людей
- LLM научились уменьшать в разы (в тч за счет квантизации, полезно на устройствах будет) без особых потерь в метриках. Карпаты говорит размеры моделей говорят о не эффективности подходов к обучению
- Трансформеры варьируют/hybrid models с attention, но хз куда вырулит. 74% моделей трансформеры + 22% RNN = 96%, 4% прочее
-Перспективы synthetic data для трансформеров сейчас не так оптимистичны как ранее. Вышел 15 трлн токенов датасет от hugging face (96 датасетов). Но data curation может снизить затраты на обучение (кажется это сделали Кай Фу Ли, не?)
- Опенсорсная Molmo от Allen Institute не хуже проприетарной gpt-4o
- Ну про Stable Video Diffusion все слышали ) А мета добавила в свою Movie Gen сетку еще и сразу озвучивание
- LLM сосут в simulations и planning. Все пробуют какие-то сочетания с RL
- Stable Diffusion стали осваивать пространственные ограничения 3d мира
- Все передовые лабы (стартапы + бигтехи) срезали масштабы публикации статей впервые за 7 лет, академия догнала. США 30%, Китай 22%, EU 23%
Биология
- AlphaFold вышла версия 3, получше, но уже не опенсорс. Baidu выдали HelixFold3, Chai-1 на деньги OpenAI итп. DeepMind вышли из стелса с AlphaProteo. Meta прибила EvolutionaryScale, но выходцы продолжили сами, выпустили ESM3 (sequences, structures and functions of proteins одновременно, не просто sequences)
- Бигфарма пробует запилить тест Polaris - benchmarking platform for AI-driven drug discovery (!)
- Пилится некая модель для fMRI/заход на BCI
Материалы
- Пилят трансформер по Materials Project Trajectory dataset - with millions of structures, energies, magnetic moments, forces, stresses
Роботы
- OpenAI вернулись к теме, а DeepMind лидеры с их AutoRT (VLM for environmental understanding + LLM to suggest a list of creative tasks the robot could carry out). HuggingFace добавили LeRobot
II. ИНДУСТРИЯ
- Nvidia выручка $30 млрд в квартал, AMD $6, Intel $12. Если в 2016ом вложиться в стартапы по чипам для ML (Groq, Cerebras итп), то было бы 5x, а Nvidia с тех пор 20x
- Все бигтехи и фигачат кластеры, связь внутри них, итп, и свои чипы начали пилить типа как гугл давно TPU - все устали от маржи Nvidia
- SoftBank когда-то экзитнул из своей инвестиции в Nvidia, а сейчас опять собирает пачку компаний (Arm, Graphcore) чтобы зачелленджить Nvidia
- Санкции США работают - Китай уже не 20% продаж Nvidia как раньше. Но обход санкций по GPU тоже наладили
Часть 2 тут
Progresspunks
7-ой ежегодный отчет State of AI 2024 от Nathan Benaich/Air Street VC. Он давно классно собирает big picture, аккуратен и оч бизнесовый Часть 1: Его термины: AI - любая intelligence не у людей/животных, AGI - что-то круче людей по всем когнитивным способностям…
State of AI 2024 от N.Benaich, часть 2, а ч. 1 тут
II. ИНДУСТРИЯ
- Databricks и Snowflake свои LLM сделали для in-house use by enterprises. Цены LLM по API упали за год в 100x у OpenAI и 60x у Anthropic, но все бигтехи мечтают о продуктизации. Mistral пока не догнала амерские AI labs
- Антимонопольщики начали поглядывать на связи OpenAI/MSFT и Anthropic с Amazon & Google + делать fake acquistions (типа Adept/David Luan или Inflection/Мустафа Сулейман)
- Конкуренты Github Copilot подняли $1.5 млрд. Узкие tools/frameworks не успевают раскрутиться, а их уже как фичи влепили hyperscalers (e.g. векторные БД). Но AI search (Perplexity) вроде что-то нащупывает
- По копирайтам пока непонятно, но OpenAI и Nvidia давно напарсили миллионы Youtube видео. Суды оч. сужают требования авторов, будем ждать итоги
Self-driving: растят города для тестовых поездок
Гуманоиодные роботы: Figure, Sanctuary, 1X подняли $1 млрд в тч от бигтехов
- Из главных лаб шли уходы людей пилить свои стартапы, но сложно (H подняли $220 млн и сходу распались - Тиль прав?)
- Text2speech рулит (ElevenLabs). AI-first продукты начали показывать stickiness в enterprises (GPT, Grammarly, Anthropic, Midjourney, Otter). У юристов genAI проникает. Что будет в speech2speech?
- В видео 3 стартапа борются с OpenAI: Runway, Pika, Luma, подняли $500 млн
- Инвестиции в AI в 2024: $85 млрд (из них 2/3 genAI, а по гео - $56 млрд US и $8 в Китае). 70% пошло на раунды свыше $250 млн, т.е. в 50 компаний из тысяч стартапов. Для VС-funded AI стартапов сектора больше в robotics, enterprise software, space, security
- Частных AI фирм на $2.2 трлн капитализации, а публичных на $6.7 трлн (там $3 трлн Nvidia?), в 2020 в 3x меньше.
- IPO рынок мертв 3ий год
III. ПОЛИТИКА
- EU AI Act приняли в оч жесткой версии, бигтехи в тч Apple, Claude итп не сразу выкатывают в EU свои AI продукты. UK вырабатывает регуляции. Китай требует отправлять результаты тестов на десятки тыс вопросов для принятия решения о разрешении какой-либо модели
- Санкции США растут дальше, но не затормозили LLM Китая (в тч опенсорс DeepSeek, 01.AI Кай Фу Ли, Zhipu AI, Alibaba) и у них есть фанаты по миру. CHIPS Act сработал, первый завод TSMC в US начинает работу
- GPU кластеры бигтехов в десятки раз больше чем в универах и у властей
- Бигтехи в США уткнулись в физические ограничения скорости ввода электрогенерации: Meta хочет датацентр на 1 гигаватт, а msft/openAI суперкомп за $100 млрд и 5 гигаватт энергии (1 блок АЭС ~1 гигаватт)
- Anduril идет в автономию для оборонки, в EU тоже есть игроки
- Идут дискуссии как AI повляет на мировую экономику
IV. БЕЗОПАСНОСТЬ
- От уничтожения человечества разворот к “а как нам увеличить выручку от enterprises?” =). Но Sutskever итп ушли делать свой, "более безопасный AI" =)
- В UK власти сделали AI Safety Institute (AISI) - это наследие effective altruists? =))) Изучать риски хаков, jailbraking, биотерроризма. Прочие страны стали копировать подходы UK и сетапить рисеч институты о безопасности своих инфраструктур
- Проблемы нестабильности genAI моделей остаются, что резко тормозит их применение в реальном мире. RLHF пока сфера рисеча, непонятно. Улучшение LLM за счет LLM тоже пока зона неизвестного
- Anthropic стали юзать sparse autoencoders в попытках добавить interpretabilty LLM. Это полезно для выявления harmless prompts, но и одновременно злонамеренные акторы получают инструменты для атак
V. Прогнозы на 2025ый
1. $10 млрд госинвестиция из-за рубежа в какую-то из US AI labs потребует одобрения от national security
2. Кто-то не умеющий прогать сделает топ100 апп
3. Лабы начнут улучшать практики сбора данных по мере судов
4. EU AI Act смягчат тк поймут что перегнули
5. Запилят опенсорс версию o1 (агент, RL) которая побьет OpenAI
6. Nvidia пока останется на коне
7. Инвестиции в человекоподобные роботы снизятся тк у компаний будут сложности с product-market fit
8. Apple своими рисечами вдохновит других на индивидуальные AI девайсы
9. Статья от AI scientist попадет на топ конфу
10. Выстрелит игра про интеракцию с genAI элементами
II. ИНДУСТРИЯ
- Databricks и Snowflake свои LLM сделали для in-house use by enterprises. Цены LLM по API упали за год в 100x у OpenAI и 60x у Anthropic, но все бигтехи мечтают о продуктизации. Mistral пока не догнала амерские AI labs
- Антимонопольщики начали поглядывать на связи OpenAI/MSFT и Anthropic с Amazon & Google + делать fake acquistions (типа Adept/David Luan или Inflection/Мустафа Сулейман)
- Конкуренты Github Copilot подняли $1.5 млрд. Узкие tools/frameworks не успевают раскрутиться, а их уже как фичи влепили hyperscalers (e.g. векторные БД). Но AI search (Perplexity) вроде что-то нащупывает
- По копирайтам пока непонятно, но OpenAI и Nvidia давно напарсили миллионы Youtube видео. Суды оч. сужают требования авторов, будем ждать итоги
Self-driving: растят города для тестовых поездок
Гуманоиодные роботы: Figure, Sanctuary, 1X подняли $1 млрд в тч от бигтехов
- Из главных лаб шли уходы людей пилить свои стартапы, но сложно (H подняли $220 млн и сходу распались - Тиль прав?)
- Text2speech рулит (ElevenLabs). AI-first продукты начали показывать stickiness в enterprises (GPT, Grammarly, Anthropic, Midjourney, Otter). У юристов genAI проникает. Что будет в speech2speech?
- В видео 3 стартапа борются с OpenAI: Runway, Pika, Luma, подняли $500 млн
- Инвестиции в AI в 2024: $85 млрд (из них 2/3 genAI, а по гео - $56 млрд US и $8 в Китае). 70% пошло на раунды свыше $250 млн, т.е. в 50 компаний из тысяч стартапов. Для VС-funded AI стартапов сектора больше в robotics, enterprise software, space, security
- Частных AI фирм на $2.2 трлн капитализации, а публичных на $6.7 трлн (там $3 трлн Nvidia?), в 2020 в 3x меньше.
- IPO рынок мертв 3ий год
III. ПОЛИТИКА
- EU AI Act приняли в оч жесткой версии, бигтехи в тч Apple, Claude итп не сразу выкатывают в EU свои AI продукты. UK вырабатывает регуляции. Китай требует отправлять результаты тестов на десятки тыс вопросов для принятия решения о разрешении какой-либо модели
- Санкции США растут дальше, но не затормозили LLM Китая (в тч опенсорс DeepSeek, 01.AI Кай Фу Ли, Zhipu AI, Alibaba) и у них есть фанаты по миру. CHIPS Act сработал, первый завод TSMC в US начинает работу
- GPU кластеры бигтехов в десятки раз больше чем в универах и у властей
- Бигтехи в США уткнулись в физические ограничения скорости ввода электрогенерации: Meta хочет датацентр на 1 гигаватт, а msft/openAI суперкомп за $100 млрд и 5 гигаватт энергии (1 блок АЭС ~1 гигаватт)
- Anduril идет в автономию для оборонки, в EU тоже есть игроки
- Идут дискуссии как AI повляет на мировую экономику
IV. БЕЗОПАСНОСТЬ
- От уничтожения человечества разворот к “а как нам увеличить выручку от enterprises?” =). Но Sutskever итп ушли делать свой, "более безопасный AI" =)
- В UK власти сделали AI Safety Institute (AISI) - это наследие effective altruists? =))) Изучать риски хаков, jailbraking, биотерроризма. Прочие страны стали копировать подходы UK и сетапить рисеч институты о безопасности своих инфраструктур
- Проблемы нестабильности genAI моделей остаются, что резко тормозит их применение в реальном мире. RLHF пока сфера рисеча, непонятно. Улучшение LLM за счет LLM тоже пока зона неизвестного
- Anthropic стали юзать sparse autoencoders в попытках добавить interpretabilty LLM. Это полезно для выявления harmless prompts, но и одновременно злонамеренные акторы получают инструменты для атак
V. Прогнозы на 2025ый
1. $10 млрд госинвестиция из-за рубежа в какую-то из US AI labs потребует одобрения от national security
2. Кто-то не умеющий прогать сделает топ100 апп
3. Лабы начнут улучшать практики сбора данных по мере судов
4. EU AI Act смягчат тк поймут что перегнули
5. Запилят опенсорс версию o1 (агент, RL) которая побьет OpenAI
6. Nvidia пока останется на коне
7. Инвестиции в человекоподобные роботы снизятся тк у компаний будут сложности с product-market fit
8. Apple своими рисечами вдохновит других на индивидуальные AI девайсы
9. Статья от AI scientist попадет на топ конфу
10. Выстрелит игра про интеракцию с genAI элементами
Peter Thiel летом 1 час общался с подкастерами про мир, Китай, итп. Не пойму - он мрачный или реалист?
Мир через 20 лет
- Хз, людям оч сложно отвечать про будущее. Уже лет 15 говорю что с 70ых стагнируем всюду кроме компов. И сложно обсуждать, тк живем в поздний модерн, где все узко специализируются. А многие естественные науки стали коррумпированы, политика, бюрократия - и люди избегают риска и смелых идей
- Закредитованность стран растет, уровень жизни нет, но ведь занимать у будущего можно если ждем рост? А это уже не так. В госинститутах регуляции, стагнация, деменция..
Смелость vs. гениальность
- В Долине/Гугле любят IQ тесты при найме, но эти люди почему-то не креативны и не impactful в прочих вещах. В академии тоже больше нет междисциплинарных эксцентриков, хотя да, IQ высок.. Смелые не идут - им там не проявиться
- Я НЕ pro-asperger. Нейроатипичность в Долине переоценена, быть на спектре bad, разве чуть-чуть. Да просто всего лишь некая доля людей [правильно] идет против явных перегибов в обществе/вокизма
AI
- Повлияет на мир как инет в 1999, но конкуренция чет совсем, лучше ресторан открыть, будет совсем как в дикой природе. Нужна уникальность. Но все равно флуктуации: Amazon в 2001 котировки рухнули, аж в 2009 вернулись на уровень 1999г, с тех пор 25x сделали
- AI будет как компы, как все со времен промышленной революции. Остается сложный вопрос редистрибуции - не захапают ли все несколько корпораций
- Я на противоположном полюсе от AI-doomers и прочих effective altruists - пусть они сперва между собой разберутся, что опаснее - AI или климат =)
Мировое правительство
- Во всех existential risks есть 3 типа людей: кто искренне верят, полезные идиоты и коррупционеры. Если вдруг допустить их precautionary principle и что AI опасен, то миру нужно оч суровое мировое правительство, строже чем против атома
- Миру не нужно единое правительство, оно же выйдет тогда оч тоталитарным, бюрократичным, с высокими налогами. EU тоже начинали с хорошего, и какой бюрократией все окончилось?
США
- Что делать с дефицитом бюджет - непонятно. Бессрочно растить долг? Левые бы хотели рост налогов. Я либертарианец, нужно дерегуляции, см в окно: ни одного небоскреба в LA сейчас не строят - как это возможно?
- Может, винить соцсети за все плохое - это просто scapegoating? А вина на образовании..
- Кстати, вирус вокизма выстрелил именно по соцсетям, а в эпоху ТВ не было..
Мир
- До 1950ых был развитой мир + третий. Глобализация все превратила в развитой + развивающиеся
Ислам
- В 1930ых в EU было 10 млн евреев и 5 млн мусульман (Балканы), сейчас 2 млн и 50 млн. EU слишком рыцарски: “наши институты работают, они станут либеральными и продуктивными людьми”
- Ближний Восток - отвлекались за 20 лет на Ирак, а фокус Запада нужен на Иран. Если получат ядерное оружие, вспыхнет регион? В 1949 СССР сделал атомную бомбу и через год началась Корея. В 1964 Китай и через год - Вьетнам. И US уже не могли сильно ударить по СССР и Китаю..
Коммунизм
- Обычно когда вырос новый лидер - конфликт. Запад оптимистично смотрел на восход Китая, а лидеры Китая - нет, ждут стычки. Что может вести к конфликту на Тайване или к разъединению с Западом
- Мы их долго недооценивали. Еще с 1989: берлинская стена рухнула, но на Тянаньмень погибли люди и США закрыли на это глаза (B.Scorcroft ездил: “вы же с нами против СССР?”). С Китаем стали торговать, приняли в ВТО итп. Если бы такое консьюмерское отношение было, UK потеряли бы отрасль кораблей и сейчас не защищали бы Тайвань
- Ошибка фантазий Фукуямы о конце истории затянулась аж до первого президентства Трампа. Нам нужно больше реализма в том, насколько мы расходимся с их тоталитарностью. Китай видит себя next America, т.е. доминантой в мире, сложный setup..
Тайвань
- Думаю к войне мы не готовы, а будет экстремальное размежевание (Китай уже неск. лет запасает еду, нефть итп)
- Да, Запад связан с Китаем в 100x больше чем были РФ и Германия/Nord Stream 1,2, но ничего не значит, а немцы вот погрузились в вопросы энергетики..
- Шире: Китай всюду в мире мобилизует развивающиеся страны против развитого мира
Мир через 20 лет
- Хз, людям оч сложно отвечать про будущее. Уже лет 15 говорю что с 70ых стагнируем всюду кроме компов. И сложно обсуждать, тк живем в поздний модерн, где все узко специализируются. А многие естественные науки стали коррумпированы, политика, бюрократия - и люди избегают риска и смелых идей
- Закредитованность стран растет, уровень жизни нет, но ведь занимать у будущего можно если ждем рост? А это уже не так. В госинститутах регуляции, стагнация, деменция..
Смелость vs. гениальность
- В Долине/Гугле любят IQ тесты при найме, но эти люди почему-то не креативны и не impactful в прочих вещах. В академии тоже больше нет междисциплинарных эксцентриков, хотя да, IQ высок.. Смелые не идут - им там не проявиться
- Я НЕ pro-asperger. Нейроатипичность в Долине переоценена, быть на спектре bad, разве чуть-чуть. Да просто всего лишь некая доля людей [правильно] идет против явных перегибов в обществе/вокизма
AI
- Повлияет на мир как инет в 1999, но конкуренция чет совсем, лучше ресторан открыть, будет совсем как в дикой природе. Нужна уникальность. Но все равно флуктуации: Amazon в 2001 котировки рухнули, аж в 2009 вернулись на уровень 1999г, с тех пор 25x сделали
- AI будет как компы, как все со времен промышленной революции. Остается сложный вопрос редистрибуции - не захапают ли все несколько корпораций
- Я на противоположном полюсе от AI-doomers и прочих effective altruists - пусть они сперва между собой разберутся, что опаснее - AI или климат =)
Мировое правительство
- Во всех existential risks есть 3 типа людей: кто искренне верят, полезные идиоты и коррупционеры. Если вдруг допустить их precautionary principle и что AI опасен, то миру нужно оч суровое мировое правительство, строже чем против атома
- Миру не нужно единое правительство, оно же выйдет тогда оч тоталитарным, бюрократичным, с высокими налогами. EU тоже начинали с хорошего, и какой бюрократией все окончилось?
США
- Что делать с дефицитом бюджет - непонятно. Бессрочно растить долг? Левые бы хотели рост налогов. Я либертарианец, нужно дерегуляции, см в окно: ни одного небоскреба в LA сейчас не строят - как это возможно?
- Может, винить соцсети за все плохое - это просто scapegoating? А вина на образовании..
- Кстати, вирус вокизма выстрелил именно по соцсетям, а в эпоху ТВ не было..
Мир
- До 1950ых был развитой мир + третий. Глобализация все превратила в развитой + развивающиеся
Ислам
- В 1930ых в EU было 10 млн евреев и 5 млн мусульман (Балканы), сейчас 2 млн и 50 млн. EU слишком рыцарски: “наши институты работают, они станут либеральными и продуктивными людьми”
- Ближний Восток - отвлекались за 20 лет на Ирак, а фокус Запада нужен на Иран. Если получат ядерное оружие, вспыхнет регион? В 1949 СССР сделал атомную бомбу и через год началась Корея. В 1964 Китай и через год - Вьетнам. И US уже не могли сильно ударить по СССР и Китаю..
Коммунизм
- Обычно когда вырос новый лидер - конфликт. Запад оптимистично смотрел на восход Китая, а лидеры Китая - нет, ждут стычки. Что может вести к конфликту на Тайване или к разъединению с Западом
- Мы их долго недооценивали. Еще с 1989: берлинская стена рухнула, но на Тянаньмень погибли люди и США закрыли на это глаза (B.Scorcroft ездил: “вы же с нами против СССР?”). С Китаем стали торговать, приняли в ВТО итп. Если бы такое консьюмерское отношение было, UK потеряли бы отрасль кораблей и сейчас не защищали бы Тайвань
- Ошибка фантазий Фукуямы о конце истории затянулась аж до первого президентства Трампа. Нам нужно больше реализма в том, насколько мы расходимся с их тоталитарностью. Китай видит себя next America, т.е. доминантой в мире, сложный setup..
Тайвань
- Думаю к войне мы не готовы, а будет экстремальное размежевание (Китай уже неск. лет запасает еду, нефть итп)
- Да, Запад связан с Китаем в 100x больше чем были РФ и Германия/Nord Stream 1,2, но ничего не значит, а немцы вот погрузились в вопросы энергетики..
- Шире: Китай всюду в мире мобилизует развивающиеся страны против развитого мира
Wow, there is a recent “Metascience 101” podcast, a crash course in the debates + issues + ideas of the modern metascience movement in the USA
Metascience = science on science: how to manage, improve, optimize scientific process. IFP did many inside talks & now go public. There were 9 episodes, that's summary of Episode 1: Introduction:
Who
- Caleb Watney, co-founder of Institute for Progress (by Erik Schmidt, to compete with rise of China) - 40 ppl think tank on innovation policy in Washington, lobby simplified high skill immigration + deregulate infra construction + metascience
- Dylan Matthews, journalist at VOX
- Heidi Williams, economist/NBER
Science is important
- U.S. federal gov is the world’s largest funder of basic research, thus impacts entire humankind. National Science Foundation (NSF) grants $10 bln/year (and 3x more by uniiversities) + National Institute of Health (NIH) for applied biomedical R&D $45 bln/year
- Private sector also, but they under-provide research relative to the level that we might want as a society, thus we try to incentivize by R&D tax credit, by patents (yet lots of basic research isn't even patentable). Intricate scheme
- We should spend a lot more
Pharma
- If a drug discovered today, published in Nature, it can be 12-16 years before sales - trials to show safety & efficacy. Statistical tests show if we had a tech with shorter clinical trials, we would get more innovation (e.g. cancer drugs will save more lives)
From PhD to independence
- We're lucky that lots of foreign students want to come to U.S. universities/seen as a premier research environment. After PhD you become postdoc (often complicated for internationals cause limited for certain types), apply for grants for your lab (may take 6 months for NSF, 18 months for NIH) so you plan a lot/salaries of ppl in your lab
- Lengthening of trainings
- You fundraise your salary in addition to research costs, so people look what funders are interested in, and not on own best ideas
- Historically, scientists were funded by patronage so they could work on own directions. For project-based grants it can be very hard to pivot research from one way to another
Team science
- Ben Jones: structures we use to fund science are static last 100 years, despite rise of team science (pic 1900-2010), one of the most important changes in our lifetime, Einstein solo couple of summers vs. Large Hadron Collider
- Nobel Prize is a very individual recognition, how we evaluate people's work is not for team science, such disconnect
Immigration
- USA 4% of the global population. To be a scientific superpower we need maximize agglomeration effects - a bunch of really smart ppl together are more productive, enormous returns
- Bohr/Denmark, Rutherford/New Zealand etc.
Solutions to improve funding
- Scientists submit proposals for promising avenues, create a budget (rough), then a panel of peers grade across a number of dimensions: promising? social impact? probability? enough ppl's track record? So, the average opinion of peers for grant funding agencies
- Consensus-oriented review processes might bias against high-risk, high-reward research
Experiments
- Hughes Medical Institute or Arc Institute - person-based funding, lots of freedom
- ’Fast grant’-style programs, like Patrick Collison and Tyler Cowen did with two-week/two-day turnarounds in the pandemics
- Like DARPA (Defense Advanced Research Projects Agency) - now ARPA-E for energy, ARPA-H for health. To give a really wide scope & autonomy to particular program managers who can then try to push grants or technologists & engineers to work on a very specific problem. Portfolio approach
Doing metascience
- In 10 years via systematic studies to build evidence and get metrics, iteratively, for different funding mechanisms. Learn what works, address specific problems, A/B tests like in biz
- Basically, apply core scientific approach to the institutions that fund and incentivize science
Metascience = science on science: how to manage, improve, optimize scientific process. IFP did many inside talks & now go public. There were 9 episodes, that's summary of Episode 1: Introduction:
Who
- Caleb Watney, co-founder of Institute for Progress (by Erik Schmidt, to compete with rise of China) - 40 ppl think tank on innovation policy in Washington, lobby simplified high skill immigration + deregulate infra construction + metascience
- Dylan Matthews, journalist at VOX
- Heidi Williams, economist/NBER
Science is important
- U.S. federal gov is the world’s largest funder of basic research, thus impacts entire humankind. National Science Foundation (NSF) grants $10 bln/year (and 3x more by uniiversities) + National Institute of Health (NIH) for applied biomedical R&D $45 bln/year
- Private sector also, but they under-provide research relative to the level that we might want as a society, thus we try to incentivize by R&D tax credit, by patents (yet lots of basic research isn't even patentable). Intricate scheme
- We should spend a lot more
Pharma
- If a drug discovered today, published in Nature, it can be 12-16 years before sales - trials to show safety & efficacy. Statistical tests show if we had a tech with shorter clinical trials, we would get more innovation (e.g. cancer drugs will save more lives)
From PhD to independence
- We're lucky that lots of foreign students want to come to U.S. universities/seen as a premier research environment. After PhD you become postdoc (often complicated for internationals cause limited for certain types), apply for grants for your lab (may take 6 months for NSF, 18 months for NIH) so you plan a lot/salaries of ppl in your lab
- Lengthening of trainings
- You fundraise your salary in addition to research costs, so people look what funders are interested in, and not on own best ideas
- Historically, scientists were funded by patronage so they could work on own directions. For project-based grants it can be very hard to pivot research from one way to another
Team science
- Ben Jones: structures we use to fund science are static last 100 years, despite rise of team science (pic 1900-2010), one of the most important changes in our lifetime, Einstein solo couple of summers vs. Large Hadron Collider
- Nobel Prize is a very individual recognition, how we evaluate people's work is not for team science, such disconnect
Immigration
- USA 4% of the global population. To be a scientific superpower we need maximize agglomeration effects - a bunch of really smart ppl together are more productive, enormous returns
- Bohr/Denmark, Rutherford/New Zealand etc.
Solutions to improve funding
- Scientists submit proposals for promising avenues, create a budget (rough), then a panel of peers grade across a number of dimensions: promising? social impact? probability? enough ppl's track record? So, the average opinion of peers for grant funding agencies
- Consensus-oriented review processes might bias against high-risk, high-reward research
Experiments
- Hughes Medical Institute or Arc Institute - person-based funding, lots of freedom
- ’Fast grant’-style programs, like Patrick Collison and Tyler Cowen did with two-week/two-day turnarounds in the pandemics
- Like DARPA (Defense Advanced Research Projects Agency) - now ARPA-E for energy, ARPA-H for health. To give a really wide scope & autonomy to particular program managers who can then try to push grants or technologists & engineers to work on a very specific problem. Portfolio approach
Doing metascience
- In 10 years via systematic studies to build evidence and get metrics, iteratively, for different funding mechanisms. Learn what works, address specific problems, A/B tests like in biz
- Basically, apply core scientific approach to the institutions that fund and incentivize science
19 ноября (вторник) начнем следующую группу Soulmates Recharge
Группа для людей, кто чувствует флуктуации в своем уровне энергии, сомневается в избранном пути, кто нуждается чтобы реальность словно правильным образом встряхнула/растормошила
Для ныряния на свое эмоциональное дно, пересборки набора лего своей души чуть иначе, и возврата в живое, активное, целеустремленное состояние
Для кого:
- Кто [якобы] не вывозит, переживает, злится, выгорает
- Страхи про будущее, тревоги про [якобы] упущенное
- Потеря смыслов и ориентиров, перепады настроения от хорошего до апатии
- Сложности в эмиграции или с кругом общения
5 созвонов в zoom раз в неделю по 2 часа
Подробности: https://bit.ly/3UOruei
Для участия писать Юле в тг @julisache
Группа для людей, кто чувствует флуктуации в своем уровне энергии, сомневается в избранном пути, кто нуждается чтобы реальность словно правильным образом встряхнула/растормошила
Для ныряния на свое эмоциональное дно, пересборки набора лего своей души чуть иначе, и возврата в живое, активное, целеустремленное состояние
Для кого:
- Кто [якобы] не вывозит, переживает, злится, выгорает
- Страхи про будущее, тревоги про [якобы] упущенное
- Потеря смыслов и ориентиров, перепады настроения от хорошего до апатии
- Сложности в эмиграции или с кругом общения
5 созвонов в zoom раз в неделю по 2 часа
Подробности: https://bit.ly/3UOruei
Для участия писать Юле в тг @julisache