С вероятностью >95% риск значительный.
Британская разведка оценила риски ГенИИ до 2025.
Только что опубликованный отчет построен на Probability Yardstick - используемый разведкой набор критериев оценки вероятностей.
Полученное резюме таково:
✔️ Генеративный ИИ (ГенИИ) почти наверняка станет усилителем рисков физической и информационной безопасности из-за распространения и усиления возможностей субъектов угроз и увеличения скорости, масштаба и изощренности атак. Совокупный риск является значительным.
✔️ Правительства весьма вероятно не будут иметь полного представления о прогрессе частного сектора, что ограничит их способность снижать риски. Мониторинг внедрения ГенИИ технологий будет сложен. Поэтому технологические неожиданности почти наверняка породят непредвиденные риски.
✔️ Гонка ГенИИ почти наверняка усилится. Не ясно, станет ли ГенИИ шагом к AGI. Но он откроет новые пути прогресса в широком спектре областей. К 2025 году существует реальная вероятность того, что ГенИИ ускорит развитие квантовых вычислений, новых материалов, телекоммуникации и биотехнологий. Но увеличение рисков, связанных с этим, вероятно, проявится после 2025.
В контексте яростных споров техно-оптимистов и алармистов по поводу рисков ГенИИ, этот вердикт британской разведки напомнил мне анекдот с окончанием "пришел лесник и всех выгнал".
#РискиИИ #ИИгонка #Вызовы21века
Британская разведка оценила риски ГенИИ до 2025.
Только что опубликованный отчет построен на Probability Yardstick - используемый разведкой набор критериев оценки вероятностей.
Полученное резюме таково:
✔️ Генеративный ИИ (ГенИИ) почти наверняка станет усилителем рисков физической и информационной безопасности из-за распространения и усиления возможностей субъектов угроз и увеличения скорости, масштаба и изощренности атак. Совокупный риск является значительным.
✔️ Правительства весьма вероятно не будут иметь полного представления о прогрессе частного сектора, что ограничит их способность снижать риски. Мониторинг внедрения ГенИИ технологий будет сложен. Поэтому технологические неожиданности почти наверняка породят непредвиденные риски.
✔️ Гонка ГенИИ почти наверняка усилится. Не ясно, станет ли ГенИИ шагом к AGI. Но он откроет новые пути прогресса в широком спектре областей. К 2025 году существует реальная вероятность того, что ГенИИ ускорит развитие квантовых вычислений, новых материалов, телекоммуникации и биотехнологий. Но увеличение рисков, связанных с этим, вероятно, проявится после 2025.
В контексте яростных споров техно-оптимистов и алармистов по поводу рисков ГенИИ, этот вердикт британской разведки напомнил мне анекдот с окончанием "пришел лесник и всех выгнал".
#РискиИИ #ИИгонка #Вызовы21века
Китайский генеративный ИИ вырывается вперед.
Он уже способен обобщать романы, размером с «Анну Каренину» (хотя пока не дотягивает до «Войны и мира»)
Споры о понимании больших сложных текстов моделями генеративного ИИ легко разрешаются на практике. Достаточно попросить модель обобщить какой-либо из больших сложных текстов, который вы загрузите в неё. И сравнить результат с обобщением, сделанным вами самостоятельно, используя исключительно ваш собственный интеллект.
Главное ограничение современных моделей при решении таких задач – размер текста, который ей нужно обобщить.
Дело в том, что понимание текста определяется не только самим текстом – содержащихся в нем отдельных слов и фраз, - но и из контекста, в котором эти слова и фразы используются. И если интеллект (искусственный или человеческий) не может при обобщении сопоставить написанное на 1й и на 300й страницах текста, то хорошего обобщения не получится.
Люди так могут. Наше «контекстное окно» огромно. Мы можем прочесть 10 томов эпопеи «Красное колесо» Солженицына и обобщить их всего на одной странице.
Однако, даже самая продвинутая из американских моделей Claude 2 от Anthropic имеет «контекстное окно» размером 100 тыс токенов – это примерно 75 тыс слов. Следовательно, обобщить текст размером с роман Толстого «Анна Каренина» она не в состоянии.
А вот объявленная вчера новая большая языковая модель Baichuan2-192k от китайского стартапа Baichuan имеет «контекстное окно» около 350 тыс иероглифов. И это, примерно равно длине перевода романа «Анна Каренина» на китайский.
До размеров «Войны и мира» (на китайском это, примерно, 560 тыс иероглифов) модель пока не дотягивает. Но, тем не менее, Anthropic и OpenAI, не говоря уж о Google и Microsoft, наверняка, крепко озадачились. Ведь если и дальше так пойдет, смогут ли экспортные ограничения на микрочипы сдержать спурт китайских стартапов?
Может статься ведь, что не «железом» единым куется победа в гонке генеративного ИИ.
Подробней https://www.scmp.com/tech/tech-trends/article/3239849/chinese-ai-start-baichuan-claims-beat-anthropic-openai-model-can-process-350000-chinese-characters
#LLM #ИИгонка #Китай
Он уже способен обобщать романы, размером с «Анну Каренину» (хотя пока не дотягивает до «Войны и мира»)
Споры о понимании больших сложных текстов моделями генеративного ИИ легко разрешаются на практике. Достаточно попросить модель обобщить какой-либо из больших сложных текстов, который вы загрузите в неё. И сравнить результат с обобщением, сделанным вами самостоятельно, используя исключительно ваш собственный интеллект.
Главное ограничение современных моделей при решении таких задач – размер текста, который ей нужно обобщить.
Дело в том, что понимание текста определяется не только самим текстом – содержащихся в нем отдельных слов и фраз, - но и из контекста, в котором эти слова и фразы используются. И если интеллект (искусственный или человеческий) не может при обобщении сопоставить написанное на 1й и на 300й страницах текста, то хорошего обобщения не получится.
Люди так могут. Наше «контекстное окно» огромно. Мы можем прочесть 10 томов эпопеи «Красное колесо» Солженицына и обобщить их всего на одной странице.
Однако, даже самая продвинутая из американских моделей Claude 2 от Anthropic имеет «контекстное окно» размером 100 тыс токенов – это примерно 75 тыс слов. Следовательно, обобщить текст размером с роман Толстого «Анна Каренина» она не в состоянии.
А вот объявленная вчера новая большая языковая модель Baichuan2-192k от китайского стартапа Baichuan имеет «контекстное окно» около 350 тыс иероглифов. И это, примерно равно длине перевода романа «Анна Каренина» на китайский.
До размеров «Войны и мира» (на китайском это, примерно, 560 тыс иероглифов) модель пока не дотягивает. Но, тем не менее, Anthropic и OpenAI, не говоря уж о Google и Microsoft, наверняка, крепко озадачились. Ведь если и дальше так пойдет, смогут ли экспортные ограничения на микрочипы сдержать спурт китайских стартапов?
Может статься ведь, что не «железом» единым куется победа в гонке генеративного ИИ.
Подробней https://www.scmp.com/tech/tech-trends/article/3239849/chinese-ai-start-baichuan-claims-beat-anthropic-openai-model-can-process-350000-chinese-characters
#LLM #ИИгонка #Китай
South China Morning Post
Chinese AI start-up claims to beat US rivals in processing long text
The Beijing-based company, launched by the founder of Sogou, says the latest version of its large language model has a bigger ‘context window’ than its foreign competitors.
Книга книг об ИИ – обязательное чтение.
CB Insights опубликовал 120-страничную «Библию генеративного ИИ».
• Для неспециалистов самое интересное и понятное – часть 1.
• Для желающих понять струи и течения – часть 2.
• Для инвесторов и госчиновников – часть 3.
Часть 1. Бум генеративного ИИ (ГенИИ) зрел постепенно, но вдруг рванул так, что мир закачался.
• как это случилось
• и почему
Часть 2. Как выглядит сочетание шторма с цунами.
• Цунами и шторм - явления разной природы. Но в редких случаях они могут совпасть по времени и усилить эффект друг друга.
• Так и случилось с ГенИИ:
– финансирование взлетело до небес благодаря наплыву инвесторов,
– БигТех поменял свои приоритеты, сделав главную ставку на ГенИИ
Часть 3. Куда движется генеративный ИИ?
• Бой за инфраструктуру («есть железо – участвуй в гонке; нет железа – кури в сторонке»)
• Область применения ГенИИ – повсюду (это как с электричеством)
• Локомотивами индустриальных применений уже становятся здравоохранение и науки о жизни, финансы и страхование, ритейл
https://www.cbinsights.com/research/report/generative-ai-bible/
#ИИ #ИИгонка
CB Insights опубликовал 120-страничную «Библию генеративного ИИ».
• Для неспециалистов самое интересное и понятное – часть 1.
• Для желающих понять струи и течения – часть 2.
• Для инвесторов и госчиновников – часть 3.
Часть 1. Бум генеративного ИИ (ГенИИ) зрел постепенно, но вдруг рванул так, что мир закачался.
• как это случилось
• и почему
Часть 2. Как выглядит сочетание шторма с цунами.
• Цунами и шторм - явления разной природы. Но в редких случаях они могут совпасть по времени и усилить эффект друг друга.
• Так и случилось с ГенИИ:
– финансирование взлетело до небес благодаря наплыву инвесторов,
– БигТех поменял свои приоритеты, сделав главную ставку на ГенИИ
Часть 3. Куда движется генеративный ИИ?
• Бой за инфраструктуру («есть железо – участвуй в гонке; нет железа – кури в сторонке»)
• Область применения ГенИИ – повсюду (это как с электричеством)
• Локомотивами индустриальных применений уже становятся здравоохранение и науки о жизни, финансы и страхование, ритейл
https://www.cbinsights.com/research/report/generative-ai-bible/
#ИИ #ИИгонка
CB Insights Research
Generative AI Bible: The ultimate guide to genAI disruption - CB Insights Research
The generative AI landscape is evolving rapidly. Discover how the tech has developed, where it's going, and which trends and players you need to watch.
Китай догнал США по ИИ и к лету обещает обойти.
Китайские языковые модели догнали GPT-4, и теперь главный вопрос - сможет ли OpenAI до лета выпустить GPT-5 или Китай уйдет в отрыв.
Январь 2024 оказался для Китая триумфальным в области ИИ. Триумф этот и количественный, и качественный.
Количественный: среди 150+ больших языковых моделей (LLM) китайского производства (для справки, в России таких 4), 40 прошли госпроверку и уже доступны для широкого применения [1]
Качественный: две китайских LLM вплотную приблизились по большинству показателей к самой мощной в мире последней версии GPT-4 Turbo.
Это:
• iFlyTek Spark 3.5 LLM от компании iFlyTek, достигшая 96% производительности GPT-4 Turbo в кодировании и 91% GPT-4 в мультимодальных возможностях [2]
• ChatGLM4 от компании Zhipu: базовые возможности на английском языке составляют 91-100% от GPT-4 Turbo [3], а на китаяском языке 95-116% от GPT-4 Turbo [4] (подробней здесь [5])
И iFlyTek, и Zhipu объявили о запланированных к лету выпусках новых версий своих LLM, которые будут на 20-60% сильнее.
И если OpenAI не успеет в те же сроки выпустить GPT-5, то ситуация на шахматной доске мировой конкуренции в области ИИ может кардинально измениться. Дело в том, что компании США всегда были лидерами в этой области. Насколько удачно они смогут конкурировать в роли догоняющих, не знает никто.
N.B. И iFlyTek, и Zhipu заявляют, что их модели оптимизированы для работы на китайском «железе». Если это правда, то главный «удушающий прием» со стороны США – запрет на экспорт мощного ИИ-«железа», - Китай сумел обойти. Следствие этого будет стратегический перелом в ИИ гонке США и Китая. Что даже круче тактического превосходства в производительности отдельных моделей.
#ИИгонка #США #Китай #LLM
1 https://www.scmp.com/tech/tech-trends/article/3250177/china-approves-14-large-language-models-and-enterprise-applications-beijing-favours-wider-ai
2 https://www.ithome.com/0/748/030.htm
3 https://pic2.zhimg.com/80/v2-8aa028205cd53693af8f324029c62fa5_1440w.webp
4 https://pic2.zhimg.com/80/v2-8aa028205cd53693af8f324029c62fa5_1440w.webp
5 https://sfile.chatglm.cn/zp-story.pdf
Китайские языковые модели догнали GPT-4, и теперь главный вопрос - сможет ли OpenAI до лета выпустить GPT-5 или Китай уйдет в отрыв.
Январь 2024 оказался для Китая триумфальным в области ИИ. Триумф этот и количественный, и качественный.
Количественный: среди 150+ больших языковых моделей (LLM) китайского производства (для справки, в России таких 4), 40 прошли госпроверку и уже доступны для широкого применения [1]
Качественный: две китайских LLM вплотную приблизились по большинству показателей к самой мощной в мире последней версии GPT-4 Turbo.
Это:
• iFlyTek Spark 3.5 LLM от компании iFlyTek, достигшая 96% производительности GPT-4 Turbo в кодировании и 91% GPT-4 в мультимодальных возможностях [2]
• ChatGLM4 от компании Zhipu: базовые возможности на английском языке составляют 91-100% от GPT-4 Turbo [3], а на китаяском языке 95-116% от GPT-4 Turbo [4] (подробней здесь [5])
И iFlyTek, и Zhipu объявили о запланированных к лету выпусках новых версий своих LLM, которые будут на 20-60% сильнее.
И если OpenAI не успеет в те же сроки выпустить GPT-5, то ситуация на шахматной доске мировой конкуренции в области ИИ может кардинально измениться. Дело в том, что компании США всегда были лидерами в этой области. Насколько удачно они смогут конкурировать в роли догоняющих, не знает никто.
N.B. И iFlyTek, и Zhipu заявляют, что их модели оптимизированы для работы на китайском «железе». Если это правда, то главный «удушающий прием» со стороны США – запрет на экспорт мощного ИИ-«железа», - Китай сумел обойти. Следствие этого будет стратегический перелом в ИИ гонке США и Китая. Что даже круче тактического превосходства в производительности отдельных моделей.
#ИИгонка #США #Китай #LLM
1 https://www.scmp.com/tech/tech-trends/article/3250177/china-approves-14-large-language-models-and-enterprise-applications-beijing-favours-wider-ai
2 https://www.ithome.com/0/748/030.htm
3 https://pic2.zhimg.com/80/v2-8aa028205cd53693af8f324029c62fa5_1440w.webp
4 https://pic2.zhimg.com/80/v2-8aa028205cd53693af8f324029c62fa5_1440w.webp
5 https://sfile.chatglm.cn/zp-story.pdf
South China Morning Post
China gives nod to 14 AI large language models and enterprise applications
The new batch includes a number of industry-specific LLMs, compared with the general AI models from previous approvals, reflecting how the technology is being used to boost efficiency in enterprises.
Утечка об истинной оценке руководством Китая перспектив ИИ-гонки с США.
Большинство комментаторов ИИ-гонки между США и Китаем
• либо отдают безоговорочное преимущество США, заявляя, что у Китая нет ни шанса достать США в этой гонке;
• либо уверенно делают ставку на сочетание немеренных денег, жесткой прагматики руководства и океана данных Китая, которые рано или поздно принесут ему победу в этой гонке.
Произошедшая на днях утечка информации о посещении Премьером Госсовета КНР Ли Цяном Пекинской академии ИИ показала, что обе вышеназванные группы экспертов ошибаются.
Истинная оценка руководством Китая перспектив ИИ-гонки с США куда трезвее и мудрее.
Утечка произошла из-за того, что в кадр телесъемки визита по недогляду попал резюмирующий слайд презентации с совещания, в котором участвовал Премьер [1]. Билл Бишоп первым отметил это [2]. Кевин Сюй перевел и пояснил смысл трёх фундаментальных проблем Китая, указанных на этом слайде [3]. А Джеффри Динг рассказал эту историю в вышедшем сегодня выпуске ChinAI [4].
На слайде написано следующее:
Вызов 1: отсутствие самодостаточности в архитектуре модели. Серия GPT является запатентованной, и большинство китайских моделей построены с использованием LLaMA с открытым исходным кодом (такая чрезмерная зависимость от LLaMA из способа догнать США теперь превращается в серьезную проблему).
Вызов 2: до самостоятельного обучения и настройки базовых моделей еще далеко. Множество отечественных поставщиков микросхем, каждый из которых имеет собственную экосистему, затрудняет развертывание высокопроизводительных моделей. Обучение моделей со 100B+ параметров очень ненадежно (экспортный контроль над чипами в США работает очень хорошо).
Вызов 3: контент, создаваемый ИИ, трудно контролировать. Трудно гарантировать, что весь такой контент «высокого качества» и соответствует «фактам» (GenAI по своей природе вероятностный, а не детерминированный. Правительство, которому необходим абсолютный контроль, сочтет такое положение дел, скорее, угрожающим, чем желательным).
Все 3 названных вызова имеют не временный, а фундаментальный характер, и их нельзя решить за 1-2 года, заливая субсидиями и валом инженерных решений. Может быть, в конечном итоге, эти проблемы все же и удастся решить, но "в конечном итоге" это займет достаточно времени (что США снова ушли в отрыв, - добавлю к пояснению я)
Эта утечка реалистического понимания перспектив ИИ-гонки чрезвычайно важна не только для двух ее лидеров. Но и для других участников гонки. И особенно отягощенных, как Китай (или даже больше), технологическими санкциями США.
1 https://telegra.ph/file/81596a4177b68aa470999.png
2 https://twitter.com/niubi
3 https://twitter.com/kevinsxu/status/1768365478295355647
4 https://chinai.substack.com/p/chinai-258-is-translation-already
#Китай #ИИгонка #LLM
Большинство комментаторов ИИ-гонки между США и Китаем
• либо отдают безоговорочное преимущество США, заявляя, что у Китая нет ни шанса достать США в этой гонке;
• либо уверенно делают ставку на сочетание немеренных денег, жесткой прагматики руководства и океана данных Китая, которые рано или поздно принесут ему победу в этой гонке.
Произошедшая на днях утечка информации о посещении Премьером Госсовета КНР Ли Цяном Пекинской академии ИИ показала, что обе вышеназванные группы экспертов ошибаются.
Истинная оценка руководством Китая перспектив ИИ-гонки с США куда трезвее и мудрее.
Утечка произошла из-за того, что в кадр телесъемки визита по недогляду попал резюмирующий слайд презентации с совещания, в котором участвовал Премьер [1]. Билл Бишоп первым отметил это [2]. Кевин Сюй перевел и пояснил смысл трёх фундаментальных проблем Китая, указанных на этом слайде [3]. А Джеффри Динг рассказал эту историю в вышедшем сегодня выпуске ChinAI [4].
На слайде написано следующее:
Вызов 1: отсутствие самодостаточности в архитектуре модели. Серия GPT является запатентованной, и большинство китайских моделей построены с использованием LLaMA с открытым исходным кодом (такая чрезмерная зависимость от LLaMA из способа догнать США теперь превращается в серьезную проблему).
Вызов 2: до самостоятельного обучения и настройки базовых моделей еще далеко. Множество отечественных поставщиков микросхем, каждый из которых имеет собственную экосистему, затрудняет развертывание высокопроизводительных моделей. Обучение моделей со 100B+ параметров очень ненадежно (экспортный контроль над чипами в США работает очень хорошо).
Вызов 3: контент, создаваемый ИИ, трудно контролировать. Трудно гарантировать, что весь такой контент «высокого качества» и соответствует «фактам» (GenAI по своей природе вероятностный, а не детерминированный. Правительство, которому необходим абсолютный контроль, сочтет такое положение дел, скорее, угрожающим, чем желательным).
Все 3 названных вызова имеют не временный, а фундаментальный характер, и их нельзя решить за 1-2 года, заливая субсидиями и валом инженерных решений. Может быть, в конечном итоге, эти проблемы все же и удастся решить, но "в конечном итоге" это займет достаточно времени (что США снова ушли в отрыв, - добавлю к пояснению я)
Эта утечка реалистического понимания перспектив ИИ-гонки чрезвычайно важна не только для двух ее лидеров. Но и для других участников гонки. И особенно отягощенных, как Китай (или даже больше), технологическими санкциями США.
1 https://telegra.ph/file/81596a4177b68aa470999.png
2 https://twitter.com/niubi
3 https://twitter.com/kevinsxu/status/1768365478295355647
4 https://chinai.substack.com/p/chinai-258-is-translation-already
#Китай #ИИгонка #LLM
Для Китая удержание под контролем ИИ-технологий важнее лидерства в них.
Официальное толкование раздела резолюции 3го пленума ЦК КПК 20-го созыва о безопасности ИИ.
Год назад я писал, что «Китай готов уступить США право прыгнуть в пропасть генеративного ИИ первым». Тогдашнее решение руководства страны, что генеративного ИИ без лицензии в Китае не будет, ставило Китай в крайне невыгодное положение в ИИ-гонке с США. Это решение радикально тормозит внедрение генеративного ИИ и по сути означает, что Китай отказывается от первенства во внедрении важнейшего класса технологий [1].
Но если год назад это был все же единичный закон (который можно и пересмотреть), то теперь, по результатам прошедшего в Китае в июле 3го пленума ЦК КПК 20-го созыва, приоритет контроля над ИИ-технологиями становится госполитикой Китая минимум на 5 лет до следующего пленума.
В изданном по окончанию пленума документе «Сто вопросов по изучению и консультированию третьего пленума Центрального комитета Коммунистической партии Китая 20-го созыва (Решение)» разъясняется резолюция пленума для партийных кадров и широкой общественности. Документ написан при участии президента Си и трех других из семи высших руководителей Постоянного комитета Политбюро КПК: председателя Китайского народного политического консультативного совета ВАН Хунин (王沪宁), первого секретаря Секретариата КПК ЦАЙ Ци (蔡奇) и исполнительного вице-премьера ДИН Сюэсян (丁薛祥).
По вопросу о госполитике Китая в сфере ИИ в документе приводятся аргументы против приоритета развития над управлением. Вместо этого предлагается, чтобы и развитие, и управление шли рука об руку, прогрессируя одновременно.
Далее ключевые цитаты из документа:
• Резолюция пленума ставит цель "Создания системы надзора за безопасностью ИИ". Это важная мера, предпринятая ЦК для согласования развития и безопасности, а также для активного реагирования на риски, связанные с безопасностью ИИ.
• ИИ — это стратегическая технология, ведущая текущий раунд научно-технической революции и промышленной трансформации.
• После более чем 60 лет эволюции ИИ вступил в новый период взрывного роста по всему миру. Поэтому создание систем надзора за безопасностью ИИ является неизбежным требованием для реагирования на быстрое развитие ИИ.
• Генеральный секретарь Си указывает на необходимость усиления оценки и предотвращения потенциальных рисков от развития ИИ, защиты интересов людей и национальной безопасности и обеспечения того, чтобы ИИ был безопасным, надежным и контролируемым.
• Это окажет глубокое влияние на государственное управление, экономическую безопасность, социальную стабильность и даже глобальное управление.
• Мы должны отказаться от беспрепятственного роста, который достигается ценой жертвы безопасности, и достичь «развития и управления одновременно» путем усиления надзора за безопасностью ИИ.
Подробней см. [2]
Картинка https://telegra.ph/file/2ee6504b1235a8bbd200f.jpg
1 https://t.iss.one/theworldisnoteasy/1759
2 https://aisafetychina.substack.com/p/what-does-the-chinese-leadership
#Китай #ИИрегулирование #ИИгонка
Официальное толкование раздела резолюции 3го пленума ЦК КПК 20-го созыва о безопасности ИИ.
Год назад я писал, что «Китай готов уступить США право прыгнуть в пропасть генеративного ИИ первым». Тогдашнее решение руководства страны, что генеративного ИИ без лицензии в Китае не будет, ставило Китай в крайне невыгодное положение в ИИ-гонке с США. Это решение радикально тормозит внедрение генеративного ИИ и по сути означает, что Китай отказывается от первенства во внедрении важнейшего класса технологий [1].
Но если год назад это был все же единичный закон (который можно и пересмотреть), то теперь, по результатам прошедшего в Китае в июле 3го пленума ЦК КПК 20-го созыва, приоритет контроля над ИИ-технологиями становится госполитикой Китая минимум на 5 лет до следующего пленума.
В изданном по окончанию пленума документе «Сто вопросов по изучению и консультированию третьего пленума Центрального комитета Коммунистической партии Китая 20-го созыва (Решение)» разъясняется резолюция пленума для партийных кадров и широкой общественности. Документ написан при участии президента Си и трех других из семи высших руководителей Постоянного комитета Политбюро КПК: председателя Китайского народного политического консультативного совета ВАН Хунин (王沪宁), первого секретаря Секретариата КПК ЦАЙ Ци (蔡奇) и исполнительного вице-премьера ДИН Сюэсян (丁薛祥).
По вопросу о госполитике Китая в сфере ИИ в документе приводятся аргументы против приоритета развития над управлением. Вместо этого предлагается, чтобы и развитие, и управление шли рука об руку, прогрессируя одновременно.
Далее ключевые цитаты из документа:
• Резолюция пленума ставит цель "Создания системы надзора за безопасностью ИИ". Это важная мера, предпринятая ЦК для согласования развития и безопасности, а также для активного реагирования на риски, связанные с безопасностью ИИ.
• ИИ — это стратегическая технология, ведущая текущий раунд научно-технической революции и промышленной трансформации.
• После более чем 60 лет эволюции ИИ вступил в новый период взрывного роста по всему миру. Поэтому создание систем надзора за безопасностью ИИ является неизбежным требованием для реагирования на быстрое развитие ИИ.
• Генеральный секретарь Си указывает на необходимость усиления оценки и предотвращения потенциальных рисков от развития ИИ, защиты интересов людей и национальной безопасности и обеспечения того, чтобы ИИ был безопасным, надежным и контролируемым.
• Это окажет глубокое влияние на государственное управление, экономическую безопасность, социальную стабильность и даже глобальное управление.
• Мы должны отказаться от беспрепятственного роста, который достигается ценой жертвы безопасности, и достичь «развития и управления одновременно» путем усиления надзора за безопасностью ИИ.
Подробней см. [2]
Картинка https://telegra.ph/file/2ee6504b1235a8bbd200f.jpg
1 https://t.iss.one/theworldisnoteasy/1759
2 https://aisafetychina.substack.com/p/what-does-the-chinese-leadership
#Китай #ИИрегулирование #ИИгонка
Деньги в ИИ решают все.
США в 30 раз опережают Германию и Францию, и даже Китай отстал в 3 раза.
В новом синтетическом отчете компании “ZeroBounce”, обобщающем данные 6ти аналитических источников, анализируются ключевые показатели развития индустрии ИИ в 13 лидирующих странах мира.
Анализируются: частные инвестиции за последнее десятилетие, количество стартапов, связанных с ИИ, и критерии, связанные с рабочей силой и вакансиями в области ИИ.
Цифры говорят сами за себя. Мне лишь остается обратить ваше внимание на три интересные аномалии.
1. В прошлом году по объему частных инвестиций в ИИ США на порядок (!) обошли Китай.
2. За период 2013-2024 в США возникло 5.5К+ (!) стартапов по ИИ.
3. В области ИИ в Китае работает уже 0,64% (!) от всех работающих в стране.
#ИИгонка #США #Китай
США в 30 раз опережают Германию и Францию, и даже Китай отстал в 3 раза.
В новом синтетическом отчете компании “ZeroBounce”, обобщающем данные 6ти аналитических источников, анализируются ключевые показатели развития индустрии ИИ в 13 лидирующих странах мира.
Анализируются: частные инвестиции за последнее десятилетие, количество стартапов, связанных с ИИ, и критерии, связанные с рабочей силой и вакансиями в области ИИ.
Цифры говорят сами за себя. Мне лишь остается обратить ваше внимание на три интересные аномалии.
1. В прошлом году по объему частных инвестиций в ИИ США на порядок (!) обошли Китай.
2. За период 2013-2024 в США возникло 5.5К+ (!) стартапов по ИИ.
3. В области ИИ в Китае работает уже 0,64% (!) от всех работающих в стране.
#ИИгонка #США #Китай
Теперь Илон Маск за год попытается решить задачу покруче даже полета на Марс.
• Будущее человечества в значительной мере зависит от прогресса ИИ-технологий.
• А этот прогресс (как мы понимаем его сегодня) сильно зависит от пределов масштабирования интеллектуальности ИИ-систем при увеличении вычислительной мощи компьютеров, на которых эти системы будут работать.
• Т.о. теперь все упирается в ответ на вопрос - каковы пределы такого масштабирования?
Можно как угодно относиться к Маску, но он не только взялся ответить на этот вопрос, но и собирается сделать это уже в следующем году.
План Маска таков.
• Модель Grok 2 от xAI Илона Маска недавно догнала GPT-4 от OpenAI за рекордное время, будучи обучена всего на 15 000 графических процессоров.
• Вчера xAI запустила Colossus — самый мощный в мире кластер искусственного интеллекта, работающий на базе аж 100 000 графических процессоров Nvidia H100.
• Colossus был построен всего за 122 дня и, как планируется, вскоре его размер удвоится до 200 000 графических процессоров (50 000 H200).
• Увеличение вычислительной мощности на 1.5 порядка позволит вплотную приблизиться к точке возможного перегиба тренда масштабируемости ИИ-систем.
• А за этой точкой будет ответ:
- либо рост интеллектуальности замедлится (например, из-за высокой стоимости вычислений);
- либо вообще остановится (из-за архитектурных ограничений моделей)
- либо пойдет дальше (и тогда, привет ИИ-сингулярность!)
Интрига Маска в том, что OpenAI предполагали достичь этой точки лишь в 2027. А Маск, включившись в игру, имеет все основания, чтобы сделать это на 2 года раньше.
Картинка https://telegra.ph/file/d8ed1593a20dbee6c2355.jpg
https://x.com/elonmusk/status/1830650370336473253
#ИИгонка
• Будущее человечества в значительной мере зависит от прогресса ИИ-технологий.
• А этот прогресс (как мы понимаем его сегодня) сильно зависит от пределов масштабирования интеллектуальности ИИ-систем при увеличении вычислительной мощи компьютеров, на которых эти системы будут работать.
• Т.о. теперь все упирается в ответ на вопрос - каковы пределы такого масштабирования?
Можно как угодно относиться к Маску, но он не только взялся ответить на этот вопрос, но и собирается сделать это уже в следующем году.
План Маска таков.
• Модель Grok 2 от xAI Илона Маска недавно догнала GPT-4 от OpenAI за рекордное время, будучи обучена всего на 15 000 графических процессоров.
• Вчера xAI запустила Colossus — самый мощный в мире кластер искусственного интеллекта, работающий на базе аж 100 000 графических процессоров Nvidia H100.
• Colossus был построен всего за 122 дня и, как планируется, вскоре его размер удвоится до 200 000 графических процессоров (50 000 H200).
• Увеличение вычислительной мощности на 1.5 порядка позволит вплотную приблизиться к точке возможного перегиба тренда масштабируемости ИИ-систем.
• А за этой точкой будет ответ:
- либо рост интеллектуальности замедлится (например, из-за высокой стоимости вычислений);
- либо вообще остановится (из-за архитектурных ограничений моделей)
- либо пойдет дальше (и тогда, привет ИИ-сингулярность!)
Интрига Маска в том, что OpenAI предполагали достичь этой точки лишь в 2027. А Маск, включившись в игру, имеет все основания, чтобы сделать это на 2 года раньше.
Картинка https://telegra.ph/file/d8ed1593a20dbee6c2355.jpg
https://x.com/elonmusk/status/1830650370336473253
#ИИгонка
Что задумал Маск в ИИ?
Вероятная цель - сверхчеловеческий ИИ-математик в 2025-2026
Все теряются в догадках, что за супер-задачу собрался решить Илон Маск, отложив на время даже полет на Марс и вбухивая большие деньги в Colossus — самый мощный в мире ИИ-кластер [1].
Это, точно, не AGI. Ибо Маск – совсем не Альтман, которому все равно, сколько спалить миллиардов во имя призрачного AGI ("Сжигаем ли мы 500 миллионов долларов в год или 5 миллиардов долларов, или 50 миллиардов долларов в год - мне все равно, мне искренне все равно… Пока мы можем найти способ оплачивать счета, мы делаем AGI. Это будет дорого" [2]).
Маск – гениальный мастер техно-хайпования. Но он практик. Как бы ни фантастично выглядели его цели, он их на самом деле хочет достичь. И, следовательно, эта цель не должна быть призрачной. А цель - AGI, как минимум на ближайшие годы, именно такова.
Вот почему столь интересен проговор «главного математического ИИ-знайки» в супер-команде спецов, нанятых Маском в xAI [3] - Кристиана Сегеди.
«Прогресс идёт быстрее, чем я ожидал раньше. Ранее моей целевой датой был приблизительно 2029 год. Теперь это 2026 год для создания сверхчеловеческого ИИ-математика. Хотя это амбициозно, даже 2025 год возможен». [4]
В отличие от призрачного AGI, сверхчеловеческий ИИ-математик – вполне понятная и достижимая цель. И единственно, что нужно для ее наискорейшего достижения – много-много супер-мощного HW.
И поэтому, полагаю, Сагеди сказал правду. Это и есть цель Маска.
А последствия ее достижения могут быть круче полета на Марс.
1 https://t.iss.one/theworldisnoteasy/2001
2 https://www.youtube.com/watch?v=GLKoDkbS1Cg
3 https://trends.rbc.ru/trends/industry/64b63dfb9a7947ab3fc40e88
4 https://x.com/ChrSzegedy/status/1831330997239255186
#ИИгонка
Вероятная цель - сверхчеловеческий ИИ-математик в 2025-2026
Все теряются в догадках, что за супер-задачу собрался решить Илон Маск, отложив на время даже полет на Марс и вбухивая большие деньги в Colossus — самый мощный в мире ИИ-кластер [1].
Это, точно, не AGI. Ибо Маск – совсем не Альтман, которому все равно, сколько спалить миллиардов во имя призрачного AGI ("Сжигаем ли мы 500 миллионов долларов в год или 5 миллиардов долларов, или 50 миллиардов долларов в год - мне все равно, мне искренне все равно… Пока мы можем найти способ оплачивать счета, мы делаем AGI. Это будет дорого" [2]).
Маск – гениальный мастер техно-хайпования. Но он практик. Как бы ни фантастично выглядели его цели, он их на самом деле хочет достичь. И, следовательно, эта цель не должна быть призрачной. А цель - AGI, как минимум на ближайшие годы, именно такова.
Вот почему столь интересен проговор «главного математического ИИ-знайки» в супер-команде спецов, нанятых Маском в xAI [3] - Кристиана Сегеди.
«Прогресс идёт быстрее, чем я ожидал раньше. Ранее моей целевой датой был приблизительно 2029 год. Теперь это 2026 год для создания сверхчеловеческого ИИ-математика. Хотя это амбициозно, даже 2025 год возможен». [4]
В отличие от призрачного AGI, сверхчеловеческий ИИ-математик – вполне понятная и достижимая цель. И единственно, что нужно для ее наискорейшего достижения – много-много супер-мощного HW.
И поэтому, полагаю, Сагеди сказал правду. Это и есть цель Маска.
А последствия ее достижения могут быть круче полета на Марс.
1 https://t.iss.one/theworldisnoteasy/2001
2 https://www.youtube.com/watch?v=GLKoDkbS1Cg
3 https://trends.rbc.ru/trends/industry/64b63dfb9a7947ab3fc40e88
4 https://x.com/ChrSzegedy/status/1831330997239255186
#ИИгонка
Telegram
Малоизвестное интересное
Теперь Илон Маск за год попытается решить задачу покруче даже полета на Марс.
• Будущее человечества в значительной мере зависит от прогресса ИИ-технологий.
• А этот прогресс (как мы понимаем его сегодня) сильно зависит от пределов масштабирования интеллектуальности…
• Будущее человечества в значительной мере зависит от прогресса ИИ-технологий.
• А этот прогресс (как мы понимаем его сегодня) сильно зависит от пределов масштабирования интеллектуальности…
Кай-Фу Ли объявил войну Nvidia и всей ИИ-экосистеме США.
И судя по его последним достижениям, шансы победить есть.
Потрясающе интересное выступление китайского ИИ гуру Кай-Фу Ли будут теперь долго обсуждать. Это абсолютно революционное выступление, прозвучавшее на закрытой дискуссии Collective[i] Forecast, Ли посвятил трем темам.
1. ИИ-экосистема США (основа мировой ИИ-экосистемы) «невероятно больна». Её необходимо кардинально перестроить, иначе на реальном (практическом) прогрессе ИИ можно ставить крест.
Сегодня ИИ-экосистема состоит из Nvidia и мелких производителей ИИ чипов. При этом производители чипов для ИИ зарабатывают сейчас в год $75 млрд, а вендоры ИИ-инфраструктуры – лишь $10 млрд и вендоры ИИ-приложений — лишь $5 млрд».
«Если мы продолжим работать в этой перевернутой пирамиде, это станет проблемой» — сказал Ли. Т.к. это беспрецедентный переворот в экономике классической технологической отрасли. Традиционно производители приложений получают больше, чем поставщики чипов и систем (напр. Salesforce, внедряя CRM, получает куда больше, чем Dell и Intel, производящие компьютеры и чипы для запуска CRM в облаке)
Оздоровить ИИ-экосистему может лишь создание ИИ-компаниями собственных вертикальных интегрированных технологических стеков, как это сделала Apple с iPhone. Только так станет возможным значительно снизить стоимость генеративного ИИ.
2. Главным направление в разработке моделей должно стать снижение стоимости вывода – это самое важное для создания востребованных бизнесом приложений с ИИ.
Сегодняшняя стандартная стоимость сервиса типа GPT-4 составляет $4,40 за млн токенов. Это эквивалентно 57 центам за запрос —и это непростительно дорого, ибо поисковый запрос в Google (без всякого ИИ) обойдется в 180 раз дешевле.
3. Вторым важнейшим направлением в разработке моделей должен стать переход от универсальных базовых моделей к «экспертным моделям».
Бизнесу нужны не универсальные модели, обученные на океанах неразмеченных данных, собранных из Интернета и других источников. Подход «экспертных моделей» подразумевает создание множества нейронок, обученных на отраслевых данных. Это может обеспечить достижение того же уровня «интеллекта», что и универсальная базовая модель, при использовании гораздо меньшей вычислительной мощности.
Самое потрясающее, что все 3 пункта – это не предложения, основанные на предположениях. Стартап Кай-Фу Ли «01.ai» уже делает все это на практике.
И не просто делает, а уже добивается уникальных результатов.
• Их новая модель Yi-Lightning занимает 6-е место в мире (выше выпущенной 5 мес назад GPT-4o). Но при этом это очень маленькая модель, которая чрезвычайно быстра и недорога (всего $0,14 за млн токенов ). Её производительность сопоставима с Grok-2. Но она обучалась всего на 2000 H100 в течение 1 месяца. Что демонстрирует ненужность 100 тыс H100 и ярдов затрат (обучение Yi-Lightning стоило всего $3 млн).
• 01.ai применяет «экспертный» подход к сбору данных. И хотя «инженерам приходится проводить массу неблагодарной черновой работы» по маркировке и ранжированию данных, но – как считает Ли, - Китай с его резервом дешевых инженерных кадров может сделать это лучше, чем США.
• И даже в создании собственного вертикального интегрированного техно-стека есть прогресс. Напр, за счет использования собственных аппаратных инноваций, стоимость одного запроса к ИИ-поисковику BeaGo составляет всего около 1 цента (что приблизилось к стоимости запроса Google без всякого ИИ)
И еще 3 цитаты Ли:
Сила Китая не в том, чтобы делать лучшие прорывные исследования, которые никто не делал раньше, с бюджетом без ограничений. Сила Китая в том, чтобы построить хорошо, быстро, надежно и при этом дешево.
Для предприятий новое поколение ИИ станет их мозгом, а не периферийными приблудами. Для нефтяных компании ИИ будет добывать нефть. Для финансовых — зарабатывать на деньгах.
Для потребителей сегодняшняя модель смартфона, скорее всего, исчезнет.
А ведь еще 1.5 года назад Ли предупреждал - Китай не станет догонять США в ИИ, а сразу пойдет на обгон.
#ИИгонка #Китай
И судя по его последним достижениям, шансы победить есть.
Потрясающе интересное выступление китайского ИИ гуру Кай-Фу Ли будут теперь долго обсуждать. Это абсолютно революционное выступление, прозвучавшее на закрытой дискуссии Collective[i] Forecast, Ли посвятил трем темам.
1. ИИ-экосистема США (основа мировой ИИ-экосистемы) «невероятно больна». Её необходимо кардинально перестроить, иначе на реальном (практическом) прогрессе ИИ можно ставить крест.
Сегодня ИИ-экосистема состоит из Nvidia и мелких производителей ИИ чипов. При этом производители чипов для ИИ зарабатывают сейчас в год $75 млрд, а вендоры ИИ-инфраструктуры – лишь $10 млрд и вендоры ИИ-приложений — лишь $5 млрд».
«Если мы продолжим работать в этой перевернутой пирамиде, это станет проблемой» — сказал Ли. Т.к. это беспрецедентный переворот в экономике классической технологической отрасли. Традиционно производители приложений получают больше, чем поставщики чипов и систем (напр. Salesforce, внедряя CRM, получает куда больше, чем Dell и Intel, производящие компьютеры и чипы для запуска CRM в облаке)
Оздоровить ИИ-экосистему может лишь создание ИИ-компаниями собственных вертикальных интегрированных технологических стеков, как это сделала Apple с iPhone. Только так станет возможным значительно снизить стоимость генеративного ИИ.
2. Главным направление в разработке моделей должно стать снижение стоимости вывода – это самое важное для создания востребованных бизнесом приложений с ИИ.
Сегодняшняя стандартная стоимость сервиса типа GPT-4 составляет $4,40 за млн токенов. Это эквивалентно 57 центам за запрос —и это непростительно дорого, ибо поисковый запрос в Google (без всякого ИИ) обойдется в 180 раз дешевле.
3. Вторым важнейшим направлением в разработке моделей должен стать переход от универсальных базовых моделей к «экспертным моделям».
Бизнесу нужны не универсальные модели, обученные на океанах неразмеченных данных, собранных из Интернета и других источников. Подход «экспертных моделей» подразумевает создание множества нейронок, обученных на отраслевых данных. Это может обеспечить достижение того же уровня «интеллекта», что и универсальная базовая модель, при использовании гораздо меньшей вычислительной мощности.
Самое потрясающее, что все 3 пункта – это не предложения, основанные на предположениях. Стартап Кай-Фу Ли «01.ai» уже делает все это на практике.
И не просто делает, а уже добивается уникальных результатов.
• Их новая модель Yi-Lightning занимает 6-е место в мире (выше выпущенной 5 мес назад GPT-4o). Но при этом это очень маленькая модель, которая чрезвычайно быстра и недорога (всего $0,14 за млн токенов ). Её производительность сопоставима с Grok-2. Но она обучалась всего на 2000 H100 в течение 1 месяца. Что демонстрирует ненужность 100 тыс H100 и ярдов затрат (обучение Yi-Lightning стоило всего $3 млн).
• 01.ai применяет «экспертный» подход к сбору данных. И хотя «инженерам приходится проводить массу неблагодарной черновой работы» по маркировке и ранжированию данных, но – как считает Ли, - Китай с его резервом дешевых инженерных кадров может сделать это лучше, чем США.
• И даже в создании собственного вертикального интегрированного техно-стека есть прогресс. Напр, за счет использования собственных аппаратных инноваций, стоимость одного запроса к ИИ-поисковику BeaGo составляет всего около 1 цента (что приблизилось к стоимости запроса Google без всякого ИИ)
И еще 3 цитаты Ли:
Сила Китая не в том, чтобы делать лучшие прорывные исследования, которые никто не делал раньше, с бюджетом без ограничений. Сила Китая в том, чтобы построить хорошо, быстро, надежно и при этом дешево.
Для предприятий новое поколение ИИ станет их мозгом, а не периферийными приблудами. Для нефтяных компании ИИ будет добывать нефть. Для финансовых — зарабатывать на деньгах.
Для потребителей сегодняшняя модель смартфона, скорее всего, исчезнет.
А ведь еще 1.5 года назад Ли предупреждал - Китай не станет догонять США в ИИ, а сразу пойдет на обгон.
#ИИгонка #Китай
Итоги года торгово-технологической войны Китая и США за лидерство в ИИ.
Отставание Китая с мая ‘23 по октябрь ‘24 сократилось в 30 раз.
Таков главный вывод бенчмарка SuperCLUE, позиционирующего себя, как «независимую стороннюю организацию по оценке искусственного интеллекта общего назначения (AGI)» с миссией «точной количественной оценки прогресса AGI, определения дорожной карты для движения человечества к AGI».
• Ход мировой гонки за лидерство моделей LLM, по сути, является гонкой двух лидеров: Китая и США. Правый верхний рис показывает, что отставание в этой гонке Китая от США почти «на целый круг» (30,12%) в мае ‘23 к октябрю ’24 сократилось всего до «метра» (1,29%). Однако, выход новой модели OpenAIo1 снова увеличил разрыв до «десятков метров» (8%).
• НО! В области моделей с открытым исходным кодом (правый нижний рис) Китай в 2024 не только догнал, но уже убедительно опережает США (при вводе запросов на китайском языке) - №1 и №2 среди тройки лидеров. Фактически, китайские модели с открытым исходным кодом приближаются к производительности лучших в мире моделей с закрытым исходным кодом на SuperCLUE: «Qwen2.5-72B-Instruct набрала 68,90 баллов, что на 2,34 балла ниже среднего показателя пяти лучших моделей с закрытым исходным кодом в мире»
• В целом же, к концу 2024 произошла диверсификация моделей в зависимости от их 1) общих способностей и 2) способностей создаваемых на их основе приложений (левый рис). В тройке «абсолютный лидеров», все три - модели США. Но следом за ними, опережая Gemini от Google DeepMind, три модели Китая.
N.B. Важно понимать, что колоссальный успех Китая:
1. Происходит на фоне все более затягивающейся хардверной удавки на шее из-за крепчающих экспортных ограничений США на поставку в Китай самых мощных чипов.
2. И хотя в 2024 Китаю удалось колоссально сократить отставание своих LLM, но это сделано, в основном, за счет их развитых способностей решения задач невысокой сложности. Разрыв между оценкой o1-preview на тесте SuperCLUE-Hard (64,89 балла) и оценкой топовой китайской модели GLM-4Plus (51,09) весьма существенен.
Успех LLM Китая в 2024 поколебал уверенность в том, что в области ИИ «деньги решают все».
#ИИгонка #Китай #США
Отставание Китая с мая ‘23 по октябрь ‘24 сократилось в 30 раз.
Таков главный вывод бенчмарка SuperCLUE, позиционирующего себя, как «независимую стороннюю организацию по оценке искусственного интеллекта общего назначения (AGI)» с миссией «точной количественной оценки прогресса AGI, определения дорожной карты для движения человечества к AGI».
• Ход мировой гонки за лидерство моделей LLM, по сути, является гонкой двух лидеров: Китая и США. Правый верхний рис показывает, что отставание в этой гонке Китая от США почти «на целый круг» (30,12%) в мае ‘23 к октябрю ’24 сократилось всего до «метра» (1,29%). Однако, выход новой модели OpenAIo1 снова увеличил разрыв до «десятков метров» (8%).
• НО! В области моделей с открытым исходным кодом (правый нижний рис) Китай в 2024 не только догнал, но уже убедительно опережает США (при вводе запросов на китайском языке) - №1 и №2 среди тройки лидеров. Фактически, китайские модели с открытым исходным кодом приближаются к производительности лучших в мире моделей с закрытым исходным кодом на SuperCLUE: «Qwen2.5-72B-Instruct набрала 68,90 баллов, что на 2,34 балла ниже среднего показателя пяти лучших моделей с закрытым исходным кодом в мире»
• В целом же, к концу 2024 произошла диверсификация моделей в зависимости от их 1) общих способностей и 2) способностей создаваемых на их основе приложений (левый рис). В тройке «абсолютный лидеров», все три - модели США. Но следом за ними, опережая Gemini от Google DeepMind, три модели Китая.
N.B. Важно понимать, что колоссальный успех Китая:
1. Происходит на фоне все более затягивающейся хардверной удавки на шее из-за крепчающих экспортных ограничений США на поставку в Китай самых мощных чипов.
2. И хотя в 2024 Китаю удалось колоссально сократить отставание своих LLM, но это сделано, в основном, за счет их развитых способностей решения задач невысокой сложности. Разрыв между оценкой o1-preview на тесте SuperCLUE-Hard (64,89 балла) и оценкой топовой китайской модели GLM-4Plus (51,09) весьма существенен.
Успех LLM Китая в 2024 поколебал уверенность в том, что в области ИИ «деньги решают все».
#ИИгонка #Китай #США
Китайская «игра в прятки с ИИ-чипами» бьёт экспортный контроль США.
Исследование Университета Беркли спускает в унитаз стратегию США по сдерживанию Китая в области ИИ.
В этом исследовании в деталях и на конкретных примерах показывается, что Китай разработал сверхэффективную систему на стыке разведки, технологий, логистики и межотраслевой координации. И эта система обесценивает любые ужесточения экспортного контроля высокопроизводительных чипов для ИИ.
Не секрет, что любой экспортный контроль преодолим. Однако, на массовые поставки высокопроизводительных чипов для ИИ-систем попавшие под экспортный контроль США страны (в 1ю очередь, Китай и Россия) рассчитывать не могут. А для создания все более мощных ИИ нужны именно массовые поставки – в масштабах страны, это сотни и сотни тысяч чипов.
Будучи 100%но уверены в эффективности этого метода сдерживания, Госдеп США уже несколько лет лишь ограничивался все более плотным затягиванием гаек экспортного контроля. Однако, несомненные успехи Китая по сокращению своего отставания от США в области ИИ заставляют задуматься.
Как же так, высокопроизводительных чипов для ИИ у Китая явно недостаточно, а разрыв в производительности ИИ-систем Китая и США все сокращается и уже минимален?
Ответ на этот вопрос содержится в новом отчете трех научных центров университета Беркли. И этот ответ таков, что отвечающим за экспортный контроль чиновникам Министерства торговли США в пору застрелиться.
Ассиметричный ответ Китая сводит почти на нет любые ужесточения экспортного контроля. Китаю удалось разработать столь совершенную систему на стыке разведки, технологий, логистики и межотраслевой координации, что ей теперь никакой экспортный контроль ИИ-чипов не страшен.
Схема этой системы примерно такова.
• По заданию системы межотраслевой координации, некая структура (назовет ее здесь «разведка», хотя авторы отчета не используют этого слова, но это ясно из контекста) отслеживает планы США по введению изменений и дополнений экспортных ограничений на поставку мощных чипов для ИИ.
• Как только разведка решает, что некое оборудование для ИИ (назовем его «чип Х») США собираются включить в список экспортных ограничений, система межотраслевой координации командует ответственным за логистику поставок чипов и технологам, отвечающим за разработку:
- логистике надлежит сделать все возможное, чтобы обеспечить поставку запасов «чипа Х» впрок как можно в большем объеме;
- технологам надлежит срочно начать обратный реинжениринг «чипа Х» с целью научиться моделировать его функционал и характеристики на более простом оборудовании, не подпадающем под экспортный контроль.
В отчете приводятся конкретные примеры работы этой схемы, когда сочетание стратегического запаса впрок «чипа Х» и моделирования функционала и параметров «чипа Х» на более простом оборудовании успешно позволяло Китаю не только не отставать от США, но и сокращать свое отставание.
Вывод авторов исследования – при наличии у Китая этой эффективно работающей схемы, экспортного контроля США за поставкой чипов для ИИ недостаточно, чтобы помешать Китаю догнать (а там, кто знает) США в области ИИ. США нужна иная (комплексная) программа мониторинга и контроля не только оборудования, но и методов, инструментов и библиотек разработки новых моделей.
#ИИгонка #Китай #США
Исследование Университета Беркли спускает в унитаз стратегию США по сдерживанию Китая в области ИИ.
В этом исследовании в деталях и на конкретных примерах показывается, что Китай разработал сверхэффективную систему на стыке разведки, технологий, логистики и межотраслевой координации. И эта система обесценивает любые ужесточения экспортного контроля высокопроизводительных чипов для ИИ.
Не секрет, что любой экспортный контроль преодолим. Однако, на массовые поставки высокопроизводительных чипов для ИИ-систем попавшие под экспортный контроль США страны (в 1ю очередь, Китай и Россия) рассчитывать не могут. А для создания все более мощных ИИ нужны именно массовые поставки – в масштабах страны, это сотни и сотни тысяч чипов.
Будучи 100%но уверены в эффективности этого метода сдерживания, Госдеп США уже несколько лет лишь ограничивался все более плотным затягиванием гаек экспортного контроля. Однако, несомненные успехи Китая по сокращению своего отставания от США в области ИИ заставляют задуматься.
Как же так, высокопроизводительных чипов для ИИ у Китая явно недостаточно, а разрыв в производительности ИИ-систем Китая и США все сокращается и уже минимален?
Ответ на этот вопрос содержится в новом отчете трех научных центров университета Беркли. И этот ответ таков, что отвечающим за экспортный контроль чиновникам Министерства торговли США в пору застрелиться.
Ассиметричный ответ Китая сводит почти на нет любые ужесточения экспортного контроля. Китаю удалось разработать столь совершенную систему на стыке разведки, технологий, логистики и межотраслевой координации, что ей теперь никакой экспортный контроль ИИ-чипов не страшен.
Схема этой системы примерно такова.
• По заданию системы межотраслевой координации, некая структура (назовет ее здесь «разведка», хотя авторы отчета не используют этого слова, но это ясно из контекста) отслеживает планы США по введению изменений и дополнений экспортных ограничений на поставку мощных чипов для ИИ.
• Как только разведка решает, что некое оборудование для ИИ (назовем его «чип Х») США собираются включить в список экспортных ограничений, система межотраслевой координации командует ответственным за логистику поставок чипов и технологам, отвечающим за разработку:
- логистике надлежит сделать все возможное, чтобы обеспечить поставку запасов «чипа Х» впрок как можно в большем объеме;
- технологам надлежит срочно начать обратный реинжениринг «чипа Х» с целью научиться моделировать его функционал и характеристики на более простом оборудовании, не подпадающем под экспортный контроль.
В отчете приводятся конкретные примеры работы этой схемы, когда сочетание стратегического запаса впрок «чипа Х» и моделирования функционала и параметров «чипа Х» на более простом оборудовании успешно позволяло Китаю не только не отставать от США, но и сокращать свое отставание.
Вывод авторов исследования – при наличии у Китая этой эффективно работающей схемы, экспортного контроля США за поставкой чипов для ИИ недостаточно, чтобы помешать Китаю догнать (а там, кто знает) США в области ИИ. США нужна иная (комплексная) программа мониторинга и контроля не только оборудования, но и методов, инструментов и библиотек разработки новых моделей.
#ИИгонка #Китай #США
Скрытый потенциал русского ИИ для преодоления отставания от США и Китая.
Что если разрешить русским LLM материться без ограничений?
«Русский мат — … это не просто скабрезные ругательства. Это еще и эмоциональная беседа мужчин в критических ситуациях. Исконной матерной речью пользовались в мужских компаниях, и не для того, чтобы обругать друг друга, а чтобы весело, быстро, понятно и эмоционально объясниться друг с другом в экстремальных условиях, в опасных ситуациях. Такая речь обладает мощным не только психологическим, но, как показано выше, и физиологическим действием.»
Доктор психологических наук Леонид Александрович Китаев-Смык
Сразу предупрежу: это не шутка, не ирония и уж тем более не издевка.
На современном этапе развития ИИ все упирается в наличие огромных вычислительных мощностей, требуемых для обучения гигантских нейросетей-трансформеров. Об этом я талдычу уже несколько лет в постах под грифом «Есть «железо» - участвуй в гонке. Нет «железа» - кури в сторонке» [1, 2, 3]
Но экспортные ограничения крепчают. Их преодоление становится все накладней, и требуемый массовый характер таких поставок в Россию уже не видится реальным.
Разработка своего железа на горизонте достижимости в несколько лет тоже нереальна, т.к. на это требуются десятки миллиардов долларов и десятки лет. А для создания стратегической системы поставок, подобной китайской, среди российских госчиновников маловато китайцев.
В этой тупиковой ситуации остается надеяться либо на чудо, либо на какой-то уж совсем немыслимый творческий кульбит – некую фантастически перспективную идею.
Как у нас водится, примеров предложений таких, якобы, перспективных идей хватает во всех сегментах разработок российского ИИ: от, будто бы, небывало эффективных новых архитектур, до хитрейших и гениальных (по мнению их авторов) новых алгоритмов.
Но все они, в моем представлении, уступают по шедевриальности вот этой идее, недавно прозвучавшей в кулуарах крупной тусовки российских ИИ-разработчиков – новый класс матерящихся языковых моделей.
Речь об использовании уникального ресурсного языкового богатства русского языка (русского мата), потенциально способного стать ключевым конкурентным преимуществом больших языковых моделей, обучающихся на нерецензируемом корпусе русский текстов и не имеющих никаких ограничений на использование нецензурной лексики.
Эта довольно дикая на первый взгляд идея, по мысли ее сторонников, стоит на трёх слонах и черепахе по имени «аффорданс» (описание которых не умещается в ограниченный размер Телеграм поста и потому вынесено в лонгрид для подписчиков на Patreon, Boosty, VK и Дзен – подписывайтесь, ибо текст весьма интересный 😊).
Здесь же, из-за недостатка места, я лишь назову три связанных друг с другом следствия этой идеи.
1) Новейшее метаисследование пяти солидных академических центров показывает, что с точки зрения практического применения, «ругань представляет собой малорискованное, эффективное и недорогое вмешательство, которое может существенно улучшить физическую работоспособность» людей (см. рисунок).
2) Резонно предположить, что, будучи частью языка, ругань может быть использована языковыми моделями с большей лингвистической, семантической и эмоциональной эффективностью, чем это достижимо для людей.
3) При снятии цензурных ограничений при обучении и использовании LLM, уникальное преимущество русского мата могло бы стать малорискованным, эффективным и недорогим вмешательством, способным существенно улучшить интеллектуальную работоспособность не только языковых моделей, но и работающих с ними в гибридном режиме людей.
Своих комментариев на эту офигительную идею я давать не буду, дабы не портить одним читателям возможность ее уничижительной критики, а другим - ее восторженной поддержки.
Скажу лишь, что мое подробное обсуждение с пятью LLM (четырьмя американскими и одной китайской) показало их весьма позитивное отношение к этой «плодотворной дебютной идее».
#ИИгонка #Россия #Аффорданс
Что если разрешить русским LLM материться без ограничений?
«Русский мат — … это не просто скабрезные ругательства. Это еще и эмоциональная беседа мужчин в критических ситуациях. Исконной матерной речью пользовались в мужских компаниях, и не для того, чтобы обругать друг друга, а чтобы весело, быстро, понятно и эмоционально объясниться друг с другом в экстремальных условиях, в опасных ситуациях. Такая речь обладает мощным не только психологическим, но, как показано выше, и физиологическим действием.»
Доктор психологических наук Леонид Александрович Китаев-Смык
Сразу предупрежу: это не шутка, не ирония и уж тем более не издевка.
На современном этапе развития ИИ все упирается в наличие огромных вычислительных мощностей, требуемых для обучения гигантских нейросетей-трансформеров. Об этом я талдычу уже несколько лет в постах под грифом «Есть «железо» - участвуй в гонке. Нет «железа» - кури в сторонке» [1, 2, 3]
Но экспортные ограничения крепчают. Их преодоление становится все накладней, и требуемый массовый характер таких поставок в Россию уже не видится реальным.
Разработка своего железа на горизонте достижимости в несколько лет тоже нереальна, т.к. на это требуются десятки миллиардов долларов и десятки лет. А для создания стратегической системы поставок, подобной китайской, среди российских госчиновников маловато китайцев.
В этой тупиковой ситуации остается надеяться либо на чудо, либо на какой-то уж совсем немыслимый творческий кульбит – некую фантастически перспективную идею.
Как у нас водится, примеров предложений таких, якобы, перспективных идей хватает во всех сегментах разработок российского ИИ: от, будто бы, небывало эффективных новых архитектур, до хитрейших и гениальных (по мнению их авторов) новых алгоритмов.
Но все они, в моем представлении, уступают по шедевриальности вот этой идее, недавно прозвучавшей в кулуарах крупной тусовки российских ИИ-разработчиков – новый класс матерящихся языковых моделей.
Речь об использовании уникального ресурсного языкового богатства русского языка (русского мата), потенциально способного стать ключевым конкурентным преимуществом больших языковых моделей, обучающихся на нерецензируемом корпусе русский текстов и не имеющих никаких ограничений на использование нецензурной лексики.
Эта довольно дикая на первый взгляд идея, по мысли ее сторонников, стоит на трёх слонах и черепахе по имени «аффорданс» (описание которых не умещается в ограниченный размер Телеграм поста и потому вынесено в лонгрид для подписчиков на Patreon, Boosty, VK и Дзен – подписывайтесь, ибо текст весьма интересный 😊).
Здесь же, из-за недостатка места, я лишь назову три связанных друг с другом следствия этой идеи.
1) Новейшее метаисследование пяти солидных академических центров показывает, что с точки зрения практического применения, «ругань представляет собой малорискованное, эффективное и недорогое вмешательство, которое может существенно улучшить физическую работоспособность» людей (см. рисунок).
2) Резонно предположить, что, будучи частью языка, ругань может быть использована языковыми моделями с большей лингвистической, семантической и эмоциональной эффективностью, чем это достижимо для людей.
3) При снятии цензурных ограничений при обучении и использовании LLM, уникальное преимущество русского мата могло бы стать малорискованным, эффективным и недорогим вмешательством, способным существенно улучшить интеллектуальную работоспособность не только языковых моделей, но и работающих с ними в гибридном режиме людей.
Своих комментариев на эту офигительную идею я давать не буду, дабы не портить одним читателям возможность ее уничижительной критики, а другим - ее восторженной поддержки.
Скажу лишь, что мое подробное обсуждение с пятью LLM (четырьмя американскими и одной китайской) показало их весьма позитивное отношение к этой «плодотворной дебютной идее».
#ИИгонка #Россия #Аффорданс
План «Б» от Кай-Фу Ли: Что делать, если США всё же станут гегемоном в AGI.
Как Китай собирается остаться №2, даже когда США подомнут под себя весь мир.
Одной фразой план таков: к моменту, когда в США создадут AGI, Китай должен успеть стать мировым лидером в агентских приложениях.
В октябре я рассказывал про то, что «Кай-Фу Ли объявил войну Nvidia и всей ИИ-экосистеме США. И судя по его последним достижениям, шансы победить есть» [1].
Но будучи реалистом и обладая колоссальным опытом, он понимает, что даже если «шансы есть», это отнюдь не гарантирует победу. А значит нужно обязательно иметь план «Б» на случай, если шансы не материализуются.
Прежде чем рассказать об этом плане (подробный рассказ самого Кай-Фу см. [2]), я тезисно расскажу, как Кай-Фу Ли видит ситуацию, при которой план «А» (стать #1 в мире ИИ) будет для Китая уже невозможным.
1. Не смотря на ряд обоснованных сомнений скептиков и уж видимых для экспертов техно-экономических сложностей, вероятность создания AGI примерно к 2030 весьма высока (обоснование этого читатель может найти в [3]).
2. Пятилетка движения к AGI будет иметь два движка:
a. Неукротимое масштабирование всего (HW, фундаментальные модели, вывод), потребующее астрономических сумм - сотен ярдов) – см. [4]
b. Ажиотажное заселение пока почти пустого рынка агентских приложений (см рис [5] из отчета [6])
3. В масштабировании США победят Китай и по деньгам, и по оборудованию. А при заселении рынка агентских приложений у Китая есть неплохие шансы.
4. Тот, кто первым разработает AGI, способный доминировать над конкурентами, не только достигнет технологического рубежа, но и неизбежно станет коммерческой монополией. Более того, такой прорыв, скорее всего, подстегнет амбиции стать абсолютным монополистом.
5. Скорее всего, абсолютным монополистом станет OpenAI, конкурирующая только с Anthropic (Google все больше отстает от пары лидеров; Цукер уже понял, что слил гонку, и выбрал тактику — “если не можешь победить, открывай исходный код”; Маск — темная лошадка, но не потянет и космос, и AGI; остальные не в счет).
6. Как только AGI окажется в руках Сэма Альтмана, все остальные могут курить бамбук.
Поэтому план «Б» таков.
1. Построить экосистему агентских приложений как ров - к тому времени, как OpenAI достигнет полного доминирования, у Китая уже должна быть надежная коммерческая экосистема агентских приложений. И когда США придут, чтобы сокрушить Китай, по крайней мере, у Китая будет возможность сопротивляться.
2. Копать этот ров Китай будет в понимании, что при заселении рынка агентских приложений будет переход от графических пользовательских интерфейсов (GUI) к разговорным пользовательским интерфейсам (CUI) и в конечном итоге к пользовательскому интерфейсу на основе делегирования (если ваш помощник умнее, способнее, осведомленнее и понимает вас лучше, чем вы сами, почему бы вам не позволить ему сделать все за вас)
3. Помимо этого понимания у Китая уже есть стратегия, в корне отличная от США
a. В компании США набирают самых умных, дают им огромные ресурсы и без колебаний сжигают GPU, создавая массу захватывающих результатов.
Но уменьшить эти результаты при коммерциализации очень сложно. Это как спроектировать самую роскошную, красивую и грандиозную кухню, а затем пытаться втиснуть ее в маленькую квартиру. Или создать самый быстрый, самый мощный двигатель и пытаться втиснуть его в малолитражку. Это просто не работает.
b. Поэтому цель Китая — не строить самый дорогой в мире AGI, а
1) создавать фундаментальные модели, обеспечивающие экономически эффективный вывод
2) Печь как пирожки всевозможные коммерческие приложения с разговорным и делегирующим интерфейсом.
PS Про термин AGI спорить нет смысла.
Речь об ИИ (уровня гениальных людей) на основе моделей, настолько же мощнее GPT-4 (уровень старшеклассника), насколько GPT-4 мощнее GPT-2 (уровень детсадовца). И на это до 2030 ресурсов и денег хватит. А про сознание, квалиа и прочую казуистику в контексте AGI – забейте.
#ИИгонка #AGI #Китай #США
Как Китай собирается остаться №2, даже когда США подомнут под себя весь мир.
Одной фразой план таков: к моменту, когда в США создадут AGI, Китай должен успеть стать мировым лидером в агентских приложениях.
В октябре я рассказывал про то, что «Кай-Фу Ли объявил войну Nvidia и всей ИИ-экосистеме США. И судя по его последним достижениям, шансы победить есть» [1].
Но будучи реалистом и обладая колоссальным опытом, он понимает, что даже если «шансы есть», это отнюдь не гарантирует победу. А значит нужно обязательно иметь план «Б» на случай, если шансы не материализуются.
Прежде чем рассказать об этом плане (подробный рассказ самого Кай-Фу см. [2]), я тезисно расскажу, как Кай-Фу Ли видит ситуацию, при которой план «А» (стать #1 в мире ИИ) будет для Китая уже невозможным.
1. Не смотря на ряд обоснованных сомнений скептиков и уж видимых для экспертов техно-экономических сложностей, вероятность создания AGI примерно к 2030 весьма высока (обоснование этого читатель может найти в [3]).
2. Пятилетка движения к AGI будет иметь два движка:
a. Неукротимое масштабирование всего (HW, фундаментальные модели, вывод), потребующее астрономических сумм - сотен ярдов) – см. [4]
b. Ажиотажное заселение пока почти пустого рынка агентских приложений (см рис [5] из отчета [6])
3. В масштабировании США победят Китай и по деньгам, и по оборудованию. А при заселении рынка агентских приложений у Китая есть неплохие шансы.
4. Тот, кто первым разработает AGI, способный доминировать над конкурентами, не только достигнет технологического рубежа, но и неизбежно станет коммерческой монополией. Более того, такой прорыв, скорее всего, подстегнет амбиции стать абсолютным монополистом.
5. Скорее всего, абсолютным монополистом станет OpenAI, конкурирующая только с Anthropic (Google все больше отстает от пары лидеров; Цукер уже понял, что слил гонку, и выбрал тактику — “если не можешь победить, открывай исходный код”; Маск — темная лошадка, но не потянет и космос, и AGI; остальные не в счет).
6. Как только AGI окажется в руках Сэма Альтмана, все остальные могут курить бамбук.
Поэтому план «Б» таков.
1. Построить экосистему агентских приложений как ров - к тому времени, как OpenAI достигнет полного доминирования, у Китая уже должна быть надежная коммерческая экосистема агентских приложений. И когда США придут, чтобы сокрушить Китай, по крайней мере, у Китая будет возможность сопротивляться.
2. Копать этот ров Китай будет в понимании, что при заселении рынка агентских приложений будет переход от графических пользовательских интерфейсов (GUI) к разговорным пользовательским интерфейсам (CUI) и в конечном итоге к пользовательскому интерфейсу на основе делегирования (если ваш помощник умнее, способнее, осведомленнее и понимает вас лучше, чем вы сами, почему бы вам не позволить ему сделать все за вас)
3. Помимо этого понимания у Китая уже есть стратегия, в корне отличная от США
a. В компании США набирают самых умных, дают им огромные ресурсы и без колебаний сжигают GPU, создавая массу захватывающих результатов.
Но уменьшить эти результаты при коммерциализации очень сложно. Это как спроектировать самую роскошную, красивую и грандиозную кухню, а затем пытаться втиснуть ее в маленькую квартиру. Или создать самый быстрый, самый мощный двигатель и пытаться втиснуть его в малолитражку. Это просто не работает.
b. Поэтому цель Китая — не строить самый дорогой в мире AGI, а
1) создавать фундаментальные модели, обеспечивающие экономически эффективный вывод
2) Печь как пирожки всевозможные коммерческие приложения с разговорным и делегирующим интерфейсом.
PS Про термин AGI спорить нет смысла.
Речь об ИИ (уровня гениальных людей) на основе моделей, настолько же мощнее GPT-4 (уровень старшеклассника), насколько GPT-4 мощнее GPT-2 (уровень детсадовца). И на это до 2030 ресурсов и денег хватит. А про сознание, квалиа и прочую казуистику в контексте AGI – забейте.
#ИИгонка #AGI #Китай #США