"все совпадения не случайны" -- лента принесла пост Даши, очень в тему моего предыдущего. Я с Даней тоже немного знаком по работе -- слова Даши поддерживаю:)

Следя за успехами SpaceX и трудностями Boeing в космической гонке, полезно помнить, что она очень сильно демократизировалась за несколько последних лет. В космонавтике теперь есть достойное место не только для государственных агентств и мегакорпораций — но и для стартапов и университетов.
В этой демократизации огромную роль сыграли CubeSats, кубсаты — микроспутники с типичной массой в пару килограмм. Главное, что и стоимость их на порядки ниже, чем у традиционных аппаратов, характерный масштаб около миллиона долларов вместо сотен миллионов.
Эти малыши понемногу берут на себя задачи не только в околоземном пространстве. В октябре этого года в рамках активностей по изучению и разработке способов защиты Земли от астероидов, Европейское космическое агентство запустит к поясу астероидов проект Hera, в котором задействованы пара кубсатов.
Статью про кубсаты приятно почитать, чтоб отдохнуть от гигантизма тех проектов, которые все время на слуху, хоть про космос, хоть про ИИ:)
https://www.fastcompany.com/91199034/cubesats-tiny-satellites-changing-space-exploration

Все лидеры бигтеха, занятого разработкой ИИ, любят говорить, что в процессе всеобщего улучшения будущего ИИ сильно изменит образование, оно станет персонализированным, эффективным и прочие общие слова. Но вот Гугл поставил интересный эксперимент для получения в этой теме более конкретных ответов. Инструмент выбран правильно: собранные со всего мира стартапы в области EdTech. Таковых набралось 21, я тут не буду весь список приводить, лучше его посмотреть по ссылке.
Но некоторые описания целей стартапов реально круты и интригуют, вот примеры:
◦ Превратить стандартный Chromebook или планшет в в единое обучающее пространство, сохраняющее в основе своей рукописный текст
◦ ИИ-генератор рассказов как платформа для обучения чтению, на которой обучение грамотности сочетается с персональным захватывающим контентом
◦ Платформа, предназначенная для бизнесов и вендоров софта, которая позволяет проводить выскоуровневые тренинги и обеспечивает учебные материалы для переподготовки персонала и подготовки пользователей
◦ Высокотехнологичная обучающая платформа, доступная на низкотехнологичных устройствах
По каждому заинтересовавшему стартапу можно сразу уйти на его сайт читать подробности, я на некоторых залип:)

https://blog.google/outreach-initiatives/entrepreneurs/ai-for-education-cohort/

📸 В Китае прошло шоу дронов, установившее новый мировой рекорд. Одновременно в воздух было поднято 7598 беспилотных летательных аппаратов, управляемых с одного ноутбука.

Цукерберг сделал официальную заявку на победу в очень нынче популярном конкурсе. Стартапы, бигтехи, эксперты — все хотят предъявить миру его пост-смартфонное будущее: какое устройство взойдет на трон универсального и самого популярного интерфейса к цифровому миру, когда ныне царствующие смартфоны отправятся на пенсию.
I think that this is probably going to be the next major platform after phones — заметил Марк по поводу недавно им представленных AR-очков Orion. Он выказал надежду, что следующая итерация этого устройства уже будет не дорогим прототипом, а доступным пользовательским устройством.
Вот хочется почему-то поклонникам метавселенной погрузить нас в мир очкариков, в другие, реально новые форм-факторы они не верят:)
Посмотрим, что в итоге победит — фантазия и воображение или здоровый консерватизм (так мне неожиданно для самого себя пришлось Цукерберга причислить к консерваторам..)
https://www.benzinga.com/news/24/09/41084112/mark-zuckerberg-says-orion-is-probably-going-to-be-the-next-major-platform-after-phones-metas-new-ar

Помните Вещь из кино про семейку Адамс? Впрочем, еще и в каких-то ужастиках фигурировали автономные кисти рук:) Эта идея явно вдохновила теперь уже и разработчиков роботов: инженеры Swiss Federal Institute of Technology из Лозанны показали свою разработку на основе роборуки Kuka: оконечный манипулятор, очень похожий на человеческую кисть, при необходимости может самостоятельно отделяться от роборуки, забираться туда, куда рука целиком не пролезает, а совершив нужные действия воссоединяться с рукой.
Меня по ходу просмотра "Уэнсдэй" регулярно посещала мысль об удивительной практичности Вещи:) Неудивительно и прекрасно, что нашлись люди, которые не просто подумали, а пошли и сделали.
https://www.extremetech.com/science/new-robot-hand-can-detach-from-arm-move-around-and-reattach-at-will

Обожаю такие заметки, хотя стараюсь ими тут не делиться: кажется, что мои читатели заслуживают лучшего. Но иногда трудно себя сдержать… :)

Так прекрасно, когда нам пишут, что доцент на кафедре физики в Портсмуте обнаружил в Библии доказательство того, что мир наш является симуляцией. Просто все веками невнимательно читали начало Евангелия от Иоанна, там же ясно сказано:
«В начале было Слово, и Слово было у Бога, и Слово было Бог.» Слово, по мнению Мелвина Вопсона, на самом деле было компьютерным кодом: «“The code running the simulation is not separate from the divine, but rather an integral part of it, perhaps an AI.”» Я только не понимаю, что он сразу-то не говорит, что Слово — это про большую языковую модель, откуда же еще словам-то взяться.
Хотя программистам должно, наверное, польстить, что “the act of creation, as described in the Bible, could be analogous to a divine act of programming and simulation.”

https://www.uniladtech.com/news/ai/scientist-proof-ai-world-computer-simulation-707639-20240930

Вот и Nvidia явно вступила в гонку моделей — и, поскольку ее бизнес не в том, чтоб продавать так или иначе доступ к модели, а в том, чтобы больше покупали железо, на котором модели гоняют — модель опенсорсная, мультимодальная (хотя пока без голоса, только со зрением). По заявке самой компании, да и по первым откликам — NVLM 1.0, a family of frontier-class multimodal large language models вполне конкурентосособно, оно achieve state-of-the-art results on vision-language tasks, rivaling the leading proprietary models (e.g., GPT-4o).
https://venturebeat.com/ai/nvidia-just-dropped-a-bombshell-its-new-ai-model-is-open-massive-and-ready-to-rival-gpt-4/

Я много где много какие лекции читаю — но редко даю на них ссылки здесь: слишком часто вне контекста мероприятия и разговоров за кадром они мало кому полезны или интересны.
Но вот вчера в Иннополисе я рассказывал некую духоподъемную версию своего видения процессов вокруг ИИ — и она вполне самодостаточна.
Вообще каждый год мне нравится обновлять свои даже традиционные материалы, используя появившиеся за год новые идеи и метафоры. И вот как раз примерно год назад я влюбился — с подачи Сатьи Наделлы — в метафору велосипеда на паровом ходу, и вчерашняя лекция, видимо, одна из последних, на которых эту метафору эксплуатирую, пора обновляться. Но как раз итоги прошедшего года вчерашний рассказ хорошо подводит (с моей точки зрения, конечно).
Аудитория была пестрая, поэтому и лекция совершенно не заточена под специалистов — но в каком-то смысле этим и хороша:) Как раз под надвигающееся выходные интересующимся предлагаю рассказ на полтора часа. Чисто в аудио это можно слушать, но лучше все-таки видеть картинку, потому что на слайдах есть интересные иллюстрации того, о чем говорю — и эти картинки я не пересказываю.
Приятного просмотра-прослушивания любителям:)
https://vk.com/video-216917984_456239039

Прикольный факт. Последнее время часто говорят про “великолепную семерку” — семь технологических компаний, самых дорогих по оценке американского рынка; в порядке убывания капитализации на сейчас это Apple, Microsoft, Nvidia, Alphabet, Amazon, Meta, Tesla.
Внутри случались перестановки, но сама семерка казалось крепкой, и еще по тому красивой, что все имена в ней достаточно на слуху, широкая публика знает, а не только внутриотраслевые люди.
И вот надо же: Теслу в действительности еще весной выпнули из семерки (хотя вполне возможно, что временно). Сделать это сумела Broadcom, которая с тех пор большую времени продолжала цениться выше распиаренной Теслы. В исторической перспективе картинка еще любопытней: Тесла сейчас откатилась туда, где была 4 года назад; Broadcom за это время раза в три подорожала.
Вот уж не все то золото, что блестит:)) А ведь состав семерки никто больше не обсуждает: как-то не хочется заменять знаменитость на более скромного профи
PS поправил забавную опечатку, Тесла теперь в тексте "распиаренная", хотя вариант "распаренная" был по-своему неплох:))

https://fortune.com/2024/10/05/broadcom-tesla-magnificent-7-companies-market-cap/

Последнее время уже от вроде бы разумных людей приходится слышать тревожные вопросы на тему перегрева планеты за счет энергии, необходимой датацентрам для проведения ИИ-расчетов.
Не надо прислушиваться к громкой тревоге людей, которые совсем не в ладах с арифметикой и с базовыми представлениями о нашей земной цивилизации. Вот некоторое количество исходных цифр; очень надеюсь, что мои читатели в арифметику в большинстве своем умеют.
◦ Датацентры США в 2022 отвечали за 4% энергопотребления США; к 2026 ожидается 6%, а к 2030 — до 10%
◦ Доля потребления на AI-процессы внутри потребления датацентрами составляет от 5 до 10%, достигнет к 2025 20%
◦ Поскольку рост энергозатрат на ИИ идет сейчас с очень низкой базы, легко пугать словами, что затраты выросли в разы за пару лет. Можно было бы добавлять, что за 10 лет они вообще в бесконечность раз выросли, но даже активисты и журналисты понимают, что манипуляции требуют осторожности:)
◦ В абсолютных цифрах НЕсвязанное с AI энергопотребление в ДЦ — 142 ТВтч в 2023 и 304 ТВтч в 2030; AI потребление 4 ТВтч в 2023 и 93 ТВтч в 2030
Дальше уже от меня: это Штаты, а тамошние ДЦ обрабатывают большую часть мировых запросов, так что в мировом энергопотреблении ИИ отвечает сильно меньше чем за 4% (от датацентров, напоминаю). Причина успеха всех алармистских манипуляций в том, что некоторые важные вещи люди себе не представляют даже по порядку величины. Например, колоссальную энерговооруженность мирового хозяйства 🙂 Которое в прошлом году потребило 620 ЭДж (нечасто встретишь эксаджоули в дикой природе :)), что составляло в 2023 примерно 172 222 ТВтч. Ну, теперь вспомните про 4 ТВтч, потраченные в том же году на ИИ. Все так же пугает?
https://www.axios.com/2024/10/04/ai-energy-data-center-growth
Про мировое производство энергии см. здесь - https://www.visualcapitalist.com/visualizing-global-energy-production-in-2023/

Года полтора назад мы с Ваней Ямщиковым в подкасте с удовольствием обсуждали эмерджентность в связи с быстрым прогрессом возможностей языковых моделей, потом на этот термин ополчились исследователи из Стенфорда — людей, настаивающих на предсказуемости мира, вокруг хватает. Словечко тихо ушло из публичных споров про ИИ. А идеи и употребление в частных разговорах — остались. Решил напомнить в очередной колонке для Форбса;)

https://www.forbes.ru/mneniya/522204-ot-aristotela-do-al-tmana-pocemu-emerdzentnost-klucevoj-termin-dla-ponimania-ii

(Тот подкаст, где «эмерджентность» даже в названии — LLMs как герои 23Q1; готовимся встречать мультимодальность, эмбодимент и эмерджентность :)
И ведь все правильно говорили;))

Прекрасную ссылку прислал мне неравнодушный читатель; спасибо, Александр!
Профессора математики в калифорнийском университете UCLA Теренса Тао иногда называют Моцартом математики, он филдсофский лауреат (аналог Нобелевской для математиков) и вообще звезда.
Профессору явно не чуждо любопытство в отношении языковых моделей, и потестировав недавно о1, он отметил большой прогресс по сравнению с прежними версиями: можно сравнить с посредственным, но не совсем безнадежным магистрантом-математиком. Такой отзыв вызвал интерес журналиста, который с ним созвонился и постарался прояснить отношение профессора Тао к ИИ. Тот отметил, что ИИ открывает дорогу к “математике промышленного масштаба”, которая прежде была невозможна.
Сейчас главное препятствие — посредственность модели как помощника состоит в том, что она ничему не учится в процессе (речь о периодах длиннее одной сессии).
Но если заглянуть вперед, коллаборация людей и ИИ выглядит очень многообещающей:
I think at the frontier, we will always need humans and AI. They have complementary strengths. AI is very good at converting billions of pieces of data into one good answer. Humans are good at taking 10 observations and making really inspired guesses.
https://www.theatlantic.com/technology/archive/2024/10/terence-tao-ai-interview/680153/

Сегодняшняя Нобелевская по физике — неожиданно приятный для меня, как физика по образованию, работающего в ИТ, сюрприз.
А заодно — напоминалка всем, как тесно и порой причудливо переплетено все в науке. Выбор Нобелевского комитета напомнит всем, что еще с 80-х годов прошлого века не только математики и люди из computer science активно интересовались машинным обучением и искусственными нейронными сетями. Когда дело доходит до связи математической статистики с миром вокруг (а ИИ-модели во многом про это) — статистической физике есть что сказать:))
А если вспомнить про переплетение и взаимовлияние —
Because physics has contributed tools for the development of machine learning, it is interesting to see how physics, as a research field, is also benefitting from artificial neural networks. Machine learning has long been used in areas we may be familiar with from previous Nobel Prizes in Physics.
Поздравления лауреатам-2024: Джону Хопфилду и Джеффри Хинтону!
https://www.nobelprize.org/uploads/2024/10/popular-physicsprize2024.pdf

Второй день присуждения Нобелевских — вторая премия за ИИ. Теперь по химии.
В отличие от вчерашней, даже у любителей понудить она не вызывает особого недовольства: что ИИ фундаментально изменил и биохимию, и массу биологических исследований, согласны все, включая скептиков.
В этой премии еще приятно отметить, что отчасти она ушла не чисто в академию: двое из трех лауреатов работают в Google DeepMind.
Достаточно популярная (и одновременно вполне детальная) научная и практическая суть — по ссылке:
https://www.nobelprize.org/uploads/2024/10/advanced-chemistryprize2024.pdf

О, Нобелевская потихоньку начинает обретать черты хорошего шоу. Не успели отшуметь бурные споры по поводу и того, насколько присужденная по физике премия имеет отношение к физике (хотя еще как имеет), и насколько свежеиспеченные лауреаты ее достойны — как один из них произнес фразу, достойную хорошего ситкома.
Рассказывая о роли Университета Торонто, менторов и студентов оттуда, без которых не было бы отмеченных премией результатов, Джеффри Хинтон заметил про своих студентов: “They’ve gone on to do great things. I’m particularly proud of the fact that one of my students fired Sam Altman. And I think I better leave it there.”
https://fortune.com/2024/10/09/openai-sam-altman-geoffrey-hinton-nobel-prize-physics-ilya-sutskever-toronto/

Я, конечно, сам не ожидал, что в моем канале придется давать ссылку на ЖЖ, но вот так вышло. Нигде больше не видел настолько подробного разбора, почему это очень правильно и по делу — именно физикам дать Нобелевскую за нейросети, точнее - за ту физику, которая лежала и лежит в основе современных прорывов.
Толя Левенчук феноменально методичен и по-хорошему педантичен, поэтому все последовательно раскладывает по полочкам, попутно с грустью отмечая, что уверенные в своей крутизне и начитанности очень сильные MLщики не очень-то, в действительности, образованы.
Текст требует приличного знания физики, поэтому прошу прощения у читателей, привыкших к более популярным постам и статьям по ссылкам. Но, увы, совсем простыми словами не ответить на вопрос “Но как вообще брать математику спиновых стёкол из физики и тащить её "назад в математику" и далее в computer sciense как алгоритм?” — и даже суть самого вопроса не передать.
https://ailev.livejournal.com/1737734.html