gonzo-обзоры ML статей
23.3K subscribers
2.43K photos
2 videos
3 files
1.17K links
Авторы:
Гриша Сапунов, ранее руководитель разработки Яндекс-Новостей, ныне CTO Intento. Области интересов: AI/ML/DL, биоинформатика.
Лёша Тихонов, ранее аналитик в Яндексе, автор Автопоэта, Нейронной Обороны... Области интересов: discrete domain, NLP, RL.
Download Telegram
This media is not supported in your browser
VIEW IN TELEGRAM
💯1610
Субботнее нетрадиционное.

Давно про книги не писал, и в частности всё никак не напишу о двух крутых книгах, которые прочитал, "Einstein's Mirror" и "The New Quantum Universe" про теорию относительности и квантовый мир соответственно.

Обе от одних и тех же авторов, Tony Hey и Patrick Walters, дополняют друг друга. Изначально была первая версия "The Quantum Universe", потом появилась книга компаньон про теорию относительности, затем вышла новая версия про квантовый мир.

Так вот, что в них прекрасно, это правильный микс сути и деталей различных открытий, интуиции за всем этим, и исторического контекста, включая что было неверно и от каких идей отказались и почему.

Книги скорее научно популярные, но с формулами. Тогда ещё, видимо, не открыли идею, что каждая формула уменьшает количество покупателей книги. И слава богу. Без формул плохо, но с одними формулами без интуиции за ними тоже хреново, таких книг я видел достаточно.

Первая половина Einstein's Mirror про специальную теорию относительности, вторая про гравитацию и общую теорию относительности.

Я наконец понял более-менее, что за время тогда было, какие идеи господствовали и как Эйнштейн пришёл к своим, в чём была суть мысленного эксперимента с зеркалом, и так далее. Я специальную теорию относительности до сих пор интуитивно не до конца понимаю, всё-таки странно это, что независимо от скоростей движущихся объектов, скорость света всегда константна, непонятно почему оно так.

Есть большая глава про атомную и водородную бомбу, Ричард Родес (которого любит товарищ Дарио Амодеи) в миниатюре.

Квантовая вселенная понятно про квантовый мир и какую-то базовую интуицию за ним, где это возможно. С интуицией тут конечно сложнее, хз почему оно именно так, но всё же.

Я наконец понял суть неравенства Белла, и наверное немного получше стал понимать про электронные оболочки. А также про сверхпроводимость, конденсат Бозе-Эйнштейна, сверхтекучий гелий, ультрахолодные атомы и охлаждение с помощью лазеров и что-то ещё, там много разных тем. Про туннелирование и раньше вроде неплохо знал, спасибо туннельным диодам :) Про запутанность, кстати, не то чтобы много написано.

В этой книге есть свои главы про ядро и ядерные реакции. Есть про устройство звёзд. Что для меня было открытием, так это про термояд. Я привык, что водородную бомбу называют маленьким Солнцем, думал там и реакция та же идёт. А нифига. В термоядерной бомбе реагируют дейтерий с тритием, тут чисто реакции сильного взаимодействия. А в звёздах не так. В Солнце играют и сильное, и слабое взаимодействия, протон-протонная реакция не идёт без квантового туннелирования. Это меняет динамику всего процесса, и кажется это самое медленное звено (пишут, что каждый отдельный протон внутри Солнца должен претерпеть в среднем более миллиарда лет столкновений прежде чем он образует дейтерий -- на фоне времени жизни Солнца, ему сейчас 4.6 миллиарда, огромное число). Когда два протона слились во временное ядро и один из них успел превратиться в нейтрон, так что они образовали дейтерий, всё идёт быстрее, тут уже только сильное взаимодействие (и электромагнитное) -- протон с дейтерием дают гелий-3, два гелия-3 дают гелий-4 и ещё пару протонов. А в более тяжёлых и горячих звёздах другой процесс -- углеродный цикл, тоже не требующий слабого взаимодействия.

В общем много ещё всего интересного, я и половины тем не перечислил. Очень рекомендую. Может где-то что-то переврал, прастити, я не настоящий сварщик.

В этой паре книг не хватает книги про информационный мир. Но с другой стороны, один из авторов (Hey) написал книгу Feynman and Computation, лежит в очереди.

#books
141🔥146
Очередная прикольная работа про улучшение ризонинга:

https://t.iss.one/gonzo_ML_podcasts/386

Здесь предложен фреймворк ASTRO, который через MCTS генерит деревья решений, которые затем линеаризуются (с сохранением бэктрекинга) и на этом делается SFT, а за ним RLVR. Результат хорош (хотя и дороговат, наверное).

Вообще какое-то безумное количество работ вокруг этой и близких тем сейчас идёт, это явно один из фронтиров. Недавняя RLIF сюда же.
👍12🔥73
В последнее время набрала популярность тема про генерацию картинок с азбукой через ChatGPT и подобное. Типа вот как тут: https://pikabu.ru/story/gpt_image_popyitalsya_sgenerirovat_russkiy_alfavit_mnogo_raz_12908412

Прикольно, конечно, но до человеческого бенчмарка в лице китайских кубиков — как до луны. Идеал тут: https://trinixy.ru/18802-kitajjskie_kubiki_polnaja_versija_72_kubika.html

Что сказать на эту тему... Во-первых, есть надежда на новые мультимодальные версии DeepSeek. Во-вторых, предлагаю добавить этот кейс как новый бенчмарк в набор для оценки AGI способностей.
1😁235
GPT
😁62👍1👏1
Человек! Не без помощи плохого перевода, видимо.
😁47🔥11❤‍🔥1