Ещё по заявкам читателей. Спасибо Teo за ссылку на интересную статью!

Мы много писали про динамические вычисления, когда слои вычисляются в разном порядке, с циклами и пропусками (например тут и тут). Текущая работа делает прикольный заход — рассматривает каждый слой как функцию и собирает отдельную маленькую сеть, обучающуюся генерировать композицию этих функций под конкретный вход. Результат стабильно лучше по качеству а часто ещё и быстрее. Отдельно прикольно, что выкидывание слоёв тоже улучшает результат. Как показали другие статьи, глубже — не обязательно лучше.

Skip a Layer or Loop It? Learning Program-of-Layers in LLMs
Ziyue Li, Yang Li, Tianyi Zhou
Paper: https://arxiv.org/abs/2606.06574
Code: https://github.com/tianyi-lab/PoLar
Model: N/A

ЧТО сделали: Представили Program-of-Layers (PoLar) — метод без дообучения базовой модели (training-free), который рассматривает слои предобученной LLM как библиотеку вызываемых функций. Вместо прогона каждого входа через жёсткий последовательный прямой проход (forward pass), легковесный предиктор на 2.1 млн параметров генерирует под конкретный запрос программу исполнения, динамически пропуская (skip), сохраняя (keep) или зацикливая (repeat) непрерывные сегменты слоёв.

ПОЧЕМУ это важно: Работа наглядно доказывает, что статичный порядок слоёв фиксированной глубины задействует лишь малую часть внутреннего потенциала рассуждений LLM. Динамическая компиляция путей исполнения на этапе инференса позволяет перераспределять скрытые вычисления: модель заметно прибавляет в точности и снижает задержку, при этом веса самой базовой модели не меняются и не дообучаются.

Для практиков: Современные трансформеры тратят одинаковое количество вычислительных шагов как на элементарные запросы, так и на сложнейшие математические задачи. PoLar внедряет мета-контроллер, который планирует исполнение замороженной модели под каждый конкретный запрос: пропускает лишние внутренние слои на простых задачах для экономии времени и повторяет аналитические блоки на сложных для повышения точности. Такой стиринг архитектуры снижает задержку и ощутимо улучшает качество на сложных бенчмарках без дорогостоящего файнтюнинга.

Собирать программу из слоёв тут: https://t.iss.one/gonzo_ML_podcasts/4795

Внутренняя магия оптимизаторов и калибровочные симметрии.

The Loss Does Not See the Basis, but Adam Does
Devender Singh
Paper: https://arxiv.org/abs/2608.05136
Code: https://github.com/idevender/loss-basis-adam
Review: https://arxiviq.substack.com/p/the-loss-does-not-see-the-basis-but

ЧТО сделали: В работе представлена теоретическая и эмпирическая база для классификации оптимизаторов на основе калибровочной эквивариантности (gauge equivariance) относительно ортогональных преобразований в факторизованных моделях (W = UV^T). Автор доказывает теорему о структуре, характеризующую эквивариантные обновления без памяти как левые предусловители, определяемые матрицей Грама. Также доказана теорема переноса, связывающая потоки со скалярным предусловием с рескейленным градиентным спуском, и продемонстрировано, что зависящие от базиса оптимизаторы вроде Adam разрушают низкоранговую неявную регуляризацию, тогда как калибровочно-эквивариантные оптимизаторы (Gradient Descent, Muon, Shampoo) сохраняют её.

ПОЧЕМУ это важно: Годами ML-сообщество оценивало оптимизаторы преимущественно по скорости сходимости и эффективности снижения функции потерь. Эта работа доказывает, что выбор оптимизатора фундаментально определяет, какое именно интерполирующее решение найдёт сеть. Покоординатная адаптивность разрушает внутренние вращательные симметрии, что приводит к серьёзным последствиям для обобщающей способности и слияния моделей (model merging, включая техники permutation и rotational re-basin) в современных архитектурах вроде трансформеров.

Для практиков: Когда у моделей глубокого обучения есть избыточная факторизация параметров — например, матричные разложения или головы внимания в трансформерах — существует бесконечно много внутренних координатных базисов, которые дают абсолютно одинаковую функцию и лосс на обучении. Однако популярные оптимизаторы вроде Adam относятся к отдельным координатным осям по-разному. В результате Adam выбирает решения с более высоким рангом и худшей обобщающей способностью в зависимости от случайного начального поворота. В то же время оптимизаторы вроде Gradient Descent или Muon относятся ко всем направлениям симметрично и естественным образом находят простые низкоранговые решения. Инженерам важно понимать: выбор оптимизатора меняет то, чему учится модель, а не только то, как быстро она обучается.

Искать симметрии тут: https://t.iss.one/gonzo_ML_podcasts/4796

Мы с @alexanderchemeris завели новый канал https://t.iss.one/gonzo_worlds. Там мы будем делать разборы статей по World Models и всему вокруг, что пересекается с нашими интересами: JEPA, латенты, representation learning, robotics, embodiment, real-time control и control theory и прочее. Формат разный — автообзоры, ручные обзоры, полезные ссылки.

А тем временем, наш канал уходит в долгожданный отпуск. Увидимся в сентябре! Писать может иногда что-то буду, но регулярно точно не буду. Оставлю напоследок пост про книгу.

Прочитал тут Timeline Майкла Крайтона (Michael Crichton). Не знал про него раньше, но оказывается это он написал книгу Jurassic Park. И вообще он много чего написал.

Роман про то, как серийный стартапер уходит в квантовые технологии и изобретает какой-то вариант машины времени. Ссылается на Дойча и описания мультиверса тоже как у Дойча в Fabric of Reality (рекомендую, кстати, если не читали), но путешествие по времени работает неправильно, не как у Дойча :) Ну да ладно, на hard sci-fi он вроде не претендует. Странно также, что в книге глупая ошибка сохранилась про консервацию развалин азотом, который у него ТЯЖЕЛЕЕ воздуха и вытесняет кислород.

В остальном прикольный роман про средние века и столетнюю войну. Профессор археологии, работающий на главного героя, отправляется в прошлое и там застревает, так что вызволять его отправляются его студенты историки и археологи. Про средние века, надеюсь, не наврал, ссылается он на огромное количество книг по теме. Читается довольно хорошо, в целом норм. Ещё я с интересом узнал, что окситанский язык сейчас является одним из официальных в Каталонии. Вообще не знал про него.

Но лучше всего в книге всё же завязка и ещё лучше вступление. Скопирую сюда:

=======
Science at the End of the Century

A hundred years ago, as the nineteenth century drew to a close, scientists around the world were satisfied that they had arrived at an accurate picture of the physical world. As physicist Alastair Rae put it, “By the end of the nineteenth century it seemed that the basic fundamental principles governing the behavior of the physical universe were known.”* Indeed, many scientists said that the study of physics was nearly completed: no big discoveries remained to be made, only details and finishing touches.

But late in the final decade, a few curiosities came to light. Roentgen discovered rays that passed through flesh; because they were unexplained, he called them X rays. Two months later, Henri Becquerel accidentally found that a piece of uranium ore emitted something that fogged photographic plates. And the electron, the carrier of electricity, was discovered in 1897.

Yet on the whole, physicists remained calm, expecting that these oddities would eventually be explained by existing theory. No one would have predicted that within five years their complacent view of the world would be shockingly upended, producing an entirely new conception of the universe and entirely new technologies that would transform daily life in the twentieth century in unimaginable ways.

If you were to say to a physicist in 1899 that in 1999, a hundred years later, moving images would be transmitted into homes all over the world from satellites in the sky; that bombs of unimaginable power would threaten the species; that antibiotics would abolish infectious disease but that disease would fight back; that women would have the vote, and pills to control reproduction; that millions of people would take to the air every hour in aircraft capable of taking off and landing without human touch; that you could cross the Atlantic at two thousand miles an hour; that humankind would travel to the moon, and then lose interest; that microscopes would be able to see individual atoms; that people would carry telephones weighing a few ounces, and speak anywhere in the world without wires; or that most of these miracles depended on devices the size of a postage stamp, which utilized a new theory called quantum mechanics—if you said all this, the physicist would almost certainly pronounce you mad.

Most of these developments could not have been predicted in 1899, because prevailing scientific theory said they were impossible. And for the few developments that were not impossible, such as airplanes, the sheer scale of their eventual use would have defied comprehension. One might have imagined an airplane—but ten thousand airplanes in the air at the same time would have been beyond imagining.

So it is fair to say that even the most informed scientists, standing on the threshold of the twentieth century, had no idea what was to come.

:

Now that we stand on the threshold of the twenty-first century, the situation is oddly similar. Once again, physicists believe the physical world has been explained, and that no further revolutions lie ahead. Because of prior history, they no longer express this view publicly, but they think it just the same. Some observers have even gone so far as to argue that science as a discipline has finished its work; that there is nothing important left for science to discover.*

But just as the late nineteenth century gave hints of what was to come, so the late twentieth century also provides some clues to the future. One of the most important is the interest in so-called quantum technology. This is an effort on many fronts to create a new technology that utilizes the fundamental nature of subatomic reality, and it promises to revolutionize our ideas of what is possible.

Quantum technology flatly contradicts our common sense ideas of how the world works. It posits a world where computers operate without being turned on and objects are found without looking for them. An unimaginably powerful computer can be built from a single molecule. Information moves instantly between two points, without wires or networks. Distant objects are examined without any contact. Computers do their calculations in other universes. And teleportation—”Beam me up, Scotty”—is ordinary and used in many different ways.

In the 1990s, research in quantum technology began to show results. In 1995, quantum ultrasecure messages were sent over a distance of eight miles, suggesting that a quantum Internet would be built in the coming century. In Los Alamos, physicists measured the thickness of a human hair using laser light that was never actually shone on the hair, but only might have been. This bizarre, “counterfactual” result initiated a new field of interaction-free detection: what has been called “finding something without looking.”

And in 1998, quantum teleportation was demonstrated in three laboratories around the world—in Innsbruck, in Rome and at Cal Tech.* Physicist Jeff Kimble, leader of the Cal Tech team, said that quantum teleportation could be applied to solid objects: “The quantum state of one entity could be transported to another entity…. We think we know how to † do that.”† Kimble stopped well short of suggesting they could teleport a human being, but he imagined that someone might try with a bacterium.

These quantum curiosities, defying logic and common sense, have received little attention from the public, but they will. According to some estimates, by the first decades of the new century, the majority of physicists around the world will work in some aspect of quantum technology.*

:

It is therefore not surprising that during the mid-1990s, several corporations undertook quantum research. Fujitsu Quantum Devices was established in 1991. IBM formed a quantum research team in 1993, under pioneer Charles Bennett.† ATT and other companies soon followed, as did universities such as Cal Tech, and government facilities like Los Alamos. And so did a New Mexico research company called ITC. Located only an hour’s drive from Los Alamos, ITC made remarkable strides very early in the decade. Indeed, it is now clear that ITC was the first company to have a practical, working application employing advanced quantum technology, in 1998.

In retrospect, it was a combination of peculiar circumstances—and considerable luck—that gave ITC the lead in a dramatic new technology. Although the company took the position that their discoveries were entirely benign, their so-called recovery expedition showed the dangers only too clearly. Two people died, one vanished, and another suffered serious injuries. Certainly, for the young graduate students who undertook the expedition, this new quantum technology, harbinger of the twenty-first century, proved anything but benign.

* Alastair I. M. Rae, Quantum Physics: Illusion or Reality? (Cambridge, Eng.: Cambridge University Press, 1994). See also Richard Feynman, The Character of Physical Law (Cambridge, Mass.: MIT Press, 1965). Also Rae, Quantum Mechanics (Bristol, Eng.: Hilger, 1986).

* John Horgan, The End of Science (New York: Addison-Wesley, 1996). See also Gunther Stent, Paradoxes of Progress (New York: W. H. Freeman, 1978).

* Dik Bouwmeester et al., “Experimental Quantum Teleportation, Nature 390 (11 Dec. 1997): 575–9.

† Maggie Fox, “Spooky Teleportation Study Brings Future Closer,” Reuters, 22 Oct. 1998. For Jeffrey R. Kimble, see A. Furusawa et al., “Unconditional Quantum Teleportation,” Science 282 (23 Oct. 1998): 706–9.

* Colin P. Williams and Scott H. Clearwater, Explorations in Quantum Computing (New York: Springer-Verlag, 1998). See also Gerard J. Milburn, Schrödinger’s Machines (New York: W. H. Freeman, 1997) and The Feynman Processor (Reading, Mass.: Perseus, 1998).

† C. H. Bennett et al., “Teleporting an Unknown Quantum State via Dual Classical and Einstein-Podolsky-Rosen Channels,” Physical Review Letters 70 (1993): 1895.

---

A typical episode of private warfare occurred in 1357. Sir Oliver de Vannes, an English knight of nobility and character, had taken over the towns of Castelgard and La Roque, along the Dordogne River. By all accounts, this “borrowed lord” ruled with honest dignity, and was beloved by the people. In April, Sir Oliver’s lands were invaded by a rampaging company of two thousand brigandes, renegade knights under the command of Arnaut de Cervole, a defrocked monk known as “the Archpriest.” After burning Castelgard to the ground, Cervole razed the nearby Monastery of Sainte-Mère, murdering monks and destroying the famed water mill on the Dordogne. Cervole then pursued Sir Oliver to the fortress of La Roque, where a terrible battle followed.

Oliver defended his castle with skill and daring. Contemporary accounts credit Oliver’s efforts to his military adviser, Edwardus de Johnes. Little is known of this man, around whom a Merlin-like mythology grew up: it was said he could vanish in a flash of light. The chronicler Audreim says Johnes came from Oxford, but other accounts say he was Milanese. Since he traveled with a team of young assistants, he was most likely an itinerant expert, hiring himself out to whoever paid for his services. He was schooled in the use of gunpowder and artillery, a technology new at that time….

Ultimately, Oliver lost his impregnable castle when a spy opened an inside passage, allowing the Archpriest’s soldiers to enter. Such betrayals were typical of the complex intrigues of that time.

From The Hundred Years

War in France

by M. D. Backes, 1996
=======

#Books