90 subscribers
31 photos
2 videos
20 files
240 links
Machine learning
Download Telegram
Теорема о бесконечных обезьянах нравится нематематикам — если бесконечно долго колотить по клавиатуре, то когда-нибудь в бесконечности, можно напечатать и "Евгений Онегин"

Сложнее нематематикам объяснить другое…

Пока он ждут, что обезъяна напечатает "Евгения Онегина" целиком без ошибок, она сначала миллионы раз напечатает его с ошибкой всего в одном знаке, и квинтиллионы раз — с двумя неправильно написанными знаками
Доминирование в принятии решений зависит от скорости выполнения цикла понимания, визуализации, руководства и оценки

При этом сегодня недостатка информации нет, есть ее избыток и это проблема
Поиск и проверка этой информации вручную отнимают драгоценное время

Доминирование в принятии решений — способность понимать, принимать решения и действовать быстрее

Ml обладает потенциалом трансформации

Ml даёт преимущество: обрабатывая огромные объёмы данных, выдавая рекомендации и проверяя предположения, визуализация может быть достигнута быстрее и с большей чёткостью, ускоряя планирование и обеспечивая превосходство в принятии решений

Режиссура — это процесс, где понимание превращается в действие
Речь идёт о решительном принятии решений, адаптации к давлению и превращении возможностей в результаты

Визуализация помогает определить варианты, а режиссура превращает понимание в результаты
И тут Ml может оказать серьезную помощь

Сегодня меняется не важность цикла, а скорость, с которой он должен быть выполнен

Противники уже используют Ml и цифровые сети для ускорения собственных процессов принятия решений, сжимая сроки и повышая ставки

https://smallwarsjournal.com/2025/10/03/agentic-ai-decision-dominance/
The Dragon Hatchling: The Missing Link between the Transformer and Models of the Brain
Adrian Kosowski, Przemysław Uznański, Jan Chorowski, Zuzanna Stamirowska, Michał Bartoszkiewicz
Статья:
https://arxiv.org/abs/2509.26507
Код:
https://github.com/pathwaycom/bdh
Ревью:
https://arxiviq.substack.com/p/the-dragon-hatchling

Что сделано?
В статье представлена "Dragon Hatchling" (BDH) — новая архитектура LLM, разработанная как "недостающее звено" между тензорными трансформерами и распределёнными графовыми моделями мозга
Динамика BDH определяется не матричными операциями, а локальным, биологически правдоподобным "ядром перевзвешивания рёбер", которое сочетает в себе вывод в стиле modus ponens и обучение по Хеббу
Её GPU-дружественный вариант, BDH-GPU, является моделью в пространстве состояний, которая масштабируется в основном по одной, высокой нейронной размерности (n)
Она использует линейное внимание в этом большом пространстве и уникальный низкоранговый feed-forward блок с ReLU, что обеспечивает разреженность и положительность всех активаций нейронов

Почему это важно?
Эта работа предлагает конкретный архитектурный путь к "Аксиоматическому Ml" — моделям, чьё поведение более предсказуемо и обобщаемо, особенно для рассуждений на длинном горизонте
Достигая производительности, сравнимой с архитектурой GPT-2, BDH-GPU естественным образом демонстрирует крайне желательные свойства, часто отсутствующие в стандартных трансформерах:
1. Эмерджентная структура: Её параметры спонтанно развивают модульные, безмасштабные сетевые структуры, подобные эффективным биологическим системам
2. Внутренняя интерпретируемость: Состояние модели локализовано на отдельных связях нейрон-нейрон ("синапсах"), что приводит к эмпирически подтверждённым "моносемантическим синапсам", которые избирательно активируются для конкретных абстрактных понятий
3. Новый подход к инженерии: Её равномерное масштабирование делает возможными новые формы инженерии моделей, такие как прямое слияние отдельно обученных моделей путём конкатенации их параметров
Это создаёт мощную микро-основу для понимания того, как рассуждения высокого уровня могут возникать из простых, локальных взаимодействий


В поисках фундаментальной модели рассуждений

Несмотря на выдающийся успех больших языковых моделей (LLM) вроде трансформеров, у них есть ахиллесова пята: неспособность систематически обобщать рассуждения на временных масштабах и в контекстах, выходящих за рамки их обучающих данных

Этот разрыв подчёркивает фундаментальное несоответствие между нашими самыми производительными системами Ml — централизованными тензорными black-box моделями — и распределённым, безмасштабным и удивительно надёжным механизмом рассуждений, которым является человеческий мозг

Статья "The Dragon Hatchling" решает эту проблему в лоб, предлагая новую архитектуру, которая служит фундаментальным мостом между этими двумя мирами

Авторы выходят за рамки попыток «прикрутить» интерпретируемость к моделям уже после их создания (post-hoc) и вместо этого проектируют систему с нуля, задаваясь вопросом: что, если бы ключевые механизмы трансформера можно было вывести из локальной динамики системы взаимодействующих частиц, вдохновлённой мозгом?
В результате получилась модель, которая не только производительна, но и по своей сути интерпретируема и структурно согласована с природными системами — шаг к тому, что авторы называют "Аксиоматическим Ml"

Значимость этого подхода заключается в установлении чёткого соответствия между микро- и макроуровнями

Если крупномасштабное поведение модели можно надёжно предсказать на основе её простых, локальных правил — подобно тому, как принципы термодинамики предсказывают поведение газа на основе взаимодействий отдельных молекул, — то её производительность на невиданных, долгосрочных задачах становится более прозрачной и менее подверженной непредсказуемым сбоям

Архитектура BDH: Рассуждения как локальная динамика графа