Я строю языковую модель с нуля - вместе со всем стеком под ней

Обычно «сделал свою модель» означает: взял PyTorch, взял Llama-архитектуру, взял HuggingFace-токенизатор и обучил веса. Я пошёл другим путём - у меня свой каждый этаж этого здания, и это главная особенность проекта.

PromeTorch - мой тензорный фреймворк, написанный с нуля на C++17 и CUDA: около 93 тысяч строк. Свой тензорный движок, свой автоград на сто с лишним backward-функций, свои CUDA-кернелы, оптимизаторы, загрузчики данных, сериализация. Это не обёртка над PyTorch - это параллельная ему реализация, где я контролирую всё: от аллокатора памяти до порядка суммирования градиентов.

> Когда что-то ломается - я чиню не конфиг, а строку в кернеле. Когда что-то медленно - профилирую собственное ядро и ускоряю его: за один день выжал x12 скорости тренировки (chunked-параллельный скан, слияние гейтинга прямо в кернел, TF32/BF16-пути на тензорных ядрах).

PIR - моя архитектура. Это линейная рекуррентная сеть с диагональным селективным сканом - родственник Mamba, RWKV и HGRN, но собственной конструкции: состояние обновляется как

h(t) = g*h(t-1) + v*sigma(gate)

где забывающий гейт g модулируется контентом вокруг зашитого «спектра памяти» - разные каналы забывают с разной скоростью, от считанных токенов до сотен. Сверху - RoPE-позиции, SwiGLU и RMSNorm.

Ключевое отличие от трансформера: никакого внимания и никакого KV-кэша. Стоимость генерации токена - константа: не растёт с длиной контекста ни по времени, ни по памяти. На инференсе вся «оперативная память» модели - 40 векторов состояния по 640 чисел.

Почему это перспективно: трансформер платит за каждый токен перечитыванием всей истории, а PIR несёт историю в сжатом состоянии. Это дешёвый деплой на скромном железе - и здесь вторая особенность проекта: кросс-платформенность, доказанная делом.

Одна и та же архитектура у меня тренируется и работает на NVIDIA A100, на российском Эльбрусе (4x8С2, VLIW-архитектура E2K, из которого я выжал 92% теоретического пика SGEMM) и на нейроускорителе NM Card. Русская модель, обученная на русских текстах моим собственным BPE-токенизатором, на отечественном железе, на собственном фреймворке - вертикаль полностью суверенна: от байтов корпуса до сэмплера.

Что уже сделано, честными цифрами:

- претрейн 117M-параметровой PIR на 2.14 миллиарда токенов русского корпуса - loss 9.8 -> 2.43 за 28 часов на одной A100, целиком на PromeTorch, без PyTorch вообще
- инструктный SFT с loss-маской и выученным EOS-токеном - модель отвечает на вопросы и сама останавливается
- диалоговая версия ведёт мультитёрн-беседу
- параллельно тот же движок исполняет чужие GGUF-модели (Qwen, Gemma, Mistral, DeepSeek) со скоростью до 109 токенов/с на A100 и до 11 токенов/с на Эльбрусе - в разы быстрее llama.cpp на том же железе

И третье - исследовательская прозрачность. Владея каждым слоем, я не гадаю, а измеряю: когда генерация стала распадаться на длинных ответах, я вскрыл модель, померил фактическую память каждого гейта, нашёл перекос спектра в короткую сторону и конструктивную ошибку в разбивке диапазонов - и теперь чиню архитектуру по данным, а не по интуиции.

Такой уровень контроля недоступен в принципе, когда стек чужой.

Куда это ведёт: линейные рекуррентные модели — один из главных фронтиров после трансформеров, и я вхожу в него не потребителем чужих библиотек, а владельцем полного цикла.

Дальше — удлинение памяти состояния, масштабирование и перенос тренировки крупных версий на кластеры отечественных процессоров.

Практическая ценность такого подхода простая:
полный контроль над каждым слоем стека — значит, любую проблему можно довести до строчки кода и исправить, любую платформу —поддержать самому, и ни одна зависимость от внешнего вендора не станет стоп-краном для проекта.

Не забывайте поддерживать канал:

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL [email protected]
Поддержать канал: USDT(trc20) TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqT
Поддержать канал: BITCOIN bc1q9ajp3p72xukrvqscm847psmsn948pr8jc5snt7

Что отвечает PIR на 117 миллионов параметров?

ЮЗЕР: Столица Франции?
МОДЕЛЬ: Столица Франции – это Париж.

ЮЗЕР: Что такое фотосинтез?
МОДЕЛЬ: Фотосинтез — это процесс, посредством которого растения и некоторые другие организмы преобразуют энергию света в химическую, используя ее для преобразования углекислорода в воду. Этот процесс происходит главным образом из растений…

ЮЗЕР: Напиши короткое стихотворение про зиму.
МОДЕЛЬ: Зима пришла, и я несу зиму, Наслаждаясь радостью.

ЮЗЕР: Мне грустно сегодня.
МОДЕЛЬ: Твоё настроение, я не могу не чувствовать себя таким грустно, как люди.

Моё мнение?

Модель очень необычная, всё новое...ведёт себя пугающе умно местами...и крайне тупо не понятно почему. Буду разбираться, но всегда дело в количестве параметров, но для текущего размера уровень фактологии - шокирующий.


Не забывайте поддерживать канал:

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL [email protected]
Поддержать канал: USDT(trc20) TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqT
Поддержать канал: BITCOIN bc1q9ajp3p72xukrvqscm847psmsn948pr8jc5snt7

Glassformer + Substrate 16 умеет говорить...надо было просто с другого боку подойти..ёклмн...

[ПОЛЬЗ] Что такое Рагнарёк?

[GLASSFORMER] Миф о Рагнарёке — скандинавский эсхатологический сюжет, описанный в «Старшей Эдде» и «Младшей Эдде» Снорри…
[ПОЛЬЗ] А кто сражается и кто побеждает?

[GLASSFORMER] Рагнарёк — гибель богов и мира, предшествует ему смерть Бальдра и три зимы без лета (Фимбульветр).

[ПОЛЬЗ] А что с миром после битвы? Всё навсегда?

[GLASSFORMER] После этого Рагнарёка мир возрождается: выживают Бальдри Хёд, а также сыновья Тора Магни и Моди, которые получают молот Мьёльнир.

Это просто небольшой хитростью в коде...сейчас к ней дообучение маленького ткача бесед сядет идеально!

Нормально нормально идёт.

Не забывайте поддерживать канал:

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL [email protected]
Поддержать канал: USDT(trc20) TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqT
Поддержать канал: BITCOIN bc1q9ajp3p72xukrvqscm847psmsn948pr8jc5snt7

Архитектура PIR. Это сложная тема. Поделиться всем обширно - тоже непросто.
Раз вы читаете это сообщение, то высока вероятность того, что у вас подключён некий, так называемый - канал для передачи, позволяющий открывать басурманские сайты. Вот на сайте claude.ai я и запостил свой артефакт.

ПОЧИТАТЬ ПРО PIR

Это было долго, тяжело. Я много раз опускал руки, но вот. По Rukallama сейчас будет тизер таблица проб и ошибок для понимания - там у модели масштаб поболее чем у текущей PIR.

Для примера: PIR (117 млн), RUKALLAMA (853 млн + тяжёлое наследие новой математики)
Я так долго рожаю, т.к. параллельно ещё и живу, выживаю.

Не забывайте поддерживать канал:

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL [email protected]
Поддержать канал: USDT(trc20) TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqT
Поддержать канал: BITCOIN bc1q9ajp3p72xukrvqscm847psmsn948pr8jc5snt7

Как обстоят дела с Rukallama и почему "задерживалось"...хотя тут кипела работа. Очень приятно подводить итоги...из-за масштабов и того, что приходилось жанглировать между Google Colab и своей картой - карта одна, моделей куча = время затягивалось.

Не забывайте поддерживать канал:

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL [email protected]
Поддержать канал: USDT(trc20) TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqT
Поддержать канал: BITCOIN bc1q9ajp3p72xukrvqscm847psmsn948pr8jc5snt7

Но я недоволен...





Не забывайте поддерживать канал:

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL [email protected]
Поддержать канал: USDT(trc20) TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqT
Поддержать канал: BITCOIN bc1q9ajp3p72xukrvqscm847psmsn948pr8jc5snt7

Шейдер сделанный на пару с Claude Opus 5. Смотрим...

Не забывайте поддерживать канал:

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL [email protected]
Поддержать канал: USDT(trc20) TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqT
Поддержать канал: BITCOIN bc1q9ajp3p72xukrvqscm847psmsn948pr8jc5snt7

Шейдер сделанный на пару с Claude Opus 5

Не забывайте поддерживать канал:

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL [email protected]
Поддержать канал: USDT(trc20) TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqT
Поддержать канал: BITCOIN bc1q9ajp3p72xukrvqscm847psmsn948pr8jc5snt7