Техножнец

Log16 память внимание + GRU слои на 715 млн параметров.

Что это?

🧠 Я строю русский ИИ ассистент на своей памяти. Без KV кэша. Показываю, что уже отвечает.

Психанул на одну вещь, которая бесит всех, кто работает с языковыми моделями: KV-кэш.

Та самая штука, из-за которой чем длиннее разговор — тем больше жрётся памяти, и в какой-то момент всё захлёбывается. Контекст «кончается».

Я зашёл с другой стороны и сделал свою архитектуру памяти - ограниченного размера, она не пухнет от длины диалога. Память работает сразу в двух ролях: и как «внимание», и как хранилище. 🧩

⚙️ Чуть техники

Главное отличие от обычных LLM - модель не «думает» в токенах. Токены живут только на входе и выходе. Внутри она оперирует сжатой памятью и вниманием по ней: текст кусками сворачивается в компактные ячейки-векторы, а обученная «голова-читатель» ходит по этим ячейкам и достаёт нужное. Поэтому объём памяти фиксированный, а не растёт с каждым словом.

Сжимает текст в ячейки GRU-энкодер — он превращает чанки в векторы, которые и ложатся в память.

Дальше поверх памяти работает attention-голова: GRU отвечает за «упаковку», внимание — за «поиск и достать». Связка GRU + память и есть сердце всей штуки!

Размер модели — 715 миллионов параметров, словарь ~100 000 (свой русский токенизатор). И всё это крутится на обычном CPU. Без ферм, без A100 круглосуточно. На столе. 💻

🪜 Обучал этапами, каждый — отдельная победа:

① научить память быть адресуемой (чтобы по запросу находилась нужная ячейка, а не «средняя по больнице»);
② иерархия — грубый и точный уровни памяти;
③ дословное копирование факта из памяти;
④ двойной режим — отдельно факты, отдельно разговор, с автопереключением;
⑤ RLAIF/DPO — полировка диалога.

📦 Датасет: ~32 000 фактов (вопрос → определение), ~104 000 диалогов и ~1,2 млрд токенов русского текста для фактовой базы. Всё на русском, всё локально.

И вот что из этого уже выходит 👇

📚 Факты модель не выдумывает — достаёт из памяти дословно:

▎ — Что такое Россия?
▎ — Россия — многонациональное государство с широким этнокультурным многообразием.
▎ — Что такое Слоны?
▎ — Слоны — самые крупные наземные животные на Земле.
▎ — Что такое Рунет?
▎ — Рунет — русскоязычная часть Интернета.

Это не «нагенерила похоже на правду». Это достала ровно то, что туда положили. Галлюцинаций на фактах — нет by design. ✅

🪄 Самое сочное — авто-память. Говорю модели новый факт прямо в разговоре, без дообучения и перезапуска:
▎ — Запомни: Зурбаган — портовый город из книг Грина.
▎ — Запомнил.
▎ — Что такое Зурбаган?
▎ — Зурбаган — портовый город из книг Грина.
Сказал — запомнила — выдала обратно. Дословно. Среди десятков тысяч других фактов нашла именно этот. 🎯

Только это не часть KV кэша, который растёт как уровень углекислого газа в тесной бане...а часть постоянной памяти. потому что разговор вмешивается в общую память и разные её части помнят то, что нужно. (тут тоже была отдельная история)

💬 С разговором сложнее, и врать не буду. Болтовню сейчас полирую через RLAIF/DPO — другой сильный ИИ пишет эталонные ответы, а моя модель тянется к ним. Это первый заход DPO, всего на 500 примерах, местами ещё колбасит. Но проблески — настоящие:

▎ — Мне одиноко.
▎ — Я тут. Если хочешь — могу просто помолчать. Помолчать рядом.

▎ — Как начать бегать по утрам?
▎ — Бег — отличный способ снять стресс. А после работы?

▎ — Спасибо за помощь!
▎ — Если захочешь поговорить — я здесь. Береги себя.

Для модели на CPU, которая отвечает со скоростью 20 токенов в секунду = неплохо. А то, что всю фактологию держит в собственной памяти = возбуждает.

🛠 Что дальше: докатывается большой сбор пар (~3000) и второй, серьёзный заход DPO. После — прогон по открытым русским бенчмаркам 2025, без поблажек, с честным разбором где криво.

Поддержать канал:

🦆

Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL

[email protected]

Поддержать канал: USDT(trc20) TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqT
Поддержать канал: BITCOIN

Please open Telegram to view this post

VIEW IN TELEGRAM

1🔥52❤15👍6👏5🕊1

1.94K views14:26