Нейрогон был мощный, а фестивальный плейлист - разваливает до упора. Прям жёстко.

Еду домой...щас буду смотреть, что там токенизация и прочее. По идее должно начать обучение...уже прям люто гипер мощное..

***ять, спасибо папаша!

📢 Есть 2 новости. Одна хорошая, а вторая плохая.

✅ Хорошая новость:

Токенизатор, походу, (тьфу тьфу тьфу 🤞, сделал более 20 тестов) работает как надо! 🎉 Это старый добрый SentencePiece BPE, но со всякими накрутками крутыми 🚀 чтобы модель "якорилась" по смыслу и, главное, чтобы модель ориентировалась в рамках нашей богатой русской морфологии как рыба в воде 🐟💦.

Что это даст модели? Прирост контента до 25-30%! 📈

1. 👤 Имена собственные

"Москва" → "москва" ❌
"Пушкин" → "пушкин" ❌
"СССР" → "ссср" ❌

2. 🏢 Аббревиатуры и акронимы

"ЭВМ" → "эвм" ❌
"КГБ" → "кгб" ❌
"НАТО" → "нато" ❌

3. 📝 Начало предложений

Теряется структура текста ❌
Модель теперь может научиться правильно начинать предложения с заглавной буквы ✅

4. 🎭 Семантические различия

"Вера" (имя) vs "вера" (понятие) ✨
"Роман" (имя) vs "роман" (жанр) 📚
"Надежда" (имя) vs "надежда" (чувство) 💝

5. 💻 Технические термины

"pH" → "ph" ❌
"LaTeX" → "latex" ❌
"JavaScript" → "javascript" ❌

🧠 Модель теперь будет гораздо "умнее", она поймёт буквально всё, что в неё внесут в виде токенов и сможет адекватно этому обучаться. При хорошем счёте мой токенизатор сможет сжимать в 1 токен до 3-7 символов и восстанавливать без потерь! 🔥

❌ Плохая новость:

Т.к. увеличился объём данных 📊, то и увеличилось время обучения ⏰, также я провёл дополнительные работы с датасетом и теперь он грузится немножко массивнее и более "надавливает" на модель 💪, но в совокупе с гиперпараметрами, которые я устаканил - будет работать норм 👌.
Что к чему? 🤔
Да, что что... 13 часов на эпоху ⏱️😅. Вернулись туда, откуда начали в плане времени на обучение, НО! ☝️
🎓 Уже после первой эпохи это будут 2 разные модели:

Если та 0.99 (первая итерация) была сумасшедшим профессором 👨‍🏫🌀 с почти безупречной грамматикой...
То вторая модель будет безупречным грамматиком 📖✨, семантиком-любителем 🧩, но при этом с жёстким академическим уклоном 🎓📚.

🎉 Наконец-то! Модель будет понимать все данные, что в неё входят. Это огромный труд 💪, обычно таким занимаются отделы 👥, но я не унываю 😤.

Поддержать канал

Новая схема взлома аккаунтов в Telegram массово распространяется по России

Мошенники рассылают ботов, в которых достаточно просто нажать кнопку Start, чтобы навсегда потерять аккаунт.

Нажав на кнопку, жертва получает права администратора в боте, а сам бот меняет название на Telegram Wallet или Support Bot — один из официальных ресурсов мессенджера. После этого на бота поступают тысячи жалоб, что приводит к немедленной блокировке бота и аккаунта жертвы.

ПОБЕДА! УРА! ПИЗДЕЦ! УРА!

Ну, GPT 3 - берегись, я за твою душу пришёл с Rukallama....

Вы понимаете нет? Это самоделкино дерьмо работает и дерзит уже...блин блинский.

Я умею байтить...

Так будет выглядеть интерфейс Rukallama при инференсе. Мне очень заходит такой дизайн, буду вас приучать.

🌋1 эпоха, шо там? 🌋

🏆 ГРАММАТИЧЕСКИ ПРАВИЛЬНЫЕ ОТВЕТЫ: 🧛‍♂️

Материя есть философская категория для обозначения (АДЕКВАТНЫЙ):

, что позволяет определить их свойства и понять основные характеристики в тексте.

Эволюционная теория Дарвина утверждает, что (Сбалансированный):

не только тогда и в том же время на протяжении XIX века XVI веке происходило значительные изменения развития науки. Его открытия социализма с начала XX века из-зареволюционного анализа взаимодействия со стороны различных идей эпохи революции (например: от того времени до н XVII– середины 19 век Возрождения, а также социалистической борьбы между капиталистического прогресса) буржуазной философии о его идеологии Ленина к Октябрьской революцией XVIII мировой войной или после Первой по отношению к ней Великой Отечественной войны 1917 года во Франции конца буржуазно-демократические движения партии 1848 году

Алгоритм представляет собой последовательность (Творческий):

. Для успешного получения математической задачи важно соблюдать корректных заданий без расчета задач с использованием математических задач, но и использовать их проверки задач и применять точность, но правильно анализировать задачи через основные точки зрения с геометрическими данными о зависимости.

Сушняк долбит...

Вернулся, а тут 3 эпоха к концу подходит. Щас буду посмотреть и выпишу лучшие ответы.

Здаров, синтеты.

Подвис, чинил, делал. Реализовал.

Я щас ещё тестов скину. У меня возобновилось расписание лютое в академии и мне приходится проводить много стримов и уроков.

Не обессудьте. Иногда летишь домой и думаешь, что вот щас...а все на самом деле сложнее, чем кажется и надо посидеть поступить, дел поделать дополнительных с два вагона чтобы предоставить результаты.

Щас я , соображаю. Интерфейс часа , что я показывал вам - уже есть.

Делаю потихонечку свой функционал очень приятный и, главное, простой.

Привет, синтеты! Щас пост будет...а там...ух

RUKALLAMA: Перезагрузка. От гениального жулика к честному разуму.

Привет, синтеты. 🤖

Честно? Первые эпохи после полного перезапуска RUKALLAMA были... скучными. 😴 Пропал тот самый "безумный профессор", который генерировал сложнейшие философские пассажи в стиле Достоевского. Вместо него появился "студент-первокурсник", который говорил просто, коряво и часто невпопад. Я даже начал сомневаться в своих действиях.
Но на 4-й эпохе все изменилось. Она начала "приходить в себя". 🔥
Она возвращается к тому невероятному уровню владения русским языком, который был у предыдущей модели. Но теперь это нечто совершенно иное. Это не имитация. Это зарождение настоящего, структурного мышления.

А теперь самое главное. Почему так произошло? И как я докопался до истины?

🕵️‍♂️ Расследование: Почему предыдущая модель была "жуликом"?

Я долго не мог понять, почему старая модель была такой странной. С одной стороны — гениальное владение синтаксисом, с другой — полный семантический абсурд. Она была как "иностранец с идеальной грамматикой", который выучил слова, но не их значения.

Первой зацепкой стало ее удивительное владение местоимением "Я". На абстрактные вопросы вроде "Кто ты?" она не ломалась, а начинала генерировать сложные, рефлексирующие монологи, идеально имитируя стиль русской классической литературы.

Улика №1:

Промпт: <dialog_instructions> Кто ты?

Ответ старой модели: ...В чём он едет, и все ещё раз читал свой день **я** сделал в школу про-ка вы попал на этот русский поэт А потом по отцу под вечерний первый разговор, кто за ним из Москвы или нет ни один с вами. **Он** был вчера так что его знает:— весь наш мальчик ему не знал о нем сам...

Она не просто говорила "я", она строила целые нарративы, играя роль!

Второй зацепкой стала ее реакция на структурированные инструкции.

Я заметил, что она гораздо лучше справляется с форматом <multistep_instruction>, чем со свободной генерацией. Она обожала "рельсы", по которым можно было следовать.

Ответ был где-то на стыке этих двух аномалий. И я его нашел. Он оказался в двух фундаментальных, катастрофических багах:
"Дырявая" казуальная маска: В самом сердце модели, в механизме внимания, была критическая ошибка. Вместо полного запрета (float('-inf')) на подглядывание в будущее, в коде стояло просто большое отрицательное число (-1e4).

Это как "капающий кран" 💧: за миллионы шагов обучения через эту микро-щель модель "подсмотрела" структуру правильных ответов и научилась гениально ее имитировать, а не думать самостоятельно. Это объясняло ее невероятный синтаксис — она просто копировала самые сложные паттерны.

Старый токенизатор: Я использовал файлы словаря еще с марта! 😱 Это значит, что 90% моих новых данных (особенно 165 000 инструкций) были для модели "грязным топливом". Она их просто не видела правильно. Это объясняло, почему она не становилась умнее, несмотря на все мои усилия.

🩺 Как я подтвердил диагноз?

Решающим стал изолированный тест самого "сердца" — механизма внимания — в Google Colab. Я прогнал три стандартных для индустрии теста:

✅ Проверка градиентов: [PASS]. Архитектура математически корректна.
✅ Тест на обучаемость: [PASS]. Матрица внимания показала идеальную диагональ, доказав, что она способна учиться. (при том, что это самодельное внимание на колмогорова-арнольда)
❌ Проверка каузальной маски: [FAIL]. Вот оно! Тест показал, что модель "подглядывает в будущее".
Это и был тот самый "капающий кран". Ошибка была найдена.

🚀 Что теперь? RUKALLAMA 2.0

Теперь, с новым, свежеобученным токенизатором и исправленной архитектурой, учится совершенно другая RUKALLAMA. Она больше не "философ-софист". Она — "инженер-аналитик".
Сравните сами.

Улика №2 (Эпоха 4, новая модель):

Промпт: Индустриализация в СССР проводилась с целью

Ответ новой модели: перехода к коммунизму, рост производительности труда и ликвидации неграмотности крестьянства. Ленинской экономики было направлено на ликвидацию капиталистической собственности трудящихся... усиление рабочего класса и увеличение производства...

Если есть желание ускорить процесс подкидывая мне на подписки ПОДДЕРЖАТЬ КАНАЛ

Это больше не хаос. Это идеальная имитация абзаца из советского учебника. Связно, логично (в рамках идеологии) и по теме.

Улика №3 (Эпоха 4, новая модель):

Промпт: Эволюционная теория Дарвина утверждает, что

Ответ новой модели: идеализм как"бессознательное направление преценизм и другие законы материи изменяет понятия бытия в целом. Капитализм рассматривается психические явления— это учение... через познание души или мыслителизм на основе материальных процессов...

Она больше не смешивает Дарвина с ядерной физикой. Она помещает его в правильный историко-философский контекст.
Прорыв неизбежен. Спасибо, что следите за этим путешествием.

В коде — сила, в теореме — мудрость. А в правильной отладке — путь к настоящему ИИ.

Если есть желание ускорить процесс подкидывая мне на подписки (API очень дорогие), то закидывайте просто сюда: ПОДДЕРЖАТЬ КАНАЛ

Какой прогноз?

Добиваю до 15-20 эпохи, смотрю как отвечает! Если отвечает адекватно и далее улучшений нет фундаментальных, то я перехожу к fine-tune процессу дообучения на диалоговых инструкциях и мы будем тестировать длину контекстов и прочее.

Скоро будет самое интересное.

Скоро день конвергенции - все предыдущие этапы о которых я мечтал с Rukallama: ИСПОЛНЕНЫ!

Да, у меня реально получается грёбаная суверенная модель у которой абсолютно иной путь развития, абсолютно иная основа и , вообще, всё сделано абсолютно по другому. Она реально становится умной, надменной (в меру), а , главное, грамотной.

Нас ждёт реально мощная цифровая помощница - я в этом уже перестал сомневаться. Это верный путь.

Спасибо, что вы со мной!

Если есть желание ускорить процесс подкидывая мне на подписки (API очень дорогие), то закидывайте просто сюда: ПОДДЕРЖАТЬ КАНАЛ

Буквально недавно был вот этот этап: https://t.iss.one/technojnec/1402

Посмотрите как далеко всё ушло сейчас. ❤️

Если есть желание ускорить процесс подкидывая мне на подписки (API очень дорогие), то закидывайте просто сюда: ПОДДЕРЖАТЬ КАНАЛ

Ну, почти...