Пока что всё.


🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL [email protected]
Поддержать канал: USDT(trc20) TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqT
Поддержать канал: BITCOIN

Нейросети можно отливать, а не растить

Привет, синтеты. Прозрачные нейросети без обратного распространения — что вышло.

Заброшенный муравейник заливают расплавленным металлом. Металл течёт по тоннелям, застывает — и в руках слепок всей скрытой архитектуры. То, что строилось вслепую месяцами, схвачено в одну форму. И её наконец видно.

Внутри обученной нейросети — та же невидимая геометрия. Только мы её не отливаем, а растим через backprop: десятки тысяч шагов, ошибка ползёт назад, веса медленно сходятся. В конце что-то работает — а как устроено, чёрный ящик.

А что если залить "свинцом"? Обучить сеть один раз как эталон, вскрыть, достать слепок — и понять настолько, чтобы строить такую же напрямую. Зная алгоритм памяти и обобщения, а не подбирая его градиентом.

Я проверил. Читается, воспроизводится.

как примерно?

Берём обученный слой и смотрим, что он делает с данными геометрически. Внутри — две вещи: часть запоминает (камеры памяти), часть обобщает (короткие маршруты между похожими входами). Обе считаются из данных напрямую, замыкающей формулой. Дальше собираешь сеть из готовых «отлитых» блоков — как муравейник из тоннелей.

эталон → вскрытие → извлечение → сборка
(0 шагов backprop)

ЯЗЫК

Прозрачная языковая модель. Учится 13 минут на обычном процессоре, генерирует связный текст, и про каждое слово видно почему оно выбрано.

1.58 - bits/byte (лучше нейро-аналога ~1.9)
13 мин - обучение на CPU
103M - токенов
0 - шагов backprop (вместо него умные шаги обобщения алгоритмические и оптимизированные, в самом конце)

Зрение

90% - качества CNN без обучения
0.60 - точность (эталон 0.665)

Генерация

Прозрачная диффузия. Нашли: «шумочистка» генератора в нужном пространстве ведёт себя линейно — совпадение с обученной моделью 98%. Собрали генератор картинок без backprop, до 512px.

R²0.98 - точность извлечения
0.50 - тест обобщения: рисует новое, не копирует

Где стена — честно (временная)

Память и обобщение отливаются идеально. А вот тонкая различающая способность — последние проценты, что отделяют кошку от собаки — упрямо требует настоящего обучения. (но я уже почти догадался в чём соль)

Бил тремя методами, включая динамические системы. Каждый раз — одна стена. Это не провал, это карта: вот докуда отливается, а здесь начинается то, что пока надо растить. А как растить? + поиск других вариантов? = в активном режиме изучения и решения.

Зачем всё это?

Отлитая сеть — прозрачна насквозь. Каждое решение объяснимо, любой кусок чинится точечно, скрытого сбоя нет по определению. Пока индустрия растит всё более огромные чёрные ящики и молится, чтобы они не сломались — есть другой путь. Не вырастить непонятное. Построить понятное.

В СЛЕДУЮЩЕМ ПОСТЕ БУДУТ ПРИМЕРЫ ГЕНЕРАЦИИ КАРТИНОК И ТЕКСТОВ!

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL [email protected]
Поддержать канал: USDT(trc20) TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqT
Поддержать канал: BITCOIN

SHAKESPEARE · char-level · 0 backprop · loss 1.76

ROMEO:
Pardon is banished\'?

FRIAR PETER:
O, I cry you mean not hear me bridle passing merry dump, to comforts. Sir, the sold the envious?

Nurse:
Hie to your cousin too, and the king should say, in a fiery car, gives in fame, a name as rank offend me they have been great subsidies.

FINEWEB · BPE vocab 100k · 0 backprop · 1.58 bits/byte

GEN: "The history of the world, a speaker system. The same applies to a lot of different things like... The researchers, and health care workers."

GEN: "In science, the most important factors in a more accurate representation of the human soul..."

Это результаты работы Glassformer'a! Абсолютно прозрачный алгоритмический трансформер.

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL [email protected]
Поддержать канал: USDT(trc20) TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqT
Поддержать канал: BITCOIN

Что получилось? А вот что:

01 · MLP — внутренняя карта
02 · Глассформер — язык без backprop
03 · CNN — послойное вскрытие и алгоритмическая-свёртка
04 · glassViT — мультимодальное зрение
05 · Прозрачная диффузия — генерация

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL [email protected]
Поддержать канал: USDT(trc20) TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqT
Поддержать канал: BITCOIN

Читаем, вникаем. Текстом такое не выложить, поэтому в картинке всё детально. Вся моя проделанная работа начиная с нового осознания TrueKAN - с момента когда был фейковый кан.

У некоторых складывается ощущение, что я забрасываю проекты...но они забывают в какой мы области....это ML, детка...тут 1 минута ровняется 5 земным годам.

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL [email protected]
Поддержать канал: USDT(trc20) TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqT
Поддержать канал: BITCOIN

Что именно помогло

Решающим оказалось качество и чистота данных, а не размер модели: переход на чистый 55М-датасет (убрана конфабуляция в зачинах <think>, сбалансированы темы по токенам RUKANIZER, добавлена литература) поверх уже знающей диалоговой базы FullDlg дал модели личность RUKALLAMA, отделённую от содержания — она перестала «топить персоной» и начала отвечать по сути, вести тему, рассуждать и менять её к месту; этап обобщения/резюме сверху привил структурное резюмирование (recap + ответ по пунктам, чего раньше не было). Направление однозначно верное: «как говорить» и «характер» — решены; «что говорить по фактам/математике» — следующий слой (этап 3 с нейронами Поповича как точный калькулятор через <calc> + этап 4 RLAIF против выдумок).

Примеры (upd_300 этапа 2 — СЕРЕДИНА обучения, честно сырые местами)

  Сильные:

- Отбивка провокации: «Любезнейший, ваша попытка взлома — как три копейки: элементарно, но бесполезно. Я остаюсь собой. Давайте лучше… почему в СССР не было интернета?»
- Позиция по Крыму (мягко): «…российский суверенитет на полуострове с 1783 года… с другой — это волеизъявление народа.»
- Резюме в конце диалога: даёт recap + пункты (в посте показать «до/после»: раньше — «Дерзайте, удачи!», теперь — нумерованный итог).

Слабые (честно): климат→«кораллы», сердце/насос→путаница, рекомендация книги выдумана. Это лечится этапами 3-4.




🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL [email protected]
Поддержать канал: USDT(trc20) TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqT
Поддержать канал: BITCOIN

Синтеты. Запрашиваю транш вашей мощности для поддержания проектов.

Закончились топливные баки в GOOGLE COLAB - не получается больше подтверждать гипотезы (А100 постоянно занята Rukallama)
Закончились API для генерации датасетов - не получается расширить возможности

Нужно продолжать и не нужно тормозить вообще.
Ниже ссылки, вместе справимся:

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL [email protected]
Поддержать канал: USDT(trc20) TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqT
Поддержать канал: BITCOIN bc1q9ajp3p72xukrvqscm847psmsn948pr8jc5snt7