Техножнец
Заливаем необитаемые муравейники дальше... Сверху VAE - то чем все генерилки генерят картинки. GlassVAE - алгоритмический аналог. 0 обратной пропагации Никакой дистилляции, только "вытаскивание" принципа обучения в алгоритм и простоту алгебры без скрытых…
Вот здесь нет сжатия. Оно неоправданно большое. Вот последние генерации обладают сжатием, возможно, что я мини сетку сделаю для восстановления картинки и апскейла, который будет убирать эти артефакты. Модель, кстати. весит 22мб
😱15👏14❤2🕊1
Техножнец
Rukallama, продолжаю! В математике скоро будет прожаривать как надо!!!
Rukallama уже на вопрос - сколько будет 2 плюс 2 не ответит херни. Но это не точно, лол. 4 , то ответит, а сверху может и нагородить. смотрим...я ещё не тренировал прямо на короткие реплики + средние + длинные. возможно будет ещё полировка. этапов ДОХРЕНА
👏12👍6🔥5🕊1
Потом буду делать перепланировку и попробую сделать так чтобы всё можно было обучить в несколько этапов. Самое главное, что я сделал универсальную фабрику датасетов. Наконец-то....подготовился собрать чат соратников по датасетам. Ёмаё.
Там вариантов для датасетов - ТОННА!
Там вариантов для датасетов - ТОННА!
👍11🔥11❤2🕊1
This media is not supported in your browser
VIEW IN TELEGRAM
🔺 Луч ищет знак, а не число почему трассировка летит на троичном чипе
Я запустил рейтрейсинг на троичном процессоре. И он полетел.
FullHD. Десятки кадров в секунду. ⚡️ Мягкие тени, зеркальные отражения, ambient occlusion. На честной RTL-симуляции, бит-в-бит совпадающей с эталоном.
Вот идея, которую мало кто замечает. Присмотришься к тому, что реально делает трассировщик и видишь: 90% работы это не вычисления, а решения. Виден объект или закрыт? Точка в тени или на свету? Луч попал внутрь или мимо?
Это всё вопросы со знаком:
А в сбалансированной троичке знак числа не результат отдельного вычитания и проверки флагов, как в двоичной технике. Знак там это врождённое свойство самого числа, он считывается практически бесплатно.
То есть я не «эмулирую» геометрию света тяжёлым железом. Я переписал её на язык, где главный вопрос рейтрейсинга, «с какой стороны?», это родная, одношаговая операция. Тяжёлые «широкие» вычисления (корни, деления) в правильном конвейере почти не нужны, их вытесняет знак.
Тени, отражения, AO всё посчитано троичной тканью и проверено на железном уровне.
Поддержка автора!
🦆 🦆 🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал:[email protected]
Поддержать канал: USDT(trc20)
Поддержать канал: BITCOIN
Я запустил рейтрейсинг на троичном процессоре. И он полетел.
FullHD. Десятки кадров в секунду. ⚡️ Мягкие тени, зеркальные отражения, ambient occlusion. На честной RTL-симуляции, бит-в-бит совпадающей с эталоном.
Чип это наследник советской «Сетуни» 1958 года, единственной в истории серийной троичной машины. Я взял её принцип (числа не из битов {0,1}, а из сбалансированных тритов {−1, 0, +1}) и построил на нём AI-ускоритель с графическим движком.🤔 «Но рейтрейсинг это же тяжёлая математика. Как он вообще пошёл на троичке?»
Вот идея, которую мало кто замечает. Присмотришься к тому, что реально делает трассировщик и видишь: 90% работы это не вычисления, а решения. Виден объект или закрыт? Точка в тени или на свету? Луч попал внутрь или мимо?
Это всё вопросы со знаком:
«плюс или минус».А в сбалансированной троичке знак числа не результат отдельного вычитания и проверки флагов, как в двоичной технике. Знак там это врождённое свойство самого числа, он считывается практически бесплатно.
То есть я не «эмулирую» геометрию света тяжёлым железом. Я переписал её на язык, где главный вопрос рейтрейсинга, «с какой стороны?», это родная, одношаговая операция. Тяжёлые «широкие» вычисления (корни, деления) в правильном конвейере почти не нужны, их вытесняет знак.
Откуда столько кадров в секунду? 🚀Из трёх вещей, и ни одна из них не «разогнать частоту».
1. Массивный параллелизм. Сцена бьётся на множество независимых плиток, и десятки считаются одновременно, в одном такте.
2. Спекуляция и когерентность. Соседние пиксели почти всегда «решают» одно и то же: сосед в тени, значит и ты, скорее всего, в тени. Аппаратный механизм угадывает результат наперёд и пропускает повторный точный пересчёт, с математической гарантией, что ошибка не выйдет за допуск.
Большинство пикселей не пересчитываются вообще.
3. Родная экономия троичности. Разреженные данные (а в геометрии много нулей и осей) пропускаются на лету, без затрат.
Параллелизм × спекуляция × экономия знака и получаешь тот самый прыжок, который на обычном CPU стоил бы сотни инструкций на пиксель.
⚙️ Это не симулятор на видеокарте. Это реальная цифровая схема под техпроцесс фабрики, с подтверждённой частотой после трассировки кристалла.
Тени, отражения, AO всё посчитано троичной тканью и проверено на железном уровне.
Поддержка автора!
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал:
PAYPAL Поддержать канал: USDT(trc20)
TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqTПоддержать канал: BITCOIN
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥71❤11🤔5👍1🕊1🦄1
спал 3 часа. проснулся - НИКАКОЙ. пилил до самого утра нативный движок для процессора...ох...
Там по Rukallama новости крутые.
Там по Rukallama новости крутые.
👍20🤔4😢3🕊2
Rukallama теперь считает и word math problems и простые запросы на арифметику. Внутри нейроны синхронно с ней считывают беседу, раскладывают её на составляющие чтобы вовремя дать Rukallama ответ.
Сейчас подключу физические нейроны - там почти вся физика работает идеально. И можно субстрат подключать для отключения галюнов.
Сейчас подключу физические нейроны - там почти вся физика работает идеально. И можно субстрат подключать для отключения галюнов.
3👍34❤6🔥5🤯2🕊2🦄1 1
Субстрат подключается к любой модели...делаю сравнение с RAG - всякие задержки, оверхеды, флопсы, валклоки. Если субстрат круче и эффективнее - вы знаете, что получается...
🔥23👍5✍4🕊1🦄1
Доброе утро.
Я заметил, что на выходных вас лучше не читать)))) а то там такая беседа мною была обнаружена, хоть стой хоть падай.
Я заметил, что на выходных вас лучше не читать)))) а то там такая беседа мною была обнаружена, хоть стой хоть падай.
🤝13❤3🍓3🕊2🤓1🦄1
This media is not supported in your browser
VIEW IN TELEGRAM
Ты в конце недели...ставь лайк если правда.
1👍24👻3🕊1
Честные отчёты. Такого не увидите на каналах других:
Субстрат внимания 16 - обосрался в битве с обычным BM25 почти по всем параметрам включая скорость и качество поиска.
Какая была бы реакция у человека, который бы несколько месяцев тянул свою идею, уже был готов объявить, что субстрат это ультра гига мощь и обхезался...расстроился? обиделся на мир и выкинул всё?
Объясняю:
Мне почему наука нравится? Потому что если что-то не получается, то это не метод неправильный...всё так-то или иначе правильное...это ты дебил и ты являешься слабым звеном в этой системе. Значит твоё ведро всё ещё резонирует пустотой в ответ на вопрос: "Почему так случилось то?"
Облегчение? КОНЕЧНО! Значит мне просто надо подтянуть знания и лучше изучить то, что я уже сделал. Надежда исчезла? НЕТ, НИ В КОЕМ СЛУЧАЕ! Надежда засветилась потому что выстоять своим новым методом в принципе на ногах и быть во столько то раз хуже и во столько то раз не эффективные это же прямая выкладка...прямо путь по карте куда и как двигаться и в каком разрезе рассматривать проблему.
Поэтому первым делом я буду делать оптимизации и улушчения. И это....РАДОСТНАЯ НОВОСТЬ!
Потому что теперь есть чёткий план - "Что делать дальше?" , вместо..."Ну вот доделал, а что теперь?"
Значит, что всё продолжается и субстрат ещё не вызрел.
Примерно такое отношение у меня к ситуациям с "провалами"...я , если честно, в провалы не верю...я верю в просчёты.
🦆 🦆 🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал:[email protected]
Поддержать канал: USDT(trc20)
Поддержать канал: BITCOIN
Субстрат внимания 16 - обосрался в битве с обычным BM25 почти по всем параметрам включая скорость и качество поиска.
Какая была бы реакция у человека, который бы несколько месяцев тянул свою идею, уже был готов объявить, что субстрат это ультра гига мощь и обхезался...расстроился? обиделся на мир и выкинул всё?
Объясняю:
Мне почему наука нравится? Потому что если что-то не получается, то это не метод неправильный...всё так-то или иначе правильное...это ты дебил и ты являешься слабым звеном в этой системе. Значит твоё ведро всё ещё резонирует пустотой в ответ на вопрос: "Почему так случилось то?"
Облегчение? КОНЕЧНО! Значит мне просто надо подтянуть знания и лучше изучить то, что я уже сделал. Надежда исчезла? НЕТ, НИ В КОЕМ СЛУЧАЕ! Надежда засветилась потому что выстоять своим новым методом в принципе на ногах и быть во столько то раз хуже и во столько то раз не эффективные это же прямая выкладка...прямо путь по карте куда и как двигаться и в каком разрезе рассматривать проблему.
Поэтому первым делом я буду делать оптимизации и улушчения. И это....РАДОСТНАЯ НОВОСТЬ!
Потому что теперь есть чёткий план - "Что делать дальше?" , вместо..."Ну вот доделал, а что теперь?"
Значит, что всё продолжается и субстрат ещё не вызрел.
Примерно такое отношение у меня к ситуациям с "провалами"...я , если честно, в провалы не верю...я верю в просчёты.
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал:
PAYPAL Поддержать канал: USDT(trc20)
TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqTПоддержать канал: BITCOIN
Please open Telegram to view this post
VIEW IN TELEGRAM
👍31🔥12👏2❤1🕊1🤗1
Подтверждая сказанное цифрами, которые в другом случае раскололи бы сознание. (смотрите ещё и по качеству просадка) Но, тут всё просто - нужно дальше работать!
Думаю спекулятивки сюда накину и обойду на повороте.
ВКЛЮЧАЮ ДЕМОНА!
🦆 🦆 🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал:[email protected]
Поддержать канал: USDT(trc20)
Поддержать канал: BITCOIN
Думаю спекулятивки сюда накину и обойду на повороте.
ВКЛЮЧАЮ ДЕМОНА!
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал:
PAYPAL Поддержать канал: USDT(trc20)
TTk8CqGF9dd4avQcSPDwDF5z3jMcCxGqqTПоддержать канал: BITCOIN
Please open Telegram to view this post
VIEW IN TELEGRAM
🙏12👍5🕊1
А помните вы мне писали и переживали , что log16 тоже "украли" китайцы. Есть такая поговорка: "Врагу не пожелаешь"
💯14🔥6👏2🕊2
Нейроны объединённые в сетки готовы:
1 группа - решает полностью арифметику и является научным калькулятором.
2 группа - решает физику (подробности позже), работает в команде с арифметической группой.
3 группы - решает химию (почти, подробности позже).
И, вероятно, будет 4 группа, которая будет рулить между ними, либо хитрый механизм - это надо смотреть.
1 группа - решает полностью арифметику и является научным калькулятором.
2 группа - решает физику (подробности позже), работает в команде с арифметической группой.
3 группы - решает химию (почти, подробности позже).
И, вероятно, будет 4 группа, которая будет рулить между ними, либо хитрый механизм - это надо смотреть.
🔥10🕊4👀4👍2🦄1 1
Техножнец
Подтверждая сказанное цифрами, которые в другом случае раскололи бы сознание. (смотрите ещё и по качеству просадка) Но, тут всё просто - нужно дальше работать! Думаю спекулятивки сюда накину и обойду на повороте. ВКЛЮЧАЮ ДЕМОНА! 🦆 🦆 🦆 Поддержать канал: ТБАНК…
Помогло! И не только это. Починил пару косяков. Уже обгоняем BM25...
🔥21❤3🦄3🕊2
Т.к. Rukallama маленькая моделька, то ей многие навыки нужно узнать не из огромных количеств токенов, а благодаря правильному обучению. Сейчас идёт интересная стадия Grounding SFT - когда ей подаются факты с эмуляцией процесса RAG и она учится учитывать эту информацию в ответе. + дополнительный Grounding NEURONS SFT - чтобы нейросборки Поповича смогли участвовать на том же уровне, что и RAG в выборе что ответить модельке.
👍21🔥7🕊2🦄2