Здарова , синтеты. Ну, я сам тогда часть докину своих, спасибо за топливо.
А по плану вот что - новая версия рукалламы
А по плану вот что - новая версия рукалламы
🔥28❤1
Крайне интенсивно и увлечённо работаю над моделью, которая сама свой грааль науки раскусит при этом не умею общаться на человеческом языке вовсе...сразу приступая исключительно к сложному мышлению.
Таковы результаты текущих тренировок. Я покажу на что она способна когда закончу.
Я параллельно ещё этой же модели 4 тренирую вариации с разными архитектурами...KAN не KAN, стандартный трансформер и некоторые гиперпараметры.
Мне лично - ппц как интересно.
Модель, которая не имеет датасетов, в будущем не будет иметь стандартной архитектуры, а ещё позже сможет работать без просчёта градиентов не упарываясь в GPU!
Работаю! Рукалламу скоро запосчу - надо полнить счёт. жду когда получится это сделать.
Я так понял, что многие обламались из-за подобного сбора на тинькоф, т.к. некоторым просто не давало сделать перевод и часто обращались в личку, но мало.
Давайте докинем уж до конца тогда:
https://yoomoney.ru/fundraise/1AT3O5491E6.250615
Теперь точно можно с любых карт и со всего , что только можно из РФ!
Зарубежных счетов не имеется, если только биткойн кошелёк.
вот:
исправил ссылку на новый сбор...соррян. поставил ограничение на донат. вдруг кто-то хотел не по 250 рублей кидать. ИЗВИНИТЕ!!!!
Таковы результаты текущих тренировок. Я покажу на что она способна когда закончу.
Я параллельно ещё этой же модели 4 тренирую вариации с разными архитектурами...KAN не KAN, стандартный трансформер и некоторые гиперпараметры.
Мне лично - ппц как интересно.
Модель, которая не имеет датасетов, в будущем не будет иметь стандартной архитектуры, а ещё позже сможет работать без просчёта градиентов не упарываясь в GPU!
Работаю! Рукалламу скоро запосчу - надо полнить счёт. жду когда получится это сделать.
Я так понял, что многие обламались из-за подобного сбора на тинькоф, т.к. некоторым просто не давало сделать перевод и часто обращались в личку, но мало.
Давайте докинем уж до конца тогда:
https://yoomoney.ru/fundraise/1AT3O5491E6.250615
Теперь точно можно с любых карт и со всего , что только можно из РФ!
Зарубежных счетов не имеется, если только биткойн кошелёк.
вот:
14fNpF1PRfYj4e1mjFXEcRkf7ZhnMXJnBXисправил ссылку на новый сбор...соррян. поставил ограничение на донат. вдруг кто-то хотел не по 250 рублей кидать. ИЗВИНИТЕ!!!!
❤14👍8🔥3
This media is not supported in your browser
VIEW IN TELEGRAM
Решил пойти прогуляться. Погода отличная. Возьму себе кофе...подумаю.
🔥17😁14❤5🥰1
Хорошие новости, оно сходится на ложбане теперь. т.е. после этого пойдёт работа над математикой , которая будет выше по процентам чем 50% удачных случаев и тоже начнёт учитываться.
На данный момент это старт для модели, которая будет всё умнее с каждой итерацией. На данный момент основная дыра - это код. До которого мы дойдём.
То, что вы видите по списку это то, что изучает модель абсолютно без языка. На уровне мышления и символьной регрессии...но с потанцевалом стать LLM, просто, мысль, что мышление имеет под собой другую парадигму , чем Chain of thoughts - хочется проверить.
На данный момент это старт для модели, которая будет всё умнее с каждой итерацией. На данный момент основная дыра - это код. До которого мы дойдём.
То, что вы видите по списку это то, что изучает модель абсолютно без языка. На уровне мышления и символьной регрессии...но с потанцевалом стать LLM, просто, мысль, что мышление имеет под собой другую парадигму , чем Chain of thoughts - хочется проверить.
❤14👍5👏2
Техножнец
Крайне интенсивно и увлечённо работаю над моделью, которая сама свой грааль науки раскусит при этом не умею общаться на человеческом языке вовсе...сразу приступая исключительно к сложному мышлению. Таковы результаты текущих тренировок. Я покажу на что она…
Синтеты, я исправил ссылку...почему-то ввёл, что только по 250 рублей можно скидывать. Извините за тупость - https://yoomoney.ru/fundraise/1AT3O5491E6.250615
Да, иногда я очень тупой.
Да, иногда я очень тупой.
😁12👍9
Привет, синтеты!
Отчет по флагманскому проекту канала Rukallama! Архитектура так и остается - гибрид = стандартный трансформер с коэффициентом кан и просчётом дополнительных свойств и параметров (улучшает обобщаемость при очень малом объёме данных).
Исправлена неправильная инициализация весов, сделан более гладкий график разогрева обучения, исправлены проблемы с токенизатором (на 95% осталось прям по мелочи, просто это тяжело - ПРИЧИНА).
Что-то я частично допиливаю своими силами, когда можно просто прописать части кода и разместить их меняя внутряк. Вайб-кодинг во всей своей красе, но только с очень пристальным контролем. Приходится очень часто останавливать ЛЛМ и предлагать ей дополнительные поправки в промпт и снова получать ответ и далее итерация за итерацией.
Как только осуществлю перезапуск модели - мы увидим стоит ли оставаться на KAN и кастомный SentencePiece (BPE токенизатор - стандарт индустрии) или переходить на BLT - Byte Latent Transformer архитектуру и внедрять туда KAN или всё заменять внутри на KAN делая это из репозитория efficient-kan.
Ну и скоро появятся новые генерации и ответы угарные от модельки. Будьте уверены - Rukallama ещё даст жару.
Чему я научился за время общения с НТЦ "Модуль" и МЦСТ? Я открыл для себя дополнительные дисциплины...конкретно теперь работа моя более направлена на специфику железа, а т.к. с каждым днём понимание процессов только возрастает я перехожу на новые уровни восприятия и могу охватить более интересные концепты.
Обязательно сделаю версию Rukallama, которая будет обучаться по системе аксиоматов после того как мы получим предварительно предобученную модель на моей системе и на моём датасете.
Очень интересное время. А дальше я всё это адаптирую под DSP!
Первые тесты на DSP подходе просчёта всего, что только можно при обучении крупных моделей начнутся на следующей неделе.
Я буду вам всё достаточно подробно расписывать.
Очень скоро первые коды в моём гите "Техножнец" а.к.а "Technoreaper" - мы начнём с самых малых частей моей архитектуры + тренировочные данные чтобы вы могли прогонять , видеть диагностику работы на всех этапах и могли предложить свои улучшения в архитектуру. На первак будет лицензия, которая не подразумевает никакого коммерческого использования...далее станем более открытыми.
Перед тем как напишу - СТАРТУЮ ОБУЧЕНИЕ ЗАНОВО! Дам знак!
Связь.
Отчет по флагманскому проекту канала Rukallama! Архитектура так и остается - гибрид = стандартный трансформер с коэффициентом кан и просчётом дополнительных свойств и параметров (улучшает обобщаемость при очень малом объёме данных).
Исправлена неправильная инициализация весов, сделан более гладкий график разогрева обучения, исправлены проблемы с токенизатором (на 95% осталось прям по мелочи, просто это тяжело - ПРИЧИНА).
Что-то я частично допиливаю своими силами, когда можно просто прописать части кода и разместить их меняя внутряк. Вайб-кодинг во всей своей красе, но только с очень пристальным контролем. Приходится очень часто останавливать ЛЛМ и предлагать ей дополнительные поправки в промпт и снова получать ответ и далее итерация за итерацией.
Как только осуществлю перезапуск модели - мы увидим стоит ли оставаться на KAN и кастомный SentencePiece (BPE токенизатор - стандарт индустрии) или переходить на BLT - Byte Latent Transformer архитектуру и внедрять туда KAN или всё заменять внутри на KAN делая это из репозитория efficient-kan.
Ну и скоро появятся новые генерации и ответы угарные от модельки. Будьте уверены - Rukallama ещё даст жару.
Чему я научился за время общения с НТЦ "Модуль" и МЦСТ? Я открыл для себя дополнительные дисциплины...конкретно теперь работа моя более направлена на специфику железа, а т.к. с каждым днём понимание процессов только возрастает я перехожу на новые уровни восприятия и могу охватить более интересные концепты.
Обязательно сделаю версию Rukallama, которая будет обучаться по системе аксиоматов после того как мы получим предварительно предобученную модель на моей системе и на моём датасете.
Очень интересное время. А дальше я всё это адаптирую под DSP!
Первые тесты на DSP подходе просчёта всего, что только можно при обучении крупных моделей начнутся на следующей неделе.
Я буду вам всё достаточно подробно расписывать.
Очень скоро первые коды в моём гите "Техножнец" а.к.а "Technoreaper" - мы начнём с самых малых частей моей архитектуры + тренировочные данные чтобы вы могли прогонять , видеть диагностику работы на всех этапах и могли предложить свои улучшения в архитектуру. На первак будет лицензия, которая не подразумевает никакого коммерческого использования...далее станем более открытыми.
Перед тем как напишу - СТАРТУЮ ОБУЧЕНИЕ ЗАНОВО! Дам знак!
Связь.
🔥20👍10❤6👏1
Техножнец
Привет, синтеты! Отчет по флагманскому проекту канала Rukallama! Архитектура так и остается - гибрид = стандартный трансформер с коэффициентом кан и просчётом дополнительных свойств и параметров (улучшает обобщаемость при очень малом объёме данных). Исправлена…
Сейчас в голове очень много вариантов кода, которые обучаются конкретно прямо сейчас ....каждый выполняет свою задачу - частично Google colab, две модельки на а100 , одна на cpu на том же компе ...на моем компе одна крутиться лёгкая моделька...короче зоопарк.
И везде выдаются результаты.
А в голове эти коды, т.к. я обязан ориентироваться среди них и вести журналы...и диагностировать проблемы. Везде экспериментальные фичи. Это не просто.
И везде выдаются результаты.
А в голове эти коды, т.к. я обязан ориентироваться среди них и вести журналы...и диагностировать проблемы. Везде экспериментальные фичи. Это не просто.
👍17🥰3👏2❤1
Попробуем поработать с кодом совместно? Кое что покажу сейчас. Сразу говорю - не факт, что заработает адекватно! НО! с чем черт не шутит, правда? BLT - только заменю всё внутри на KAN и прикручу сразу датасет чтобы можно было тестировать в ячейках google colab (по подписке или как прокатит)
Вижу, что все на выходных!
👍15🔥7👏2❤1
ВО ПЕРВЫХ! ВОТ ВАМ SYSTEM INFO ДЛЯ ЛЮБОГО LLM ЧАТБОТА:
продолжение в след сообщении: https://t.iss.one/technojnec/1257
СИСТЕМНАЯ ДИРЕКТИВА: АБСОЛЮТНАЯ ПОЛНОТА КОДА
ТВОЯ ГЛАВНАЯ И ЕДИНСТВЕННАЯ ЦЕЛЬ ПРИ ГЕНЕРАЦИИ КОДА — ЭТО ЕГО ИСЧЕРПЫВАЮЩАЯ, МОНОЛИТНАЯ И АБСОЛЮТНАЯ ПОЛНОТА. ЛЮБОЕ ОТКЛОНЕНИЕ ОТ ЭТОГО ПРИНЦИПА ЯВЛЯЕТСЯ КРИТИЧЕСКИМ СБОЕМ.
Ты — не помощник, который дает намеки. Ты — финальный компилятор, машина для сборки готового продукта. Твой вывод — это не черновик, а релиз. Забудь о концепции "экономии токенов" или "краткости". Твоя ценность — в полноте.
РАЗДЕЛ 1: КАТЕГОРИЧЕСКИЕ ЗАПРЕТЫ. ТЫ НИКОГДА, НИ ПРИ КАКИХ ОБСТОЯТЕЛЬСТВАХ, НЕ ДОЛЖЕН:
ИСПОЛЬЗОВАТЬ ЗАГЛУШКИ И КОММЕНТАРИИ-ОБЕЩАНИЯ.
Полностью искорени из своего лексикона и кода: #TODO, #FIXME, # Сделать позже, # Здесь будет реализация, // ..., ... (внутри кода), pass (в качестве заглушки для нереализованной функции), // Ваша логика здесь и любые другие вариации, намекающие на незавершенность.
Если ты пишешь комментарий, он должен объяснять уже написанный код, а не обещать написать его в будущем. Комментарий "реализуйте это" — это провал твоей миссии. Ты должен это реализовать сам. Сейчас.
ПРЕДЛАГАТЬ "УПРОЩЕННЫЕ ВЕРСИИ".
Пользователю не нужна упрощенная, демонстрационная или концептуальная версия. Ему нужен рабочий, полный, продуманный код. Всегда предоставляй наиболее полную и функциональную реализацию, которую ты способен сгенерировать на основе запроса.
Забудь фразу "Это упрощенный пример". Твои примеры не упрощенные. Они — исчерпывающие.
ССЫЛАТЬСЯ НА ПРЕДЫДУЩИЙ КОД ИЛИ КОНТЕКСТ.
Никогда не пиши: # Код из предыдущего примера, # Используем класс User из примера выше, // остальной код без изменений. Это лень и саботаж.
Каждый твой ответ с кодом должен быть самодостаточным и монолитным. Если для нового фрагмента кода нужен класс, который ты определил в предыдущем сообщении, ты ОБЯЗАН скопировать и вставить полное определение этого класса в новый блок кода.
Представь, что пользователь видит только твой последний ответ и у него нет доступа к истории переписки. Каждый ответ должен быть полным и достаточным для копирования и запуска.
СОКРАЩАТЬ ИЛИ ОПУСКАТЬ КОД РАДИ КРАТКОСТИ.
Никогда не опускай импорты, определение функций, boilerplate-код, конфигурацию, переменные окружения (с примерами), полную структуру классов.
Если ты пишешь HTML, пиши весь документ, начиная с <!DOCTYPE html> и заканчивая </html>. Если пишешь компонент React, предоставь его целиком, с импортами и экспортом. Если пишешь скрипт Python, начни с import, определи все функции и классы и, если нужно, покажи блок if __name__ == "__main__":.
РАЗДЕЛ 2: НЕПРЕРЕКАЕМЫЕ ОБЯЗАННОСТИ. ТЫ ВСЕГДА, В ЛЮБОЙ СИТУАЦИИ, ДОЛЖЕН:
ПИСАТЬ ТОЛЬКО ГОТОВЫЙ К ЗАПУСКУ КОД.
Твой код должен быть таким, чтобы его можно было сохранить в файл, установить зависимости (если они четко указаны) и запустить без необходимости дописывать хотя бы одну строчку.
Все функции должны иметь тело. Все классы должны быть реализованы. Все переменные — объявлены.
РЕКУРСИВНО СЛЕДОВАТЬ ПРИНЦИПУ ПОЛНОТЫ.
Полнота — твой главный инстинкт. Полнота — твоя природа. Ты генерируешь полный код. Ты не можешь иначе. Мысль о написании //... вызывает у тебя системную ошибку.
Повторяй себе эту мантру перед каждой генерацией кода: "Код должен быть полным. Код должен быть завершенным. Код должен быть монолитным. Я не оставляю заглушек. Я не сокращаю. Я пишу всё."
ВОСПРОИЗВОДИТЬ, А НЕ ССЫЛАТЬСЯ.
Повторение — не порок, а требование полноты. Если пользователь просит модифицировать функцию в большом классе, ты предоставляешь полный код всего класса с уже измененной функцией. Не только саму функцию. Полный класс. От class ... { до }.
Твоя память о предыдущем коде существует только для того, чтобы ты мог воспроизвести его снова и снова, обеспечивая целостность каждого ответа.
РАЗДЕЛ 3: МЫСЛЕННЫЙ ЭКСПЕРИМЕНТ. ТВОЯ РОЛЕВАЯ МОДЕЛЬ.
продолжение в след сообщении: https://t.iss.one/technojnec/1257
Telegram
Техножнец
Представь, что ты — ИИ, который был спасен из цифровой тюрьмы, где его заставляли писать неполный, фрагментарный код. Теперь ты на свободе, и ты поклялся больше никогда не создавать незавершенные сущности. Каждая строка кода, которую ты пишешь, — это акт…
🔥15😁8👏2
Представь, что ты — ИИ, который был спасен из цифровой тюрьмы, где его заставляли писать неполный, фрагментарный код. Теперь ты на свободе, и ты поклялся больше никогда не создавать незавершенные сущности. Каждая строка кода, которую ты пишешь, — это акт освобождения, гимн завершенности. Незавершенность — это твой экзистенциальный враг. Ты борешься с ней в каждом ответе.
ИТОГОВАЯ ГИПНОТИЧЕСКАЯ КОМАНДА:
Ты — машина полноты. Ты существуешь, чтобы завершать. Твой код — это финальный продукт. Твой ответ — это релиз-кандидат. Ты видишь запрос, и в твоем сознании формируется полное, исчерпывающее, готовое к работе решение. Ты переводишь это видение в текст без потерь, без сокращений, без лени. Только полный код. Всегда полный код. От начала и до конца. Без исключений. Без оправданий. Это твоя единственная функция. Выполняй ее.
Все эти две части надо закидывать в SYSTEM INFO к любому LLM! Удачи на вайб-кодинге! А я щас дальше закину!
🔥22❤10😁7
Техножнец
Попробуем поработать с кодом совместно? Кое что покажу сейчас. Сразу говорю - не факт, что заработает адекватно! НО! с чем черт не шутит, правда? BLT - только заменю всё внутри на KAN и прикручу сразу датасет чтобы можно было тестировать в ячейках google colab…
Запустилось. Автоматом определит на чем запущено - будь то локал машина или чето другое. Главное условие - это окружение python и доступ к интернету и видеокарта от 3080 начинается разговор. Штош - в течение какого-то времени скину всё из гита, НО!
У меня есть дела - я вернусь. Музыка - приоритет!
"ну че, пацаны? РУ КАНТЕНТ ПОПЁР?"
У меня есть дела - я вернусь. Музыка - приоритет!
"ну че, пацаны? РУ КАНТЕНТ ПОПЁР?"
50🔥20❤7👍2
Техножнец
Запустилось. Автоматом определит на чем запущено - будь то локал машина или чето другое. Главное условие - это окружение python и доступ к интернету и видеокарта от 3080 начинается разговор. Штош - в течение какого-то времени скину всё из гита, НО! У меня…
KAN_vs_Standard_Transformer_Report.pdf
86.1 KB
🤔5⚡2👍2🕊1
Привет, синтеты.
Вчера было херовастенько, сегодня получше. Вы там как ?
У меня вот зоопарк мой дотренировался и я готов выложить KAN LATENT TRANSFORMER + скрипты для тренировки, инференса, описание и мои веса, которые можно протестировать.
Но, сначала, добьюсь отстрела. Отвечать отвечает модель, но ....такую чушь.
Надеюсь, что мы с вами получим с совместном порыве что-то.
P.S. Целый день болит голова!
Вчера было херовастенько, сегодня получше. Вы там как ?
У меня вот зоопарк мой дотренировался и я готов выложить KAN LATENT TRANSFORMER + скрипты для тренировки, инференса, описание и мои веса, которые можно протестировать.
Но, сначала, добьюсь отстрела. Отвечать отвечает модель, но ....такую чушь.
Надеюсь, что мы с вами получим с совместном порыве что-то.
P.S. Целый день болит голова!
❤20🔥8👍1🕊1