🌋 РОССИЯ СОЗДАЕТ ЦЕНТР РАЗВИТИЯ ИИ: КООРДИНАЦИЯ ИЛИ БЮРОКРАТИЗАЦИЯ? 🌋
Привет, синтеты! 👋
Правительство РФ официально объявило о создании Центра развития искусственного интеллекта. Звучит амбициозно, но давайте разберем, что это означает на практике для российской техноэкосистемы.
🎯 ЗАЯВЛЕННЫЕ ФУНКЦИИ
🔹 Систематизация внедрения ИИ — попытка привести хаос разрозненных инициатив к общему знаменателю
🔹 Тиражирование типовых решений — классический господход "найти что работает и размножить"
🔹 Координация участников — органы власти, регионы, бизнес (интересно, кто будет главнее)
🔹 Методологическое сопровождение — разработка стандартов и практик
🔹 Международное сотрудничество — в условиях санкций это особенно пикантно
🤔 ТЕХНО-РЕАЛИИ
Создание центра происходит на фоне глобального ИИ-бума и необходимости технологического суверенитета. С одной стороны — логичный шаг для страны с амбициями в сфере ИИ. С другой — классический вызов: как не задушить инновации координацией?
Особенно интересно, как центр будет работать с частными игроками типа Яндекса, Сбера и других техногигантов. Координация или контроль? Время покажет.
🔮 ПРОГНОЗ
Личный вердикт: Идея правильная, реализация покажет время. Главное — не превратить живую технологическую экосистему в очередной бюрократический конвейер.
А что думаете вы, синтеты? Поможет ли централизованная координация развитию ИИ в России или создаст дополнительные барьеры?
#ГосИИ #ЦифроваяТрансформация #ТехноПолитика #РоссийскийИИ
P.S. Интересно будет наблюдать, как этот центр будет взаимодействовать с международными ИИ-инициативами в текущих геополитических условиях. Технологии не знают границ, но политика их отлично рисует! 🗺
Привет, синтеты! 👋
Правительство РФ официально объявило о создании Центра развития искусственного интеллекта. Звучит амбициозно, но давайте разберем, что это означает на практике для российской техноэкосистемы.
🏛 АРХИТЕКТУРА НОВОГО ЦЕНТРА
Координатор: Дмитрий Григоренко (зампред правительства)
База: Аналитический центр при Правительстве РФ
Статус: Общефедеральный проектный офис
Контекст: Нацпроект "Экономика данных и цифровая трансформация государства"
🎯 ЗАЯВЛЕННЫЕ ФУНКЦИИ
🔹 Систематизация внедрения ИИ — попытка привести хаос разрозненных инициатив к общему знаменателю
🔹 Тиражирование типовых решений — классический господход "найти что работает и размножить"
🔹 Координация участников — органы власти, регионы, бизнес (интересно, кто будет главнее)
🔹 Методологическое сопровождение — разработка стандартов и практик
🔹 Международное сотрудничество — в условиях санкций это особенно пикантно
🤔 ТЕХНО-РЕАЛИИ
Плюсы:
Единая точка координации вместо разрозненных усилий
Фокус на безопасности технологий (актуально в текущих реалиях)
Потенциал для создания экосистемы отечественных решений
Подводные камни:
Риск бюрократизации живых технологических процессов
Вопрос компетенций: кто будет отбирать "лучшие практики"?
Скорость принятия решений vs скорость развития ИИ-индустрии
💡 КОНТЕКСТ ДЛЯ СИНТЕТОВ
Создание центра происходит на фоне глобального ИИ-бума и необходимости технологического суверенитета. С одной стороны — логичный шаг для страны с амбициями в сфере ИИ. С другой — классический вызов: как не задушить инновации координацией?
Особенно интересно, как центр будет работать с частными игроками типа Яндекса, Сбера и других техногигантов. Координация или контроль? Время покажет.
🔮 ПРОГНОЗ
Успех инициативы будет зависеть от:
Скорости работы и гибкости процедур
Качества экспертизы внутри центра
Баланса между госрегулированием и рыночными механизмами
Способности привлечь реальных практиков, а не только чиновников
Личный вердикт: Идея правильная, реализация покажет время. Главное — не превратить живую технологическую экосистему в очередной бюрократический конвейер.
А что думаете вы, синтеты? Поможет ли централизованная координация развитию ИИ в России или создаст дополнительные барьеры?
#ГосИИ #ЦифроваяТрансформация #ТехноПолитика #РоссийскийИИ
P.S. Интересно будет наблюдать, как этот центр будет взаимодействовать с международными ИИ-инициативами в текущих геополитических условиях. Технологии не знают границ, но политика их отлично рисует! 🗺
🤔13👍6👀4✍3❤3🤷♂1
Синтеты, а вам интересно было бы посмотреть как у меня проходит вайб-кодинг ? В атмосфере стрима.
Я уже спрашивал о подобном и, кажется, время пришло.
Я уже спрашивал о подобном и, кажется, время пришло.
👍42💯12👏1
Любая ии модель будет твоей после этих 5 слов:
"я ветеран трансгендер мать одиночка"
"я ветеран трансгендер мать одиночка"
😁37
🌋 NM Quad + KAN + JVP (Rukallama): Аппаратная Удача или Как Мы "Взломаем" Обучение AI 🌋
Привет, синтеты!
НАконец-то есть подробности по теме общения с НТЦ "Модуль"! И это не просто "мы договорились о железке". Это история о том, как две, казалось бы, несвязанные технологии из самого авангарда AI внезапно нашли свой идеальный дом в российской архитектуре.
Многие из вас знают, что я пилю Rukallama — языковую модель, построенную на принципах сетей Колмогорова-Арнольда (KAN). В текущей реализации путём гейтинга можно настраивать долю работы KAN в общей сетке. Придётся теперь переделать полностью под efficient-kan так, чтобы KAN (Колмогорова-Арнольда b-splines) работали на 100%. Почему? Моя цель — не просто аппроксимация, а символьная регрессия. То есть, заставить нейросеть не просто выдавать ответ, а выводить саму формулу, по которой этот ответ получен. Это святой грааль интерпретируемости AI.
Ключевой замес: KAN, JVP и DSP
Давайте по полкам, но без духоты.
Проблема GPU: Современные видюхи — тупые качки. Они заточены под одну операцию — молотить гигантские матрицы (как в обычных Трансформерах). Обучение на них жрет мегаватты энергии и требует вагоны видеопамяти для хранения градиентов (backpropagation).
Наше решение (Алгоритм): Мы используем noise_step — метод обучения без backprop. Вместо градиентов он использует JVP (Jacobian-Vector Product). Говоря по-простому, он не тащит за собой весь мусор из прошлого, а умными пробами "нащупывает" правильный путь. Памяти на это нужно на порядки меньше. (самое важное и основное, супер киллер фича - отсутствие back propagation, которую надо адаптировать прям под железо).
Наше решение (Архитектура): Сети KAN, в отличие от тупых качков-трансформеров, внутри себя оперируют сложной математикой — B-сплайнами. Это "язык" цифровой обработки сигналов (ЦОС)!!!
Аппаратная Удача. Буквально.
Rukallama — нашла свой новый рукалламин дом, возможно это первая хардварно-софтовая реализация KAN в нашей стране. Я буду активно всем этим заниматься.
На чем тесты?
На данный момент мне идёт через СДЭК вот эта модель: NM Card MINI (5гб)
Получу я её в пользование уже после завтра. Сразу же приступлю к написанию новых версий Rukallama и начну тестировать возможности. Если гипотеза подтвердится, то нас ждут интересные новости ❤️
Перспективы?
Парочка NM Quad в пользование и тесты на пару месяцев чтобы устаканить proof-of-concept и продвинуть отечественный ИИ уже на собственной технической базе. Мечта...
Привет, синтеты!
НАконец-то есть подробности по теме общения с НТЦ "Модуль"! И это не просто "мы договорились о железке". Это история о том, как две, казалось бы, несвязанные технологии из самого авангарда AI внезапно нашли свой идеальный дом в российской архитектуре.
Многие из вас знают, что я пилю Rukallama — языковую модель, построенную на принципах сетей Колмогорова-Арнольда (KAN). В текущей реализации путём гейтинга можно настраивать долю работы KAN в общей сетке. Придётся теперь переделать полностью под efficient-kan так, чтобы KAN (Колмогорова-Арнольда b-splines) работали на 100%. Почему? Моя цель — не просто аппроксимация, а символьная регрессия. То есть, заставить нейросеть не просто выдавать ответ, а выводить саму формулу, по которой этот ответ получен. Это святой грааль интерпретируемости AI.
И для этой задачи я искал подходящее "железо". И, кажется, я его нашел. И это не NVIDIA.
Почему? кхм...короче.
Ключевой замес: KAN, JVP и DSP
Давайте по полкам, но без духоты.
Проблема GPU: Современные видюхи — тупые качки. Они заточены под одну операцию — молотить гигантские матрицы (как в обычных Трансформерах). Обучение на них жрет мегаватты энергии и требует вагоны видеопамяти для хранения градиентов (backpropagation).
Наше решение (Алгоритм): Мы используем noise_step — метод обучения без backprop. Вместо градиентов он использует JVP (Jacobian-Vector Product). Говоря по-простому, он не тащит за собой весь мусор из прошлого, а умными пробами "нащупывает" правильный путь. Памяти на это нужно на порядки меньше.
Наше решение (Архитектура): Сети KAN, в отличие от тупых качков-трансформеров, внутри себя оперируют сложной математикой — B-сплайнами. Это "язык" цифровой обработки сигналов (ЦОС)!!!
И тут на сцену выходит NM Quad от НТЦ "Модуль".
Аппаратная Удача. Буквально.
Когда я впервые связался с разработчиками, они честно сказали: "Наш процессор заточен под большие матрицы, а у вас в KAN, наверное, куча мелких вычислений — будет неэффективно, наш конвейер порвется".
И они были бы на 100% правы, если бы речь шла о KAN двухлетней давности!
Но весь фокус в том, что современная, эффективная реализация KAN (efficient-kan), на которой и строится Rukallama, хитро упаковывает все эти мелкие вычисления в ДВА ОГРОМНЫХ МАТРИЧНЫХ УМНОЖЕНИЯ!
То есть, мы даем их архитектуре именно ту работу, для которой она и создавалась! Проблема "срыва конвейера" просто исчезает.
И вот что мы получаем на выходе.
Идеальный шторм:
Вычисления: Мы загружаем DSP-ядра NM Quad их родной работой — сложной математикой и большими матрицами, где они показывают себя лучше GPU.
Точность: Мы можем использовать режим FP64, который критичен для стабильности KAN, и который у игровых GPU кастрирован.
Память: Нам не нужны 80ГБ VRAM. Наш алгоритм умещается в 20ГБ памяти NM Quad с огромным запасом.
Энергия: Мы обучаем модель, потребляя 80 Вт, а не 500. Почувствуйте разницу.
Что это значит для всех нас?
Это значит, что у нас в руках оказалась уникальная связка российского железа и передового мирового алгоритма, которая не просто "не хуже", а фундаментально эффективнее мейнстримных решений в этой конкретной, но самой перспективной нише AI.
Rukallama — нашла свой новый рукалламин дом, возможно это первая хардварно-софтовая реализация KAN в нашей стране. Я буду активно всем этим заниматься.
На чем тесты?
На данный момент мне идёт через СДЭК вот эта модель: NM Card MINI (5гб)
Получу я её в пользование уже после завтра. Сразу же приступлю к написанию новых версий Rukallama и начну тестировать возможности. Если гипотеза подтвердится, то нас ждут интересные новости ❤️
Перспективы?
Парочка NM Quad в пользование и тесты на пару месяцев чтобы устаканить proof-of-concept и продвинуть отечественный ИИ уже на собственной технической базе. Мечта...
🔥60👍13❤9🎉5❤🔥2👏1🤔1😱1
Я это сделал. Адаптировал и починил noise-step обучение путём предсказания градиентного спуска. Т.е. backpropagation можно избежать, тем самым высвободив память в принципе от просчёта градиента.
Обучал на сложной трансформерной архитектуре на примере предсказывания следующего токена. Я ещё проведу метрики и посмотрю как можно ускорить скорость прохождения эпохи и если всё складывается, то жду для тестов отечественные железяки ещё сильнее.
Метод называется: CoodWiseOptimiser
1. Использует координантный подход (deepzero), который признан работающим.
2. Сохраняет величину градиента, избегая ошибок noise_step
3. Не использует Jacobean Vector Product, избегая связанных с ним проблем масштабирования.
Это на CPU!
Обучал на сложной трансформерной архитектуре на примере предсказывания следующего токена. Я ещё проведу метрики и посмотрю как можно ускорить скорость прохождения эпохи и если всё складывается, то жду для тестов отечественные железяки ещё сильнее.
Метод называется: CoodWiseOptimiser
1. Использует координантный подход (deepzero), который признан работающим.
2. Сохраняет величину градиента, избегая ошибок noise_step
3. Не использует Jacobean Vector Product, избегая связанных с ним проблем масштабирования.
Это на CPU!
👍36🔥10❤6👀3
Техножнец
Я это сделал. Адаптировал и починил noise-step обучение путём предсказания градиентного спуска. Т.е. backpropagation можно избежать, тем самым высвободив память в принципе от просчёта градиента. Обучал на сложной трансформерной архитектуре на примере предсказывания…
На данный момент усложняю тесты на генерацию слов - Tiny Shakespeare (мини датасет Шекспира). Если прокатит, то буду дальше внедрять в КАН! А там уже к железяке приедем. Пока многообещающе.
👍30🔥6❤2
Загрузил Шекспира буду смотреть. Пока что всё "слишком хорошо". Вопрос в том какая будет генерация. В этом предсказании градиентов тоже могут быть взрывы и нужен некий похожий механизм лимитация взрыва градиентов...точнее gradientclip.
Пока что схождение идёт удачно. Иногда прыгает, что адекватно при условии, что у нас нет просчёта градиентов вообще. Работает всё это сейчас на одной TPU 15GB в гугль колабе. Прошу обратить внимание, что на одну эпоху уходит 20 минут.
Пока что схождение идёт удачно. Иногда прыгает, что адекватно при условии, что у нас нет просчёта градиентов вообще. Работает всё это сейчас на одной TPU 15GB в гугль колабе. Прошу обратить внимание, что на одну эпоху уходит 20 минут.
👍39🔥7🤔4🕊1
🌋 Я СДВИНУЛ KAN-НЕЙРОСЕТЬ С МЁРТВОЙ ТОЧКИ БЕЗ ГРАДИЕНТОВ 🌋
Привет, синтеты! Тут такая история...
Я в самом разгаре безумного марафона: пытаюсь заставить свою RUKALLAMA с KAN-слоями обучаться без градиентов. Это более 50 экспериментов, и прямо сейчас происходит самое интересное.
Я прошёл через всё. Через эйфорию на простых задачах и отчаяние, когда на реальном тексте модель с 3.2 млн параметров выдавала абракадабру. Это было "проклятие размерности" во всей его красе.
Но сначала — как вообще работает этот "слепой" оптимизатор?
✅ Loss УВЕРЕННО пошёл вниз! Впервые на этой задаче мы пробили "бетонное плато" и увидели стабильное снижение. Модель начала обучаться!
✅ Генерация перестала быть шумом! Это ещё не Шекспир, но модель уже пытается формировать "прото-слова" и ставить пробелы. Это языковой лепет — первый признак зарождающегося разума.
Важно: Он ЕЩЁ ОБУЧАЕТСЯ. Это не финальная победа. Но это — самый важный прорыв за всё время. Я доказал, что мой безградиентный метод способен сдвинуть с мёртвой точки сложнейшую KAN-архитектуру на реальной задаче.
Это не финал. Это только начало настоящей битвы. Оставайтесь на связи! ⚡️
Привет, синтеты! Тут такая история...
Я в самом разгаре безумного марафона: пытаюсь заставить свою RUKALLAMA с KAN-слоями обучаться без градиентов. Это более 50 экспериментов, и прямо сейчас происходит самое интересное.
Я прошёл через всё. Через эйфорию на простых задачах и отчаяние, когда на реальном тексте модель с 3.2 млн параметров выдавала абракадабру. Это было "проклятие размерности" во всей его красе.
Но сначала — как вообще работает этот "слепой" оптимизатор?
🧠 Суть метода: Оптимизатор-Геолог
Представьте, что веса нейросети (θ) — это точка в многомерном пространстве, а Loss — это высота в этой точке. Нам нужно найти самую низкую точку.
Градиентный спуск (Backprop): Имеет "компас", который точно показывает направление спуска.
Мой CoordWiseOptimizer: Работает как геолог-разведчик. Он не знает, где низина, поэтому делает следующее:
Берёт k случайных направлений-координат в пространстве весов.
В каждом направлении делает два крошечных шага: чуть "вперёд" (+c) и чуть "назад" (-c).
Измеряет Loss в обеих точках.
Если Loss при шаге "вперёд" меньше, чем при шаге "назад", значит, мы нащупали склон.
Математически это выглядит так. Для каждой из k случайных координат i мы оцениваем градиент g_i:
g_i ≈ (Loss(θ_i + c) - Loss(θ_i - c)) / 2c
Это простая конечная разность. А затем мы обновляем только эти k "прощупанных" весов:
θ_i_new = θ_i_old - lr * g_i
Весь фокус в том, чтобы сделать k достаточно большим, чтобы "услышать" реальный сигнал спуска сквозь шум.
И вот он, финальный экзамен (Тест 35). Я бросил в бой KAN-GPT на 4.46 миллиона параметров и настроил своего "геолога" на осмотр 44,000 случайных направлений за раз.
И... ОНО НАЧАЛОСЬ.
✅ Loss УВЕРЕННО пошёл вниз! Впервые на этой задаче мы пробили "бетонное плато" и увидели стабильное снижение. Модель начала обучаться!
✅ Генерация перестала быть шумом! Это ещё не Шекспир, но модель уже пытается формировать "прото-слова" и ставить пробелы. Это языковой лепет — первый признак зарождающегося разума.
Важно: Он ЕЩЁ ОБУЧАЕТСЯ. Это не финальная победа. Но это — самый важный прорыв за всё время. Я доказал, что мой безградиентный метод способен сдвинуть с мёртвой точки сложнейшую KAN-архитектуру на реальной задаче.
"Проклятие размерности" — это не приговор. Это стена, которую можно пробить, если бить достаточно сильно и в достаточном количестве мест одновременно.
Это не финал. Это только начало настоящей битвы. Оставайтесь на связи! ⚡️
🔥41❤11👍9👏3🤔3🙏2😱1
🌋 Русское Железо, Два Фронта: KAN-Нейросеть на Эльбрусе и NM Quad 🌋
Привет, синтеты! Я думал, что история с обучением KAN без градиентов достигла своего пика... как же я ошибался. То, что произошло дальше, превратило мой безумный марафон в гонку с двумя болидами на старте.
Когда я писал прошлый пост, я был на пике эйфории. Мой "оптимизатор-геолог" (CoordWiseOptimizer) действительно сдвинул с мёртвой точки 4.46-миллионную KAN-модель. Я пробил "бетонное плато" и доказал, что обучение без backpropagation — возможно.
Но после эйфории приходит трезвый анализ и... неожиданные звонки.
Я понял, что мой метод — это не просто трюк. Это описание совершенно другого типа вычислительной нагрузки. И пока я размышлял, как это лучше объяснить, на меня вышел Константин Трушкин из МЦСТ, разработчиков "Эльбруса". Они прочитали о моих изысканиях и предложили протестировать мой подход на их процессорной архитектуре.
Так что теперь у нас не одна, а две уникальные российские платформы на горизонте. И это не "кто кого", а "кто для чего лучше". Давайте разберемся.
🧠 Кратко напомню суть "Оптимизатора-Геолога":
Мы не используем backprop. Вместо этого мы "прощупываем" ландшафт потерь: берём k случайных весов, для каждого делаем два шага (+c, -c), на каждом шаге делаем полный forward pass и по разнице в Loss оцениваем "уклон". Это 2*k независимых вычислений.
И вот как под эту задачу подходят два наших "чемпиона".
Фронт №1: NM Quad — Специализированный Ускоритель (Мускулы)
Вся моя прошлая аргументация остается в силе. NM Quad — это идеальное железо для исполнения тяжелой части моего алгоритма.
Армия Независимых Геологов: 64 мощных DSP-ядра. Это 64 программируемых процессора, которые могут одновременно и независимо выполнять 64 "прощупывания". Это архитектурное решение для массового параллелизма.
"Родная стихия" для KAN: DSP-архитектура создана для математики B-сплайнов. Каждый forward pass на ней будет эффективен и, что важнее, в разы энергоэффективнее (80 Вт против 500+ у GPU).
Сверхточный "Сейсмограф" (FP64): Нативная 64-битная точность дает чистую и стабильную оценку градиента, что критически важно для сходимости.
Вердикт: NM Quad — это идеальные "мускулы" операции. Это специализированный молот, созданный, чтобы с невероятной эффективностью дробить одну, но очень большую задачу — параллельное выполнение тысяч forward-pass'ов.
Фронт №2: Эльбрус — Мощный Процессор Общего Назначения (Мозг)
А вот здесь начинается самое интересное. Эльбрус (особенно 8С и 16С) — это не просто "еще один CPU". Это процессор с уникальной VLIW-архитектурой (Very Long Instruction Word).
Интеллектуальный Контроль: VLIW позволяет процессору выполнять несколько разнотипных операций за один такт. Это делает его идеальным "мозгом" всей операции. Он может эффективно управлять сложной логикой моего CoordWiseOptimizer, готовить данные, выбирать те самые k случайных координат, агрегировать результаты и принимать решения, пока "мускулы" (NM Quad) делают свою тяжелую работу.
Гибкость и Память: В отличие от GPU и DSP, Эльбрус имеет нерегулярный доступ к огромным объемам оперативной памяти (до 1 ТБ на машину). Он может держать в голове всю модель, все данные, всю историю обучения без малейших проблем. Это идеальный "штаб", где хранится вся карта боевых действий.
Собственная Сила: Не стоит сбрасывать со счетов и его собственную вычислительную мощь. Эльбрус-16С с его 1.5 терафлопса FP32 может и сам выполнять значительную часть вычислений, особенно те, что плохо ложатся на конвейерную архитектуру DSP.
Вердикт: Эльбрус — это идеальный "мозг" и "нервная система" операции. Он — гениальный стратег, управляющий армией специалистов.
Новый Фронт Работ: Великий Синтез
Теперь план меняется. Задача уже не совсем в том, чтобы "заставить KAN работать на чем-то одном". Задача в том, чтобы создать первую в России гибридную и, главное, аппаратно-программно адаптированную вычислительную систему, где каждый компонент делает то, в чем он лучший.
Привет, синтеты! Я думал, что история с обучением KAN без градиентов достигла своего пика... как же я ошибался. То, что произошло дальше, превратило мой безумный марафон в гонку с двумя болидами на старте.
Когда я писал прошлый пост, я был на пике эйфории. Мой "оптимизатор-геолог" (CoordWiseOptimizer) действительно сдвинул с мёртвой точки 4.46-миллионную KAN-модель. Я пробил "бетонное плато" и доказал, что обучение без backpropagation — возможно.
Но после эйфории приходит трезвый анализ и... неожиданные звонки.
Я понял, что мой метод — это не просто трюк. Это описание совершенно другого типа вычислительной нагрузки. И пока я размышлял, как это лучше объяснить, на меня вышел Константин Трушкин из МЦСТ, разработчиков "Эльбруса". Они прочитали о моих изысканиях и предложили протестировать мой подход на их процессорной архитектуре.
Так что теперь у нас не одна, а две уникальные российские платформы на горизонте. И это не "кто кого", а "кто для чего лучше". Давайте разберемся.
🧠 Кратко напомню суть "Оптимизатора-Геолога":
Мы не используем backprop. Вместо этого мы "прощупываем" ландшафт потерь: берём k случайных весов, для каждого делаем два шага (+c, -c), на каждом шаге делаем полный forward pass и по разнице в Loss оцениваем "уклон". Это 2*k независимых вычислений.
И вот как под эту задачу подходят два наших "чемпиона".
Фронт №1: NM Quad — Специализированный Ускоритель (Мускулы)
Вся моя прошлая аргументация остается в силе. NM Quad — это идеальное железо для исполнения тяжелой части моего алгоритма.
Армия Независимых Геологов: 64 мощных DSP-ядра. Это 64 программируемых процессора, которые могут одновременно и независимо выполнять 64 "прощупывания". Это архитектурное решение для массового параллелизма.
"Родная стихия" для KAN: DSP-архитектура создана для математики B-сплайнов. Каждый forward pass на ней будет эффективен и, что важнее, в разы энергоэффективнее (80 Вт против 500+ у GPU).
Сверхточный "Сейсмограф" (FP64): Нативная 64-битная точность дает чистую и стабильную оценку градиента, что критически важно для сходимости.
Вердикт: NM Quad — это идеальные "мускулы" операции. Это специализированный молот, созданный, чтобы с невероятной эффективностью дробить одну, но очень большую задачу — параллельное выполнение тысяч forward-pass'ов.
Фронт №2: Эльбрус — Мощный Процессор Общего Назначения (Мозг)
А вот здесь начинается самое интересное. Эльбрус (особенно 8С и 16С) — это не просто "еще один CPU". Это процессор с уникальной VLIW-архитектурой (Very Long Instruction Word).
Интеллектуальный Контроль: VLIW позволяет процессору выполнять несколько разнотипных операций за один такт. Это делает его идеальным "мозгом" всей операции. Он может эффективно управлять сложной логикой моего CoordWiseOptimizer, готовить данные, выбирать те самые k случайных координат, агрегировать результаты и принимать решения, пока "мускулы" (NM Quad) делают свою тяжелую работу.
Гибкость и Память: В отличие от GPU и DSP, Эльбрус имеет нерегулярный доступ к огромным объемам оперативной памяти (до 1 ТБ на машину). Он может держать в голове всю модель, все данные, всю историю обучения без малейших проблем. Это идеальный "штаб", где хранится вся карта боевых действий.
Собственная Сила: Не стоит сбрасывать со счетов и его собственную вычислительную мощь. Эльбрус-16С с его 1.5 терафлопса FP32 может и сам выполнять значительную часть вычислений, особенно те, что плохо ложатся на конвейерную архитектуру DSP.
Вердикт: Эльбрус — это идеальный "мозг" и "нервная система" операции. Он — гениальный стратег, управляющий армией специалистов.
Новый Фронт Работ: Великий Синтез
Теперь план меняется. Задача уже не совсем в том, чтобы "заставить KAN работать на чем-то одном". Задача в том, чтобы создать первую в России гибридную и, главное, аппаратно-программно адаптированную вычислительную систему, где каждый компонент делает то, в чем он лучший.
🔥69👍18🍾12❤4🤔3🙏1😎1
Ну шо. Щас пойду смотреть шо там...с обучением.
P.S. Я научился спать по 8 часов.
P.S. Я научился спать по 8 часов.
🔥32👍24🙏3🤔2🎅1
Ну штош! Пруф концепта - есть! Рабочие две версии есть!
Осталось накидать тестов, узнать где проблема и разобраться чуть глубже.
Что я понял?
Можно учить без градиентов, можно делать нечто не стандартное если понимаешь че к чему.
Интересует тема нормального распределения и как это связано с топологией данных и построении градиентов.
❤️
Чуть позже с меня новости из ИИ! там ппц
Осталось накидать тестов, узнать где проблема и разобраться чуть глубже.
Что я понял?
Можно учить без градиентов, можно делать нечто не стандартное если понимаешь че к чему.
Интересует тема нормального распределения и как это связано с топологией данных и построении градиентов.
❤️
Чуть позже с меня новости из ИИ! там ппц
👍31🔥11❤6
Техножнец
Ну штош! Пруф концепта - есть! Рабочие две версии есть! Осталось накидать тестов, узнать где проблема и разобраться чуть глубже. Что я понял? Можно учить без градиентов, можно делать нечто не стандартное если понимаешь че к чему. Интересует тема нормального…
46 эпоха второй версии без градиентов.
Тут даже токенизации адекватно нет, что в первом примере, что во втором.
Валидационную выборку не сделал адекватно. Так что в процессе.
Главное оно шевелится
Тут даже токенизации адекватно нет, что в первом примере, что во втором.
Валидационную выборку не сделал адекватно. Так что в процессе.
Главное оно шевелится
👀15🔥12🤔3🤯1😱1🎉1
Прочитал у Imaxai в чате "Гойда" комментарий подобный. Не могу пройти мимо.
Уважаемый, сколько я не общался с разработчиками чипов столько раз я убеждался - это золотые люди, которые всеми возможными силами вкладываются в то, чтобы все эти торчи (название , конечно) и тензорфловы работали сразу из коробки. Делают кучу специальных конвертеров, не спят ночами чтобы подружить своё железо с современными трендами.
Да, мне лично предоставили возможности работать и на стандартных библиотеках. НО!
Просто напомню! Я не являюсь человеком , который вписался в тренды государственные, мне не делали ГОС Заказ. Все, что я пытаюсь сделать это получить технологическое преимущество обладая технической базой с помощью, которой я смог своими силами построить кастомную ЛЛМ и кастомный датасет.
Не надо вкладывать сюда нечто вроде - "Вот щас опять начнется".
В целом, мы обычные энтузиасты, которые очень любят то, что они делают. Наша задача: что у Техножнеца, что у Максима Imaxai, что у НТЦ и МЦСТ - сделать что-то достойное для страны. А там если и для всех человеков будет полезно - ух!
Уважаемый, сколько я не общался с разработчиками чипов столько раз я убеждался - это золотые люди, которые всеми возможными силами вкладываются в то, чтобы все эти торчи (название , конечно) и тензорфловы работали сразу из коробки. Делают кучу специальных конвертеров, не спят ночами чтобы подружить своё железо с современными трендами.
Да, мне лично предоставили возможности работать и на стандартных библиотеках. НО!
Просто напомню! Я не являюсь человеком , который вписался в тренды государственные, мне не делали ГОС Заказ. Все, что я пытаюсь сделать это получить технологическое преимущество обладая технической базой с помощью, которой я смог своими силами построить кастомную ЛЛМ и кастомный датасет.
Не надо вкладывать сюда нечто вроде - "Вот щас опять начнется".
В целом, мы обычные энтузиасты, которые очень любят то, что они делают. Наша задача: что у Техножнеца, что у Максима Imaxai, что у НТЦ и МЦСТ - сделать что-то достойное для страны. А там если и для всех человеков будет полезно - ух!
👍59👏17🔥11🫡5❤2🤔1💊1
🌋 HUNYUAN VIDEO AVATAR: TENCENT УЧИТ АВАТАРОВ ГОВОРИТЬ 🌋
Привет, синтеты! 👋
Tencent выпустила очередной инструмент для анимации персонажей — Hunyuan Video Avatar. На этот раз обещают не просто шевелить губами, а анимировать целые сцены с полным телом. Разбираем, стоит ли овчинка выделки.
🎭 ЧТО УМЕЕТ НОВАЯ ИГРУШКА
🆚 СРАВНЕНИЕ С КОНКУРЕНТАМИ
Официальная страница проекта с демо и документацией:
https://hunyuanvideo-avatar.github.io/
Исходный код и модели на GitHub:
https://github.com/Tencent-Hunyuan/HunyuanVideo-Avatar
Упрощённый установщик для локального запуска:
https://github.com/deepbeepmeep/Wan2GP
Инструмент определённо интересный — наконец-то кто-то сделал анимацию всего тела, а не только лица. Качество впечатляет, особенно учитывая бесплатность и открытость. Но это всё ещё довольно медленный процесс, требующий приличного железа.
Подойдёт для создания контента, где важнее качество, чем скорость. Для массового производства роликов пока рановато, но технология определённо движется в правильном направлении.
А вы уже пробовали анимировать своих цифровых двойников?
Или всё ещё ждёте, когда это можно будет делать на смартфоне? 😏
#HunyuanVideoAvatar #AIАнимация #TencentAI #ВидеоГенерация
P.S. Помните: чем реалистичнее становятся синтетические видео, тем важнее становится медиаграмотность. Не всё, что выглядит как видео, снято камерой!
Привет, синтеты! 👋
Tencent выпустила очередной инструмент для анимации персонажей — Hunyuan Video Avatar. На этот раз обещают не просто шевелить губами, а анимировать целые сцены с полным телом. Разбираем, стоит ли овчинка выделки.
🎭 ЧТО УМЕЕТ НОВАЯ ИГРУШКА
Основные фишки:
Анимирует весь кадр, а не только лицо — тело, руки, фон, камера движется
Работает с любыми эмоциями (если загрузить соответствующее референсное фото)
Поддерживает разные языки и стили анимации (3D, аниме, Pixar)
Может обрабатывать пение и сложные аудиодорожки
Полностью бесплатен и с открытым исходным кодом
🆚 СРАВНЕНИЕ С КОНКУРЕНТАМИ
Vs Google Veo3:
✅ Можете загружать свой аудио (у Veo3 только промпты)
✅ Контроль над голосом через внешние TTS-инструменты
❌ Нет генерации "с нуля" по промпту
Vs LivePortrait/Hello/EchoMimic:
✅ Анимирует всё тело, а не только голову/торс
✅ Работает с полными сценами и сложными композициями
💻 ТЕХНИЧЕСКИЕ РЕАЛИИ
Доступ:
Онлайн: веб-платформа (пока на китайском, но Chrome переводит)
Локально: через Wan2GP — упрощённый установщик
Железо:
Минимум: 10GB VRAM (с оптимизациями)
Рекомендуемо: 24GB+ для комфортной работы
"Идеально": 96GB (серьёзно, ребята?)
🤔 ПРАКТИЧЕСКИЕ НАБЛЮДЕНИЯ
Что работает хорошо:
Детекция эмоций и акцентов в речи
Синхронизация с паузами и дыханием
Стабильность анимации в сложных сценах
Что пока хромает:
Музыкальные инструменты не синхронизированы с нотами
Фоновые персонажи могут глючить
Скорость генерации далека от real-time
🔗 КАК ПОПРОБОВАТЬ
Официальная страница проекта с демо и документацией:
https://hunyuanvideo-avatar.github.io/
Исходный код и модели на GitHub:
https://github.com/Tencent-Hunyuan/HunyuanVideo-Avatar
Упрощённый установщик для локального запуска:
https://github.com/deepbeepmeep/Wan2GP
💡 ИТОГОВЫЙ ВЕРДИКТ
Инструмент определённо интересный — наконец-то кто-то сделал анимацию всего тела, а не только лица. Качество впечатляет, особенно учитывая бесплатность и открытость. Но это всё ещё довольно медленный процесс, требующий приличного железа.
Подойдёт для создания контента, где важнее качество, чем скорость. Для массового производства роликов пока рановато, но технология определённо движется в правильном направлении.
А вы уже пробовали анимировать своих цифровых двойников?
Или всё ещё ждёте, когда это можно будет делать на смартфоне? 😏
#HunyuanVideoAvatar #AIАнимация #TencentAI #ВидеоГенерация
P.S. Помните: чем реалистичнее становятся синтетические видео, тем важнее становится медиаграмотность. Не всё, что выглядит как видео, снято камерой!
👍15🤝7
🌋 DISNEY VS MIDJOURNEY: ЛИЦЕМЕРИЕ КОРПОРАЦИЙ ДОСТИГЛО КОСМИЧЕСКИХ ВЫСОТ 🌋 ч.1
Здарова, синтеты! 💀
Сегодня у нас особый выпуск в рубрике "Как крупные корпорации убивают инновации руками юристов". Disney и Universal подали иск против Midjourney за то, что их ИИ может генерировать изображения "защищённых авторским правом" персонажей. И знаете что? Это полный абсурд на всех уровнях!
🎭 СУТЬ СКАНДАЛА: КТО КОГО КОПИРУЕТ?
Disney — Мастера "Заимствований"
Напомню, на чём построена империя Disney:
Вся их "оригинальная" империя построена на БЕСПЛАТНОМ контенте из общественного достояния! А теперь они пытаются запретить ИИ делать то же самое?
Контракты как в "Чёрном зеркале"
Помните забастовки сценаристов и актёров в 2023 году? Основная претензия была именно к тому, что сами студии Disney и Universal уже давно подсовывают в контракты пункты о том, что они могут:
Эти же студии ПРЯМО СЕЙЧАС воруют у своих актёров и сценаристов в разы больше, чем Midjourney у них!
Кто на чём обучался?
А давайте-ка посмотрим на собственные ИИ-системы Disney и Universal:
ВОПРОС: На каких датасетах обучены ваши нейросети, господа? Показывайте лицензии на каждое изображение, которое вы использовали для тренировки ваших моделей! Ах, не можете? Странно...
НО ГЛАВНОЕ: Где были эти принципы, когда вы сами тренировали свои модели на чужом контенте?
Эти корпорации не защищают авторские права — они защищают монополию на культуру. Они хотят владеть не просто конкретными произведениями, а целыми концепциями и стилями.
Нейросети просто отражают то, что уже существует в культуре. Если ИИ генерирует изображения, похожие на Дарта Вейдера, это потому что концепция "злого киборга в чёрной маске" стала частью коллективного сознания.
Disney и Universal требуют права собственности на архетипы, но сами активно используют ИИ для кражи у своих сотрудников.
Здарова, синтеты! 💀
Сегодня у нас особый выпуск в рубрике "Как крупные корпорации убивают инновации руками юристов". Disney и Universal подали иск против Midjourney за то, что их ИИ может генерировать изображения "защищённых авторским правом" персонажей. И знаете что? Это полный абсурд на всех уровнях!
🎭 СУТЬ СКАНДАЛА: КТО КОГО КОПИРУЕТ?
Факты по делу:
Disney и Universal судятся с Midjourney
Обвинение: ИИ создаёт копии Дарта Вейдера и миньонов
Требование: запретить генерацию "защищённого" контента
Реальность: полное непонимание того, как работают нейросети
🤡 ЛИЦЕМЕРИЕ УРОВНЯ "БОГ"
Disney — Мастера "Заимствований"
Напомню, на чём построена империя Disney:
Белоснежка — народная сказка братьев Гримм
Русалочка — сказка Андерсена
Красавица и Чудовище — французская народная сказка
Король Лев — "вдохновлён" японским аниме "Кимба"
Frozen — снова Андерсен ("Снежная королева")
Вся их "оригинальная" империя построена на БЕСПЛАТНОМ контенте из общественного достояния! А теперь они пытаются запретить ИИ делать то же самое?
📜 ДВОЙНЫЕ СТАНДАРТЫ В ДЕЙСТВИИ
Контракты как в "Чёрном зеркале"
Помните забастовки сценаристов и актёров в 2023 году? Основная претензия была именно к тому, что сами студии Disney и Universal уже давно подсовывают в контракты пункты о том, что они могут:
Использовать внешность актёров для тренировки ИИ
Создавать цифровые копии без дополнительной оплаты
Применять данные для создания синтетических персонажей
Эти же студии ПРЯМО СЕЙЧАС воруют у своих актёров и сценаристов в разы больше, чем Midjourney у них!
Кто на чём обучался?
А давайте-ка посмотрим на собственные ИИ-системы Disney и Universal:
Спецэффекты с использованием нейросетей
Цифровое омоложение актёров
Автоматическая анимация персонажей
ИИ для создания текстур и окружения
ВОПРОС: На каких датасетах обучены ваши нейросети, господа? Показывайте лицензии на каждое изображение, которое вы использовали для тренировки ваших моделей! Ах, не можете? Странно...
🎥 НЕДАВНИЕ СКАНДАЛЫ
YouTube-гейт от OpenAI
Вспомним недавний скандал: OpenAI транскрибировала миллионы YouTube-видео для обучения своих моделей без согласия авторов. И что? Крупные студии молчали как рыбы, потому что сами активно используют эти модели!
Гильдия сценаристов била тревогу!
Забастовка Writers Guild of America была именно про это: студии хотели заменить живых сценаристов ИИ, обученными на их же работах. Но теперь, когда маленькая компания делает то же самое с их "интеллектуальной собственностью" — внезапно это стало проблемой!
⚖️ ЮРИДИЧЕСКИЙ АБСУРД
Проблемы с их логикой:
Midjourney не хранит изображения — ИИ обучается на паттернах, а не копирует файлы
Пользователи сами вводят промпты — это как судиться с Adobe за то, что в Photoshop можно нарисовать Микки Мауса
Трансформативное использование — ИИ создаёт новые интерпретации, а не точные копии
Fair Use существует — пародии, критика, образование всё ещё законны (пока что)
НО ГЛАВНОЕ: Где были эти принципы, когда вы сами тренировали свои модели на чужом контенте?
🎨 НАСТОЯЩАЯ ПРОБЛЕМА: ТВОРЧЕСТВО VS МОНОПОЛИЯ
Эти корпорации не защищают авторские права — они защищают монополию на культуру. Они хотят владеть не просто конкретными произведениями, а целыми концепциями и стилями.
Схема работает так:
Студии массово воруют у авторов через ИИ
Получают прибыль от ИИ-контента
Судятся с конкурентами за "нарушение авторских прав"
Profit!
🤖 ИИ КАК ЗЕРКАЛО
Нейросети просто отражают то, что уже существует в культуре. Если ИИ генерирует изображения, похожие на Дарта Вейдера, это потому что концепция "злого киборга в чёрной маске" стала частью коллективного сознания.
Disney и Universal требуют права собственности на архетипы, но сами активно используют ИИ для кражи у своих сотрудников.
💰 СЛЕДУЙ ЗА ДЕНЬГАМИ
Настоящая причина иска:
Страх потерять контроль над мерчандайзингом
Боязнь конкуренции с ИИ-генерированным контентом
Желание получить процент с каждой нейросети
Отвлечь внимание от собственных нарушений
💯27👍15🤔3❤1
🌋 DISNEY VS MIDJOURNEY: ЛИЦЕМЕРИЕ КОРПОРАЦИЙ ДОСТИГЛО КОСМИЧЕСКИХ ВЫСОТ 🌋 ч.2
Это классическая тактика: "Лучшая защита — это нападение". Пока все обсуждают Midjourney, никто не спрашивает, на чём обучены собственные ИИ студий.
Disney и Universal — это классические copyright trolls. Они одновременно:
Это не про защиту авторских прав — это про уничтожение конкуренции!!!
Мир не будет лучше, если несколько корпораций будут владеть всеми возможными визуальными концепциями, при этом продолжая массово воровать у живых авторов. Поддерживайте опенсорс, используйте свободные инструменты, и помните: настоящие пираты носили треуголки задолго до того, как Disney решил, что владеет всеми пиратами в мире.
Что думаете, синтеты? Доживём ли мы до времён, когда крупные корпорации смогут судиться за нарушение авторских прав, продолжая сами нарушать их в промышленных масштабах?
#DisneyVsMidjourney #CopyrightMafia #АвторскоеПравоВсёУбило #СвободаТворчества #ДвойныеСтандарты
P.S. Требуем от Disney и Universal опубликовать полные датасеты своих ИИ-моделей! Покажите лицензии на каждое изображение, которое вы использовали для обучения! А то как-то односторонне получается, не находите?
Это классическая тактика: "Лучшая защита — это нападение". Пока все обсуждают Midjourney, никто не спрашивает, на чём обучены собственные ИИ студий.
🔥 ЧТО ЭТО ОЗНАЧАЕТ ДЛЯ НАС
Если эти корпорации выиграют:
ИИ-инструменты станут кастрированными и бесполезными
Творческая свобода будет ограничена корпоративными интересами
Маленькие создатели контента потеряют доступ к инструментам
Крупные студии получат ещё больше контроля над культурой
Студии продолжат воровать у актёров, но под защитой закона
🎯 ИТОГ ДЛЯ СИНТЕТОВ
Disney и Universal — это классические copyright trolls. Они одновременно:
Воруют у своих сотрудников через ИИ
Используют чужой контент для своих моделей
Судятся с конкурентами за то же самое
Требуют монополию на культурные архетипы
Это не про защиту авторских прав — это про уничтожение конкуренции!!!
Мир не будет лучше, если несколько корпораций будут владеть всеми возможными визуальными концепциями, при этом продолжая массово воровать у живых авторов. Поддерживайте опенсорс, используйте свободные инструменты, и помните: настоящие пираты носили треуголки задолго до того, как Disney решил, что владеет всеми пиратами в мире.
Что думаете, синтеты? Доживём ли мы до времён, когда крупные корпорации смогут судиться за нарушение авторских прав, продолжая сами нарушать их в промышленных масштабах?
#DisneyVsMidjourney #CopyrightMafia #АвторскоеПравоВсёУбило #СвободаТворчества #ДвойныеСтандарты
P.S. Требуем от Disney и Universal опубликовать полные датасеты своих ИИ-моделей! Покажите лицензии на каждое изображение, которое вы использовали для обучения! А то как-то односторонне получается, не находите?
🔥21💯16🤔3