Ну штош. Бустанем?

https://t.iss.one/boost/technojnec

Накиньте бустов, я фон поменяю.

Привет, синтеты. Сделал я перерыв после такого общирного анализа. Да уж...дерзкая тема эти сети Колмогорова Арнольда, тяжёлая...а с токенизатором вообще пляски круглые сутки.

Но я типа пытаясь отсыпаться (по частям по 2,3, иногда 7 часов) пришёл к выводу, что я готов идти дальше. Из-за проблем со сном совсем че-то на спорт подзабил, чисто ради галочки с утра делаю. Надо бы сегодня попробовать полноценно. Отпишусь.

И это, скоро увидимся.

Сегодня тяжелый момент. Я снова проспав 2 часа уже испытываю сильнейшее желание прилечь. На этом состоянии обычно делаю прорывы. Я, в таком случае, дотяну аж до 22 часов и лягу спать. Видимо, проснусь в 7 с чем-то и буду, вероятно, доволен обстоятельствами.

А вам желаю никогда не играть в бессонницу и никогда так не заморачиваться, что аж спать не вариант прилечь)
Обнял вас крепко, апдейты будут.

Как видите, я вахтовым методом. Прорывами! АЕ

Да да...понимаю я концепцию...но

"Из темноты ответил Виталий"

Йоу. 7 ч 21 минута сна. Показатели - отлично. Состояние - великолепно.

Написал трек про картошку. Хочу с вами поделиться этими прекрасными мыслями насчет плода богов.

Вокал: Suno, Текст: Техножнец-Barometr, Трек: Barometr + SUNO

Доброе утро, синтеты.

Ох, новости)) щас расскажу...там Максим Imaxai бунд устроил...

🚀 RUKALLAMA: ВСЕ ВОПРОСЫ И ОТВЕТЫ ПОСЛЕ ВИДОСА МАКСИМА

Привет, синтеты и максойды! 👋

После видоса imaxai народ оживился с вопросами про RUKALLAMA. Раз все спрашивают одно и то же - делаю мегапост с ответами! 🔥

🤔 ЧТО ЗА ЗВЕРЬ ТАКОЙ?

RUKALLAMA - это русская языковая модель, которую разрабатывали и тренировали за срок в 7 месяцев на одной A100 (появилась позже, где-то 3 месяц её владельцем являюсь). Сбербанки и яндексы сильно заняты удешевлением процесса, я сильно занят хоть каким-то подорожанием сетапа , лол...но это лирика. Что там по модели?

Архитектура SplineGPT:

EfficientKANLinear - параметрические B-сплайны вместо обычных весов (теорема Колмогорова-Арнольда в деле!)
MoELayer - 4 эксперта, каждый 3-й слой
SplineAttention - KAN применяется к Q/K проекциям
Кастомный токенизатор с обработкой русского языка (СВОЙ, НАШ) 😃

📊 ТЕКУЩЕЕ СОСТОЯНИЕ: 187M ПАРАМЕТРОВ, 22 ЭПОХИ

✅ Что работает:

Честно говорит "НЕ ЗНАЮ" вместо галлюцинаций
Понимает советскую терминологию и философию
Генерирует тематически связанный текст
Демонстрирует эпистемологическую скромность

❌ Что НЕ работает:

Простая арифметика (40-30=?)
Современные концепции (удаленка, интернет)
Самоидентификация как AI

Решается дообучением на конкретных задачах + решение и так далее (это важный следующий этап)


🔥 Эпичные примеры:

Вопрос: "Как работать удаленно?"
RUKALLAMA: "автобус... поезд... пароход... плот..."
Модель перебирает ВСЕ известные способы связи из советского датасета! Концепции удаленки просто НЕТ! 😂

🗓 КОГДА МОЖНО ПОТРОГАТЬ?

Сейчас: Никак, модель в активной разработке 🔧
Очень скоро: Сделаю инференс на виртуальной тачке для постоянного тестирования
1-2 месяца: Публичная бета-версия для обкатки (до этого не раз выложу тесты для всех)
2-4 месяца: Полноценный релиз в открытый доступ

🎯 ПОЧЕМУ ОДНА КАРТОЧКА ЧЕТО МОЖЕТ ПРОТИВ КЛАСТЕРОВ КОРПОРАЦИЙ?

Дело в данных, в данных! 🧠

20GB сверхформализованных советских учебников
OCR → DeepSeek-V3 → Аннотация → 4 типа инструкций
Качественная формализация >> количество параметров
Специализация на русском языке и советском наследии

Адаптация моделей западного устроя в плане дообучения на русском языке - имеют свой эффект положительный. Модели действительно лучше общаются на русском, но чем больше я читаю ответов от Rukallama, тем больше я понимаю, что мы забыли как на самом деле раньше общались ❤️ Задача - внести наш менталитет в модель.

⚠️ ТЕКУЩИЕ ПРОБЛЕМЫ (ИЗ ДЕБАГ ЛОГА)

КРИТИЧНО: Токенизатор fail на round-trip тестах (62% вместо 95%+)
Глобальная инициализация весов перезаписывает кастомную логику KAN
Морфологическая консистентность 26-29% (плохо для русского)
MoE load balancing loss = 0 (эксперты не балансируются)

💰 РЕСУРСЫ И ПОДДЕРЖКА

Нужно: Вторая A100, третья и четвертая и пятая...не важно (~1.5-2 млн рублей)
Зачем: Масштабирование архитектуры и ускорение обучения, а также улучшение схождения (это как прозрение)
Планы: Открытый доступ после стабилизации

🤖 ФИЛОСОФИЯ ПРОЕКТА

Постоянно угождать и делать пользователю приятно даже во вред здравому смыслу и стремлению модели закрыть вопрос пользователя даже ценой галлюцинации приводят к плачевным результатам, которые даже не заметны на первый взгляд. Это будет иметь долгосрочные отпечатки на сознании граждан. Модель, которая сохраняет нашу идентичность будет важна в дальнейших инференсах в разных учреждениях, моя задача привнести формализации и честности в "размышления" модели.

🔬 ТЕХНИЧЕСКИЕ ФИШКИ

class EfficientKANLinear(nn.Module):
    def forward(self, x):
        base_output = self.base_linear(x)  # 90% классики
        kan_output = self.kan_path(x)     # 10% магии Колмогорова-Арнольда
        return base_output + gate * kan_output

MoE каждый 3-й слой:

4 эксперта специализируются на разных аспектах
Top-2 routing для эффективности
Load balancing для равномерного использования

🎪 ВЫВОД

RUKALLAMA - это proof-of-concept того, как правильная формализация данных побеждает грубую силу параметров. 187M честных параметров лучше триллионов лживых! Следующий этап: Instruction tuning на базе собранного feedback'а от пользователей.

Спасибо огромное Максиму IMAXAI за такую поддержку ❤️

Точнее на момент поста 951 (там сразу будет отписка после такого поста - пройденный этап. а потом снова наладится)

Всем новым, привет. Вы теперь синтеты.

...

Андрей Карпатый придумал вайб-кодинг. А я придумал термин - синтетический айтишник. Синтет это подпищег, а подпищеги синтеты.

https://t.iss.one/boost/technojnec

Йоу. Бустанем на обои красивые ?) я там все добавил. Доброе утро, синтеты.

Начал день с 200 отжиманий и 30 подтягиваний, 20 приседов, 20 пресса. И вам того же желаю!

Лицо нейросетей видели?

🌋 HeyGen Avatar IV против Mirage Studio: Новые ИИ Аватары - Стоит ли Хайпа? 🌋

Привет, синтеты! С вами Техножнец, и сегодня мы препарируем очередной хайповый вброс про "революционные" ИИ-аватары. В сети активно форсят два свежих инструмента, вокруг которых инфлюенсеры уже успели развести шумиху в стиле "всё, приехали, это конец!" или "просто безумие!". Речь идет о HeyGen Avatar IV и Mirage Studio. Мы провели собственное расследование и готовы доложить, так ли они круты, или это очередной мыльный пузырь.

1. HeyGen Avatar IV (с Motion Control)
Ссылка: https://www.heygen.com/

Этот инструмент обещает не просто оживить картинку под аудио, но и добавить кастомные движения и жесты по текстовому промпту. Звучит амбициозно.

Тесты показали:

Новостной ведущий: При попытке заставить его жестикулировать по промпту ("серьезный взгляд, руки вверх-вниз, в конце палец вверх") и говорить, пришлось ждать 10 минут ради 6 секунд результата. Жесты частично сработали, но ведущий внезапно обзавелся бумагами, возникшими из ниоткуда. Липсинк – ну, такое.

Девушка-геймер (говорящая про свое пение): Промпт на касание волос и знак "peace" был проигнорирован. Анимация деревянная, губы шевелятся, но экспрессии – ноль.

Рэпер с мопсом: Промпт на "страстный рэп, грув всем телом, рубящие движения рукой". Липсинк неплох, но телодвижения как у манекена, никакого грува.

Поющая девушка (другой пример): Промпт "поет страстно, рука на груди" привел к полному фиаско – не похоже на страстное пение, липсинк посредственный.

Тест на японском: Липсинк хороший, но жесты по промпту ("двигает руками, хлопает, касается микрофона") получились неестественными, хотя часть команд выполнена

Плачущий мужчина: Инструмент не смог осилить сильные эмоции, результат очень скованный.

Вердикт по HeyGen:

Пока "не фонтан". Липсинк неплох, но анимация движений и эмоций очень роботизированная, а кастомные жесты работают через раз и далеко не всегда так, как задумано. И очень уж долгая генерация.

2. Mirage Studio (от создателей Captions app)
Ссылка: https://mirage.app/

Этот инструмент, по заявлениям, должен генерировать особенно экспрессивные выступления.

Ключевая особенность (и главный косяк, о котором почему-то молчат инфлюенсеры): Mirage разбивает длинное аудио на куски максимум по 4 секунды и склеивает их жесткими склейками. Это, мягко говоря, проблема.

Тесты показали:

Смех: Результат более естественный, чем у HeyGen.

Разговорная речь: С простой речью справляется хорошо.

Рэп: Движения аватара действительно живее и естественнее, чем у HeyGen, но эти 4-секундные жесткие склейки просто убивают весь эффект.

Пение: Опять провал. Аватар даже не пытался петь, просто смотрел в камеру.

Плачущий мужчина (сгенерирован по тексту): Актер получился грустным, но не в той локации. Эмоция чуть лучше, но выглядит жутковато.

Немецкий и японский языки: Липсинк для разговора хороший.

Общий вывод:

Несмотря на восторженные крики инфлюенсеров, ни HeyGen Avatar IV, ни Mirage Studio пока не тянут на звание "гейм-ченджеров".

HeyGen предлагает интересную идею с кастомными жестами, но реализация хромает: анимации скованные, жесты не всегда точные, а сильные эмоции или пение – это вообще мимо.

Mirage Studio действительно лучше передает эмоции (особенно смех) и делает более живые движения для простой речи, но имеет фатальный недостаток – разбивка видео на 4-секундные сегменты с жесткими переходами. Это делает его практически бесполезным для чего-то длиннее короткой фразы, особенно для динамичного контента вроде рэпа или пения. К тому же, процесс генерации очень медленный.

На данный момент, для создания реалистичных аватаров, тот же OmniHuman (о котором мы говорили ранее) выглядит куда убедительнее. Так что, синтеты, хайп – это хорошо, но всегда проверяйте сами. Технологии развиваются, но до полной замены живых актеров ИИ-аватарами еще пилить и пилить. Ждем обновлений, а пока – это скорее игрушки с ограниченным применением. До связи!

Вот, собсна, как выглядят тесты.