Ух, вот это день. дикий. Новости по ИИ постить все подряд - не охота.
Буду стараться искать и постить и исследовать нечто сам по своему усмотрению. Всё-таки, грёбаные дайджесты выносят мне голову. Приводит тебя в состояние близкое к дум скроллингу, когда ёбаные ИИ новости заполоняют всё и идут уже таким чередом, что ты не понимаешь - где кончается апгрейд?

В целом - суматоха. Буду думать. Щас пока на чилле буду дальше смотреть любимый сериал "DEXTER". Конечно, пздец там сюжеты. я таво кувыркал блин

2 часа - мой максимум на сегодня. Сериал декстер я "досмотрел". Там концовка такая была в этом сезоне, что для меня сериал умер. Бедная Дебра...но то ладно.

Соберусь с силами, посижу за компом чутка, повтыкаю. Все равно битый час смотрел в веки и пытался убрать себя в сны.

Если что - все ок. Я давно так живу.

Ептваю м***. И , причём, в прямом смысле судя по фото.

Ну штош. Бустанем?

https://t.iss.one/boost/technojnec

Накиньте бустов, я фон поменяю.

Привет, синтеты. Сделал я перерыв после такого общирного анализа. Да уж...дерзкая тема эти сети Колмогорова Арнольда, тяжёлая...а с токенизатором вообще пляски круглые сутки.

Но я типа пытаясь отсыпаться (по частям по 2,3, иногда 7 часов) пришёл к выводу, что я готов идти дальше. Из-за проблем со сном совсем че-то на спорт подзабил, чисто ради галочки с утра делаю. Надо бы сегодня попробовать полноценно. Отпишусь.

И это, скоро увидимся.

Сегодня тяжелый момент. Я снова проспав 2 часа уже испытываю сильнейшее желание прилечь. На этом состоянии обычно делаю прорывы. Я, в таком случае, дотяну аж до 22 часов и лягу спать. Видимо, проснусь в 7 с чем-то и буду, вероятно, доволен обстоятельствами.

А вам желаю никогда не играть в бессонницу и никогда так не заморачиваться, что аж спать не вариант прилечь)
Обнял вас крепко, апдейты будут.

Как видите, я вахтовым методом. Прорывами! АЕ

Да да...понимаю я концепцию...но

"Из темноты ответил Виталий"

Йоу. 7 ч 21 минута сна. Показатели - отлично. Состояние - великолепно.

Написал трек про картошку. Хочу с вами поделиться этими прекрасными мыслями насчет плода богов.

Вокал: Suno, Текст: Техножнец-Barometr, Трек: Barometr + SUNO

Доброе утро, синтеты.

Ох, новости)) щас расскажу...там Максим Imaxai бунд устроил...

🚀 RUKALLAMA: ВСЕ ВОПРОСЫ И ОТВЕТЫ ПОСЛЕ ВИДОСА МАКСИМА

Привет, синтеты и максойды! 👋

После видоса imaxai народ оживился с вопросами про RUKALLAMA. Раз все спрашивают одно и то же - делаю мегапост с ответами! 🔥

🤔 ЧТО ЗА ЗВЕРЬ ТАКОЙ?

RUKALLAMA - это русская языковая модель, которую разрабатывали и тренировали за срок в 7 месяцев на одной A100 (появилась позже, где-то 3 месяц её владельцем являюсь). Сбербанки и яндексы сильно заняты удешевлением процесса, я сильно занят хоть каким-то подорожанием сетапа , лол...но это лирика. Что там по модели?

Архитектура SplineGPT:

EfficientKANLinear - параметрические B-сплайны вместо обычных весов (теорема Колмогорова-Арнольда в деле!)
MoELayer - 4 эксперта, каждый 3-й слой
SplineAttention - KAN применяется к Q/K проекциям
Кастомный токенизатор с обработкой русского языка (СВОЙ, НАШ) 😃

📊 ТЕКУЩЕЕ СОСТОЯНИЕ: 187M ПАРАМЕТРОВ, 22 ЭПОХИ

✅ Что работает:

Честно говорит "НЕ ЗНАЮ" вместо галлюцинаций
Понимает советскую терминологию и философию
Генерирует тематически связанный текст
Демонстрирует эпистемологическую скромность

❌ Что НЕ работает:

Простая арифметика (40-30=?)
Современные концепции (удаленка, интернет)
Самоидентификация как AI

Решается дообучением на конкретных задачах + решение и так далее (это важный следующий этап)


🔥 Эпичные примеры:

Вопрос: "Как работать удаленно?"
RUKALLAMA: "автобус... поезд... пароход... плот..."
Модель перебирает ВСЕ известные способы связи из советского датасета! Концепции удаленки просто НЕТ! 😂

🗓 КОГДА МОЖНО ПОТРОГАТЬ?

Сейчас: Никак, модель в активной разработке 🔧
Очень скоро: Сделаю инференс на виртуальной тачке для постоянного тестирования
1-2 месяца: Публичная бета-версия для обкатки (до этого не раз выложу тесты для всех)
2-4 месяца: Полноценный релиз в открытый доступ

🎯 ПОЧЕМУ ОДНА КАРТОЧКА ЧЕТО МОЖЕТ ПРОТИВ КЛАСТЕРОВ КОРПОРАЦИЙ?

Дело в данных, в данных! 🧠

20GB сверхформализованных советских учебников
OCR → DeepSeek-V3 → Аннотация → 4 типа инструкций
Качественная формализация >> количество параметров
Специализация на русском языке и советском наследии

Адаптация моделей западного устроя в плане дообучения на русском языке - имеют свой эффект положительный. Модели действительно лучше общаются на русском, но чем больше я читаю ответов от Rukallama, тем больше я понимаю, что мы забыли как на самом деле раньше общались ❤️ Задача - внести наш менталитет в модель.

⚠️ ТЕКУЩИЕ ПРОБЛЕМЫ (ИЗ ДЕБАГ ЛОГА)

КРИТИЧНО: Токенизатор fail на round-trip тестах (62% вместо 95%+)
Глобальная инициализация весов перезаписывает кастомную логику KAN
Морфологическая консистентность 26-29% (плохо для русского)
MoE load balancing loss = 0 (эксперты не балансируются)

💰 РЕСУРСЫ И ПОДДЕРЖКА

Нужно: Вторая A100, третья и четвертая и пятая...не важно (~1.5-2 млн рублей)
Зачем: Масштабирование архитектуры и ускорение обучения, а также улучшение схождения (это как прозрение)
Планы: Открытый доступ после стабилизации

🤖 ФИЛОСОФИЯ ПРОЕКТА

Постоянно угождать и делать пользователю приятно даже во вред здравому смыслу и стремлению модели закрыть вопрос пользователя даже ценой галлюцинации приводят к плачевным результатам, которые даже не заметны на первый взгляд. Это будет иметь долгосрочные отпечатки на сознании граждан. Модель, которая сохраняет нашу идентичность будет важна в дальнейших инференсах в разных учреждениях, моя задача привнести формализации и честности в "размышления" модели.

🔬 ТЕХНИЧЕСКИЕ ФИШКИ

class EfficientKANLinear(nn.Module):
    def forward(self, x):
        base_output = self.base_linear(x)  # 90% классики
        kan_output = self.kan_path(x)     # 10% магии Колмогорова-Арнольда
        return base_output + gate * kan_output

MoE каждый 3-й слой:

4 эксперта специализируются на разных аспектах
Top-2 routing для эффективности
Load balancing для равномерного использования

🎪 ВЫВОД

RUKALLAMA - это proof-of-concept того, как правильная формализация данных побеждает грубую силу параметров. 187M честных параметров лучше триллионов лживых! Следующий этап: Instruction tuning на базе собранного feedback'а от пользователей.

Спасибо огромное Максиму IMAXAI за такую поддержку ❤️

Точнее на момент поста 951 (там сразу будет отписка после такого поста - пройденный этап. а потом снова наладится)

Всем новым, привет. Вы теперь синтеты.

...

Андрей Карпатый придумал вайб-кодинг. А я придумал термин - синтетический айтишник. Синтет это подпищег, а подпищеги синтеты.

https://t.iss.one/boost/technojnec

Йоу. Бустанем на обои красивые ?) я там все добавил. Доброе утро, синтеты.

Начал день с 200 отжиманий и 30 подтягиваний, 20 приседов, 20 пресса. И вам того же желаю!