Техножнец

Ох, новости)) щас расскажу...там Максим Imaxai бунд устроил...

👍19

1.27K views10:56

🚀 RUKALLAMA: ВСЕ ВОПРОСЫ И ОТВЕТЫ ПОСЛЕ ВИДОСА МАКСИМА

Привет, синтеты и максойды! 👋

После видоса imaxai народ оживился с вопросами про RUKALLAMA. Раз все спрашивают одно и то же - делаю мегапост с ответами! 🔥

🤔 ЧТО ЗА ЗВЕРЬ ТАКОЙ?

RUKALLAMA - это русская языковая модель, которую разрабатывали и тренировали за срок в 7 месяцев на одной A100 (появилась позже, где-то 3 месяц её владельцем являюсь). Сбербанки и яндексы сильно заняты удешевлением процесса, я сильно занят хоть каким-то подорожанием сетапа , лол...но это лирика. Что там по модели?

Архитектура SplineGPT:

EfficientKANLinear - параметрические B-сплайны вместо обычных весов (теорема Колмогорова-Арнольда в деле!)
MoELayer - 4 эксперта, каждый 3-й слой
SplineAttention - KAN применяется к Q/K проекциям
Кастомный токенизатор с обработкой русского языка (СВОЙ, НАШ) 😃

📊 ТЕКУЩЕЕ СОСТОЯНИЕ: 187M ПАРАМЕТРОВ, 22 ЭПОХИ

✅ Что работает:

Честно говорит "НЕ ЗНАЮ" вместо галлюцинаций
Понимает советскую терминологию и философию
Генерирует тематически связанный текст
Демонстрирует эпистемологическую скромность

❌ Что НЕ работает:

Простая арифметика (40-30=?)
Современные концепции (удаленка, интернет)
Самоидентификация как AI

Решается дообучением на конкретных задачах + решение и так далее (это важный следующий этап)

🔥 Эпичные примеры:

Вопрос: "Как работать удаленно?"
RUKALLAMA: "автобус... поезд... пароход... плот..."
Модель перебирает ВСЕ известные способы связи из советского датасета! Концепции удаленки просто НЕТ! 😂

🗓 КОГДА МОЖНО ПОТРОГАТЬ?

Сейчас: Никак, модель в активной разработке 🔧
Очень скоро: Сделаю инференс на виртуальной тачке для постоянного тестирования
1-2 месяца: Публичная бета-версия для обкатки (до этого не раз выложу тесты для всех)
2-4 месяца: Полноценный релиз в открытый доступ

🎯 ПОЧЕМУ ОДНА КАРТОЧКА ЧЕТО МОЖЕТ ПРОТИВ КЛАСТЕРОВ КОРПОРАЦИЙ?

Дело в данных, в данных! 🧠

20GB сверхформализованных советских учебников
OCR → DeepSeek-V3 → Аннотация → 4 типа инструкций
Качественная формализация >> количество параметров
Специализация на русском языке и советском наследии

Адаптация моделей западного устроя в плане дообучения на русском языке - имеют свой эффект положительный. Модели действительно лучше общаются на русском, но чем больше я читаю ответов от Rukallama, тем больше я понимаю, что мы забыли как на самом деле раньше общались ❤️ Задача - внести наш менталитет в модель.

⚠️ ТЕКУЩИЕ ПРОБЛЕМЫ (ИЗ ДЕБАГ ЛОГА)

КРИТИЧНО: Токенизатор fail на round-trip тестах (62% вместо 95%+)
Глобальная инициализация весов перезаписывает кастомную логику KAN
Морфологическая консистентность 26-29% (плохо для русского)
MoE load balancing loss = 0 (эксперты не балансируются)

💰 РЕСУРСЫ И ПОДДЕРЖКА

Нужно: Вторая A100, третья и четвертая и пятая...не важно (~1.5-2 млн рублей)
Зачем: Масштабирование архитектуры и ускорение обучения, а также улучшение схождения (это как прозрение)
Планы: Открытый доступ после стабилизации

🤖 ФИЛОСОФИЯ ПРОЕКТА

Постоянно угождать и делать пользователю приятно даже во вред здравому смыслу и стремлению модели закрыть вопрос пользователя даже ценой галлюцинации приводят к плачевным результатам, которые даже не заметны на первый взгляд. Это будет иметь долгосрочные отпечатки на сознании граждан. Модель, которая сохраняет нашу идентичность будет важна в дальнейших инференсах в разных учреждениях, моя задача привнести формализации и честности в "размышления" модели.

🔬 ТЕХНИЧЕСКИЕ ФИШКИ

class EfficientKANLinear(nn.Module):
    def forward(self, x):
        base_output = self.base_linear(x)  # 90% классики
        kan_output = self.kan_path(x)     # 10% магии Колмогорова-Арнольда
        return base_output + gate * kan_output

MoE каждый 3-й слой:

4 эксперта специализируются на разных аспектах
Top-2 routing для эффективности
Load balancing для равномерного использования

🎪 ВЫВОД

RUKALLAMA - это proof-of-concept того, как правильная формализация данных побеждает грубую силу параметров. 187M честных параметров лучше триллионов лживых! Следующий этап: Instruction tuning на базе собранного feedback'а от пользователей.

🔥69👍23❤9🫡7😱2

2.52K viewsedited 11:38