🔺 Inkling. Открытая модель от Миры Мурати

Мира Мурати — бывшая CTO OpenAI, которая ушла примерно полтора года назад, чтобы основать свою компанию Thinking Machines Lab.

Компания привлекла 2 млрд долларов и выпускает свою первую открытую модель.

🟢 975B параметров, 41B активных (MoE архитектура).

🟢 Обучалась на 45 трлн токенов. Звучит как дофига, но кроме текстов там ещё картинки, аудио и видео. Разбиения не дают, но модель мультимодальная, то есть нативно понимает разные типы данных.

🟢 Модели поменьше будут, пока есть превью версия на 12B активных параметров.

🟢 По бенчмаркам нигде не проседает и нигде не выигрывает (держится ближе к топу), т.е. модель общего назначения, которую можно дообучать и использовать большим компаниям (лицензия Apache 2.0). Запустить её у себя просто так не получится, слишком большая. Даже в FP4 должно быть где-то 500-600 Гб по памяти.

🟢 Также пишут интересные детали обучения в блоге, типа что за основу взят DeepSeek-V3 и что отказались от популярных RoPE эмбеддингов (штуки кодирующие позиции токенов) в пользу позиционных.

👉 Попробовать можно у них на платформе Tinker. В целом молодцы, что опенсорсят большие модели, одобряем.

🔺 Сделал датасет

Выложил небольшой датасет на языках России.

🟢 22 языка: алтайский, башкирский, бурятский, горномарийский, кабардино-черкесский, калмыцкий, карачаево-балкарский, коми, кубачинский, марийский (луговой), мокшанский, орокский, осетинский (дигорский и иронский), русский, татарский, удмуртский, хакасский, чувашский, чукотский, эрзянский, якутский.

🟢 По 1565 предложений в каждом.

🟢 Сделан по всем редакциям Маленького принца, которые собирали последние несколько лет + 3 новые (чукотский, карачаево-балкарский и дигорский).

🟢 Выравнивалось вручную при помощи lingtrain-aligner. Выверялось и корректировалось при помощи Fable. Посмотрели несколько редакций с носителями, одобряют.

🟢 В некоторых редакциях предложений не хватало, такие предложения были допереведены Fable на основе имеющейся лексики и помечены в отдельных колонках. Также была исправлена пунктуация на концах предложений для единообразия.

Даёшь больше языковых датасетов!

👉 HF

@doomgrad