🌟 Recursive выпустила модель для кодинг-агентов

Стартап Recursive Superintelligence, основанный Ричардом Сочером и вышедший из тени в мае с 650 млн долларов инвестиций, показал свою первую модель - Flint.

Такие деньги Recursive получил ещё до первой модели во многом из-за состава основателей. Сочер был главным научным сотрудником Salesforce и в свое время запустил поисковик You.com, оттуда же пришёл Цаймин Сюн, возглавлявший исследования ИИ.

Алексей Досовицкий из Google – автор Vision Transformer, Юаньдун Тянь занимался исследованиями в FAIR у Цукерберга, Тим Роктэшель пришёл из DeepMind и остаётся профессором Университетского колледжа Лондона, Джефф Клун стоит за работой о машине Дарвина-Гёделя про самоулучшающийся код.

Ещё двое, Джош Тобин и Тим Ши, работали в OpenAI, а Ши вдобавок сооснователь Cresta.

Модель рассчитана на агентов, которые разбирают чужой код, чинят ошибки, добавляют функции и пишут тесты. Команда собрала её с нуля меньше чем за четыре месяца.

🟡Архитектура

Flint построена на MoE, 39,8 млрд общих параметров, на каждый токен работают 2,5 млрд. Окно контекста - 262 тысячи токенов.

В каждом слое 256 экспертов, из которых выбираются шесть, плюс один работает всегда.

Большая часть слоёв внимания смотрит не на весь контекст, а на скользящее окно, что экономит вычисления.

Под Apple Silicon и NVIDIA RTX Spark стартап написал свои вычислительные ядра.

🟡 Тесты

На SWE-bench Verified модель набрала 74,2%, на Terminal-Bench 2.1 – 54,9%.

Recursive называет Flint лучшей моделью со смесью экспертов среди тех, что меньше 50 млрд параметров, и утверждает, что та догоняет плотные модели на 25–40 млрд, работая впятеро быстрее.

На коротком контексте Flint выдаёт больше 125 токенов в секунду на MacBook с M4 Pro и больше 150 на NVIDIA RTX Spark с 64 ГБ памяти.

Flint работает в llama.cpp, Ollama, LM Studio, vLLM и SGLang, а для ноутбуков на M4 Pro и M5 Pro или Max есть собственный движок rec.


📌Лицензирование: Apache 2.0


🟡Блогпост
🟡Документация
🟡Веса
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #Flint #RecursiveSI