🌟 Liquid AI выпустила компактную MoE-модель для запуска на потребительских устройствах

LFM2.5-8B-A1B - языковая MoE-модель на 8 млрд общих и 1млрд активных параметров, с целевым инференсом на ноутбуках, смартфонах и ризонингом по умолчанию.

Релиз продолжает линейку LFM2 и развивает вышедшую в октябре 2025 года LFM2-8B-A1B. Окно контекста расширено с 32 до 128 тысяч токенов, объём предобучения увеличен с 12 до 38 трлн токенов, а поверх добавлено крупномасштабное RL.

Словарь токенизатора удвоен (с 65,5 до 128 тыс. единиц). Liquid AI говорит, что это повышает эффективность обработки нелатинских письменностей (для русского - примерно на 6%, для тайского и хинди - кратно).

Отдельный акцент Liquid AI делает на скорости и работе с вызовом инструментов.

Согласно проведенным измерениям, на Apple M5 Max модель выдаёт до 253 токенов в секунду, укладываясь в 6 ГБ памяти, и около 30 токенов в секунду на смартфоне.

По бенчмаркам, в тестах на следование инструкциям и в агентных сценариях LFM2.5-8B-A1B сопоставима с заметно более крупными моделями (Gemma-4-26B) при значительно меньшем числе активных параметров.

Заявлена поддержка llama.cpp, MLX, vLLM, SGLang и ONNX Runtime.


📌Лицензирование: LFM Open License


🟡Блогпост
🟡Документация
🟡Веса
🟡Демо


@ai_machinelearning_big_data

#AI #ML #LLM #LFM #LiquidAI

✔️ Liquid AI выпустила локального агента, который работает на телефоне

LFM2.5-2.6B - компактная агентная модель на 2,6 млрд параметров. Она умеет планировать действия, вызывать инструменты и выполнять многошаговые задачи полностью на устройстве, без облачного API.

Модель обучили примерно на 34 трлн токенов, расширили словарь до 128 тысяч токенов и добавили контекст 128K.

Особенно интересно устроено дообучение:

- отдельные модели-эксперты усиливали математику, код, tool use и длинный контекст;
- затем их навыки перенесли в одну модель через on-policy distillation;
- финальный этап прошёл внутри реальных агентных сред, включая Hermes Agent и OpenClaw.

По тестам Liquid AI, модель выдаёт:

- до 220 токенов/с на Apple M5 Max;
- до 113 токенов/с на Ryzen AI Max+ 395;
- около 30 токенов/с на смартфоне;
- почти 15 000 выходных токенов/с на одной H100 при высокой параллельной нагрузке.

При этом потребление памяти на CPU остаётся ниже 2,5 ГБ.

В бенчмарках LFM2.5-2.6B обходит более крупные Gemma и Qwen в ряде задач на следование инструкциям и использование инструментов. В сложном программировании большие модели пока сохраняют преимущество.

Есть поддержка llama.cpp, MLX, vLLM, SGLang и ONNX. Доступны базовая и дообученная open-weight версии.

Источник:
https://www.liquid.ai/blog/lfm2-5-2-6b

#LiquidAI #opensource

@ai_machinelearning_big_data