Эти разработчики, похоже, выжали из процессора всё до последней капли производительности!
Для запуска модели на 284 миллиарда параметров больше не нужна видеокарта. Достаточно 64 ГБ оперативной памяти.
В мире больших языковых моделей появился невероятно мощный проект с открытым исходным кодом — synchopate/llama-modchip.
Раньше для запуска DeepSeek-V4 с её 284 миллиардами параметров требовалось как минимум несколько серверов с восемью GPU NVIDIA H100. Теперь разработчики предлагают совершенно иной подход: без дискретной видеокарты, на обычном домашнем процессоре и с 64 ГБ оперативной памяти можно разместить эту огромную модель и добиться высокой скорости генерации.
Mingzi сверил впечатляющие характеристики проекта с официальными результатами бенчмарков:
- Никаких GPU, только оперативная память. Дорогая видеокарта больше не нужна. Модель DeepSeek на 284 миллиарда параметров удалось сжать до 56,9 ГБ. Обычный компьютер с 64 ГБ оперативной памяти способен запустить её без обращения к файлу подкачки.
- Вполне пригодная для работы скорость на одном CPU. Благодаря оптимизации под векторные инструкции скорость генерации модели на 284 миллиарда параметров стабильно составляет 9–14 токенов в секунду. При использовании спекулятивного семплирования она достигает 25 токенов в секунду, а косинусное сходство сохраняется на уровне 99,15%.
- Модели на 30 миллиардов параметров работают ещё быстрее. MoE-модель такого размера занимает всего 13,3 ГБ. Её можно запустить даже на ноутбуке с 16 ГБ оперативной памяти. При этом скорость генерации исключительно на CPU достигает впечатляющих 111 токенов в секунду.
- Готовый набор инструментов. Проект включает веб-интерфейс в тёмной теме, не требующий дополнительных зависимостей, и интерфейс командной строки. Кроме того, предусмотрена нативная поддержка подключения в качестве локального бэкенда для Claude Code.
Однако есть два важных ограничения.
Во-первых, для запуска модели на 284 миллиарда параметров необходимы полноценные 64 ГБ физической оперативной памяти. При меньшем объёме система начнёт активно использовать файл подкачки, что может привести к зависаниям.
Во-вторых, проект работает на специально модифицированной версии llama.cpp. Стандартная версия Ollama не распознаёт используемый формат квантования, поэтому запускать модель необходимо через скрипт, входящий в комплект проекта.
https://github.com/synchopate/llama-modchip
📱 @git_developer
Для запуска модели на 284 миллиарда параметров больше не нужна видеокарта. Достаточно 64 ГБ оперативной памяти.
В мире больших языковых моделей появился невероятно мощный проект с открытым исходным кодом — synchopate/llama-modchip.
Раньше для запуска DeepSeek-V4 с её 284 миллиардами параметров требовалось как минимум несколько серверов с восемью GPU NVIDIA H100. Теперь разработчики предлагают совершенно иной подход: без дискретной видеокарты, на обычном домашнем процессоре и с 64 ГБ оперативной памяти можно разместить эту огромную модель и добиться высокой скорости генерации.
Mingzi сверил впечатляющие характеристики проекта с официальными результатами бенчмарков:
- Никаких GPU, только оперативная память. Дорогая видеокарта больше не нужна. Модель DeepSeek на 284 миллиарда параметров удалось сжать до 56,9 ГБ. Обычный компьютер с 64 ГБ оперативной памяти способен запустить её без обращения к файлу подкачки.
- Вполне пригодная для работы скорость на одном CPU. Благодаря оптимизации под векторные инструкции скорость генерации модели на 284 миллиарда параметров стабильно составляет 9–14 токенов в секунду. При использовании спекулятивного семплирования она достигает 25 токенов в секунду, а косинусное сходство сохраняется на уровне 99,15%.
- Модели на 30 миллиардов параметров работают ещё быстрее. MoE-модель такого размера занимает всего 13,3 ГБ. Её можно запустить даже на ноутбуке с 16 ГБ оперативной памяти. При этом скорость генерации исключительно на CPU достигает впечатляющих 111 токенов в секунду.
- Готовый набор инструментов. Проект включает веб-интерфейс в тёмной теме, не требующий дополнительных зависимостей, и интерфейс командной строки. Кроме того, предусмотрена нативная поддержка подключения в качестве локального бэкенда для Claude Code.
Однако есть два важных ограничения.
Во-первых, для запуска модели на 284 миллиарда параметров необходимы полноценные 64 ГБ физической оперативной памяти. При меньшем объёме система начнёт активно использовать файл подкачки, что может привести к зависаниям.
Во-вторых, проект работает на специально модифицированной версии llama.cpp. Стандартная версия Ollama не распознаёт используемый формат квантования, поэтому запускать модель необходимо через скрипт, входящий в комплект проекта.
https://github.com/synchopate/llama-modchip
Please open Telegram to view this post
VIEW IN TELEGRAM
GitHub
GitHub - synchopate/llama-modchip: Run 284B DeepSeek-V4-Flash (<59GiB RAM: 41.1 cold pp, 9.1 N=1 tg, up to 25.3 spec tok/s) & 30B…
Run 284B DeepSeek-V4-Flash (<59GiB RAM: 41.1 cold pp, 9.1 N=1 tg, up to 25.3 spec tok/s) & 30B MoEs (22.4 N=1 / 111.6 spec tok/s) on 64GB CPU (0 GPUs). - synchopate/llama-modchip
🔥6