ds4.c - — маленький inference engine под Metal для DeepSeek V4 Flash. 💻
C/Objective-C/Metal, свои GGUF, CLI, локальный сервер с OpenAI/Anthropic-compatible API, tool calls, streaming.

Двухбитный квант влазит в Маки со 128 ГБ памяти. q4 требует 256+ GB.
На MacBook Pro M3 Max 128 GB заявлено около 26.7 ток/с на коротком prompt и 21.5 ток/с после 11.7k токенов контекста. Движок не держит модель онлайн, загружает и выгружает её между запросами почти мгновенно, используя memory mapping.

Мой товарищ поднял это на MacBook M5 Max 128 GB и великодушно записал для нас демку. У меня челюсть, честно, немного отвисла при просмотре.

Для агентов там тоже есть мясо: ds4-server умеет /v1/chat/completions, /v1/messages, SSE streaming, tool calls и оффлод KV cache на диск. Клиенты любят присылать один и тот же огромный prefix заново, а движок умеет сохранять KV на диск и переиспользовать его между запросами. В README прямо советуют на 128 GB держать контекст где-то в районе 100–300k, потому что полный 1M контекст сам по себе отъедает десятки гигабайт.

Ограничения: Metal-only, один live graph/session, параллельные запросы ждут очередь, стандартный GGUF не подсунешь, CPU path лучше не трогать — автор пугает крашем macOS kernel и сухо резюмирует: software sucks.

Счастливые обладатели жирных MacBook’ов уже могут держать фронтир DeepSeek V4 Flash локально и закрывать им ежедневные LLM-задачи без похода во внешний API. Везунчики. Остальные — продолжаем почесывать свои маленькие VRAM и делать вид, что нам нормально😎.

Мини-червь Shai-Hulud снова разошёлся по пакетным менеджерам.
Socket сейчас трекает уже 416 заражённых артефактов в npm и PyPI.

Начиналось с SAP/TanStack, дальше поехали UiPath, OpenSearch, Squawk, Guardrails, Lightning, Intercom, Mistral и пачка менее заметных пакетов.

Схематоз срабатывает при установке или импорте, подтягивает Bun runtime, запускает огромный обфусцированный JS-стилер, собирает GitHub/npm/cloud/Vault/Kubernetes/SSH/CI секреты и пытается расползаться дальше через украденные npm-токены.

Оно лезет туда, где у нас обычно лежит всё святое: GitHub Actions, npm publishing, облачные ключи, .env, Kubernetes config, Vault, AI-tool configs, .claude/settings.json, .vscode/tasks.json. То есть заражает пайплайны, лечить придется долго и аккуратно.

Отдельно про Mistral. Тут два разных вектора.
В npm-волне у Socket светятся @mistralai/mistralai, @mistralai/mistralai-azure и @mistralai/mistralai-gcp.
А рядом всплыл PyPI-пакет mistralai==2.4.6: в GitHub issue описан backdoor, который на Linux срабатывает прямо при import mistralai, качает /tmp/transformers.pyz с жёстко прописанного IP и запускает его в фоне. Название файла пытается ввести в заблуждение. “Ничего страшного, просто transformers”.


⚠️⚠️⚠️

UPD:
В последних версиях зловреда есть Dead Man Switch, который срабатывает если GitHub Token используемый для их работы просрочился, был отозван или как-то иначе стал невалидным — зловред просто делает `rm -rf ~/` на текущем зараженном инстансе.
Токен проверяется ежеминутно, т.ч. лечение от оного надо начинать именно с зачистки его активных процессов, но никак не с ротации ключей.

Если у вас в последние сутки обновлялись зависимости из этого списка — проверяйте lock-файлы и историю установок. Для подозрительных окружений нормальная реакция простая: считать машину и CI грязными, убрать заражённые версии, проверить неожиданные публикации пакетов и репозитории с описанием A Mini Shai-Hulud has Appeared, ротировать GitHub/npm/cloud/Vault/Kubernetes секреты, искать мусор вроде router_runtime.js, execution.js, /tmp/transformers.pyz, .claude/settings.json, .vscode/tasks.json.

Легкий способ бросить обновляться на свежее:

npm config set min-release-age 2

pnpm config set --location=project --json minimumReleaseAge 2880

# bunfig.toml
[install]
minimumReleaseAge = 172800

yarn config set npmMinimalAgeGate 2d

# pyproject.toml
[tool.uv]
exclude-newer = "2 days"

⚠️⚠️⚠️ Важное дополнение по червю Shai-Hulud:

В последних версиях зловреда есть Dead Man Switch, который срабатывает если GitHub Token используемый для их работы просрочился, был отозван или как-то иначе стал невалидным — зловред просто делает rm -rf ~/ на текущем зараженном инстансе.
Токен проверяется ежеминутно, т.ч. лечение от оного надо начинать именно с зачистки его активных процессов, но никак не с ротации ключей.