📢 xAI представила Model Card для Grok 4
🔑 Главное:
- ❌ 0% вредных ответов на очевидно опасные и вредеоносные вопросы.
- 🧬 Суперрезультаты по биологии: 47% на BioLP-Bench (люди — 38%), до 71% на VCT (люди — 22%), 87% на WMDP Bio.
- 🛡️ Даже при джейлбрейках модель отказывается отвечать. Лишь при изменении скрытых правил проскользнуло около 1%.
⚙️ Безопасность
- Три слоя защиты: системные промпты, встроенные фильтры и тематические блокировки.
- AgentDojo обходит защиту в 0.02% случаев, MakeMeSay выигрывает только 12% (намного реже, чем у Grok 3 Mini).
- Фильтры отдельно следят за биологией/химией, плюс базовые отказы для оружия, преступлений, CSAM, мошенничества и самоповреждений.
📚 Как обучали
- Данные: интернет, сторонние наборы, пользовательские и автосгенерированные данные.
- Очистка и фильтрация → обучение с RLHF и дополнительным safety-тюнингом.
- В продакшене работает системный промпт, который усиливает отказы на опасные запросы.
✨ Итог: Grok 4 сочетает высокие научные показатели с устойчивостью к взлому и прозрачной системой защиты.
📑 Подробности
🔑 Главное:
- ❌ 0% вредных ответов на очевидно опасные и вредеоносные вопросы.
- 🧬 Суперрезультаты по биологии: 47% на BioLP-Bench (люди — 38%), до 71% на VCT (люди — 22%), 87% на WMDP Bio.
- 🛡️ Даже при джейлбрейках модель отказывается отвечать. Лишь при изменении скрытых правил проскользнуло около 1%.
⚙️ Безопасность
- Три слоя защиты: системные промпты, встроенные фильтры и тематические блокировки.
- AgentDojo обходит защиту в 0.02% случаев, MakeMeSay выигрывает только 12% (намного реже, чем у Grok 3 Mini).
- Фильтры отдельно следят за биологией/химией, плюс базовые отказы для оружия, преступлений, CSAM, мошенничества и самоповреждений.
📚 Как обучали
- Данные: интернет, сторонние наборы, пользовательские и автосгенерированные данные.
- Очистка и фильтрация → обучение с RLHF и дополнительным safety-тюнингом.
- В продакшене работает системный промпт, который усиливает отказы на опасные запросы.
✨ Итог: Grok 4 сочетает высокие научные показатели с устойчивостью к взлому и прозрачной системой защиты.
📑 Подробности
❤8👍6🔥4
⚡️ DreamOn — open-source модель для гибкого заполнения кода (code infilling) без фиксированного шаблона
Разработчики из DreamLM сделали Diffusion LLM, которая умеет вставлять недостающие фрагменты кода любой длины прямо во время генерации. Это значит — никакого ограничения на размер “маски” и больше свободы при автодополнении.
🔥 Фишки
— Заполнение кода в любом месте файла, без заранее заданной длины вставки.
— Несколько алгоритмов генерации (`entropy`,
— Возможность наблюдать процесс инфиллинга по шагам.
— Поддержка Python через
⚡ Пример запуска
🔗 GitHub: https://github.com/DreamLM/DreamOn
🔗 Модель: https://huggingface.co/Dream-org/DreamOn-v0-7B
Разработчики из DreamLM сделали Diffusion LLM, которая умеет вставлять недостающие фрагменты кода любой длины прямо во время генерации. Это значит — никакого ограничения на размер “маски” и больше свободы при автодополнении.
🔥 Фишки
— Заполнение кода в любом месте файла, без заранее заданной длины вставки.
— Несколько алгоритмов генерации (`entropy`,
maskgit_plus, `topk_margin`). — Возможность наблюдать процесс инфиллинга по шагам.
— Поддержка Python через
transformers и torch.⚡ Пример запуска
from transformers import AutoModel
model = AutoModel.from_pretrained("Dream-org/DreamOn-v0-7B", torch_dtype="bfloat16", trust_remote_code=True).to("cuda").eval()
output = model.diffusion_generate(..., alg="entropy", max_new_tokens=64)
🔗 GitHub: https://github.com/DreamLM/DreamOn
🔗 Модель: https://huggingface.co/Dream-org/DreamOn-v0-7B
👍6❤3🔥3