Gemma 4
blogpost | model card | huggingface

4 размера: E2B, E4b (бывшие Gemma 3n/Gemini Nano); 26A4B, 31B Dense. Теперь лицензия Apache 2.0!

Для всех моделей релизим претрейн и intruction tuned чекпойнты. Context length 256k у 31B модельки, 128k у остальных. Скажу по секрету – можно пробовать и больше, должно работать.

LLM Arena на уровне Kimi 2.5, бенчмарки можно посмотреть на huggingface

Мои любимые artificial analysis выложили своё независимое тестирование Gemma 4 (твит, страница с результатами), по результатам вышло хуже квенов из-за просадки на 𝜏²-bench, ну и ладно с ним. На картинку с бенчмарками можно позалипать в комментариях к посту.

В этой версии мне довелось поработать над околонаучными бенчмарками и работой с длинным контекстом, а там мы наступаем на пятки китайским моделям на порядок больше вроде GLM 5 или DS 3.2.

WeirdML – один из самых необычных бенчмарков для ЛЛМок. В него входят необычные open-ended задачки по МЛю, например, написание МЛ пайплайнов по распознаванию цифр со всего 28 размеченными примерами и ~50к неразмеченными, предсказание формы фигур, или восстановление перемешанных фрагментов изображений.

Gemma 4 31B оказалась самой сильной открытой моделью на этом бенчмарке, опередив GLM 5 (MoE на 700B) и GPT-OSS с хорошим отрывом, показав результат на уровне с О3 или Gemini 2.5 Pro.

Продолжаем геммапропаганду. В прошлом году у NVIDIA вышла неплохая статья о том, как ловить людей, которые доливают тест в трейн. CoDeC – нормализованный показатель перплексии, где для тестсета бенчмарка считают изменения в перплексии с дополнительными примерами из того же бенчмарка. Для неконтаминированных моделек мы ожидаем, что дополнительные примеры не будут сбивать модель с толку, а в лучшем случае помогут. С другой стороны, если модель запомнила текст из теста, дополнительные примеры собьют её с толку и уверенность модели в ответе упадёт. Шкала нормализована от 0 до 100, где ~80% значит, что примеры из теста модель видела буквально, ~40% – в перефразированном виде. Товарищ с твиттера посчитал CoDeC для Gemma 4 и сравнил с Qwen 3.5 – почему-то у наших китайских коллег модель почти запоминает примеры из теста.

Пока я откисаю в Корее от очередного сезона исхода дорогих коллег [1, 2, 3, и др.] перед ICML, наша с читателями любимая Лилиан Вэн – авторка топ-1 блога по диплёрнингу – написала первый за почти два года пост про историю и развитие науки об оценке правил масштабирования (scaling laws) языковых моделей. Почему "правил", а не "законов" – чтобы не создавать ощущения универсальности самих законов: всех необходимых факторов для по-настоящему точных предсказательных правил для конкретных архитектур, моделей, данных, оптимизаторов и других факторов, на них влияющих.

Особого почтения заслуживает упоминание статьи Lovelace et al., где в первый раз в академическом мире разбираются, как влияют повторения данных на scaling laws. Так что у кого знания остановились на шиншилле – бежим освежать знания, чтобы фронтир толкался предсказуемо и безопасно.

Куртку продали за $960.000
Если купили дорогие подпищеки, дайте поносить?

Gemini 3.8 Flash

Наконец-то достали до опуса по агентским бенчмаркам, вот только скорость в 5-10 раз выше, ну и цена в несколько раз меньше.

На artificial analysis +3 балла в их индексе, теперь Flash на уровне Kimi K3. Сёрвится всё ещё на 300 tps.

Блогпост

Gemini 4 Argon

Пока только по превью (ну или устраивайтесь к нам работать). Бенчмарки норм.

Анонс