🖥 Google анонсировала Ironwood TPU — специализированный чип, созданный для ускоренного инференса ИИ-моделей.

Ironwood — это TPU седьмого поколения, конкурент Blackwell B200 от NVIDIA.

10× прирост производительности по сравнению с предыдущим поколением.

🔧 Что важно знать:
⚡️ Ironwood TPU = высокая плотность + эффективность: на 67% больше FLOPS/ватт, чем v5p и 4 614 TFLOPS на чип (FP8) и 192 ГБ HBM.

Производительность чипов растёт, а энергоэффективность выходит на новый уровень.

🌐 Интеграция с Google Cloud:
Ironwood TPUs уже работают в дата-центрах с жидкостным охлаждением, интегрированы в Vertex AI .

📈 Под капотом — высокоскоростная сеть с пропускной способностью 3.5 Тбит/с, обеспечивающая быструю связность для масштабных моделей.

💡 И да — теперь TPU поддерживают vLLM, а значит, можно легко гонять PyTorch-инференс прямо на TPU, без магии и костылей.

🟡 Подробнее

@ai_machinelearning_big_data

#google #TPU

✔️ Stanford и Google представили Marin — первую полностью открытую LLM, разработанную на JAX

Что делает Marin особенной:
— Полностью открыты не только веса, но показан весь процесс обучения: код, данные, гиперпараметры модели, логи, эксперименты — всё доступно на GitHub
— Модель обучена на 12.7 трлн токенов и в 14 из 19 тестов обошла Llama 3.1 8B
— Лицензия Apache 2.0, всё можно использовать, модифицировать и воспроизводить
— Levanter + JAX обеспечивают bit‑exact повторяемость и масштабируемость на TPU/GPU

Проект позиционируется как открытая лаборатория: каждый эксперимент оформляется через pull request, логируется в WandB, обсуждается в issue и фиксируется в истории репозитория. Даже неудачные эксперименты сохраняются ради прозрачности.

Выпущены две версии:
- Marin‑8B‑Base — сильный base-модель, превосходит Llama 3.1 8B
- Marin‑8B‑Instruct — обучена с помощью SFT, обгоняет OLMo 2, немного уступает Llama 3.1 Tulu

Это не просто открытые веса, а новый стандарт для научных вычислений в эпоху больших моделей.

* JAX — это фреймворк от Google для научных и численных вычислений, особенно популярен в сфере машинного обучения.

**TPU (Tensor Processing Unit) — это специализированный чип от Google, созданный для ускорения AI-задач.

🟠Github: https://github.com/stanford-crfm/marin
🟠Блог: https://developers.googleblog.com/en/stanfords-marin-foundation-model-first-fully-open-model-developed-using-jax/
🟠Гайд: https://docs.jax.dev/en/latest/quickstart.html

@ai_machinelearning_big_data

#ai #ml #tpu #jax #google