🚀 NVIDIA ускорила LLM в 53 раза 🤯

Представь: твой бюджет на инференс снижается на 98%, а точность остаётся на уровне лучших моделей.

📌 Как это работает:
Метод называется Post Neural Architecture Search (PostNAS) — революционный подход к «апгрейду» уже обученных моделей.

Freeze the Knowledge — берём мощную модель (например, Qwen2.5) и «замораживаем» её MLP-слои, сохраняя интеллект.

Surgical Replacement — заменяем большую часть медленных O(n²) attention-слоёв на новый супер-эффективный дизайн JetBlock с линейным вниманием.

Hybrid Power — оставляем несколько full-attention слоёв в критичных точках, чтобы не потерять способность к сложным рассуждениям.

⚡ Результат - Jet-Nemotron:

- 2 885 токенов/с ⚡

- 47× меньше KV-кеша (всего 154 MB)

- Топовая точность при космической скорости

🔑 Почему это важно:

Для бизнеса: 53× ускорение = 98% экономии на масштабном развёртывании. ROI проектов с ИИ меняется радикально.

Для инженеров: теперь SOTA-уровень доступен даже на устройствах с ограниченной памятью.

Для исследователей: вместо миллионов на пре-трейнинг — можно создавать новые эффективные модели через архитектурные модификации.

🟠Github
🟠Статья

@data_analysis_ml

🔋 Goldman Sachs выпустил 26-страничный отчёт об энергии и ИИ: **Powering the AI Era**

Главный вывод: дата-центры для ИИ потребляют электричество быстрее, чем энергетики успевают строить новые мощности.
Будущее индустрии будет зависеть не только от быстрых чипов, но и от того, кто сможет найти деньги и схемы финансирования для строительства.

🧵 Кратко по пунктам 👇

🚂 Каждый технологический бум имел опору
- XIX век — железные дороги
- 1990-е — оптоволоконные сети
- 2020-е — стойки с GPU
Одна «AI-фабрика» мощностью 250 МВт обойдётся примерно в $12 млрд.

📈 Почему обучение ИИ так прожорливо
- Кластеры состоят из тысяч GPU с жидкостным охлаждением.
- К 2027 году одна стойка будет потреблять в 50 раз больше энергии, чем облачная стойка 2022 года.
- Даже с оптимизациями мировой спрос на энергию дата-центров вырастет на 160% к 2030 году.

⚡ Энергосети не справляются
- Средний возраст ЛЭП в США — 40 лет.
- Разрешение на газовую станцию занимает до 7 лет.
- Goldman оценивает распределение новых источников:
- 30% комбинированные газовые станции
- 30% газовые «пикеры»
- 27,5% солнечная энергетика
- 12,5% другие источники

🔌 Как выкручиваются операторы
- Строят дата-центры прямо рядом с генераторами.
- Используют микросети, чтобы сглаживать пики нагрузки.
- Это ускоряет запуск, но создаёт конфликты с соседями — круглосуточно шумят дизельные или газовые турбины.

🟠 Подробнее