Nvidia превосходит ожидания: несмотря на трудности, рост продолжается

Nvidia представила отчет за третий квартал, превзойдя прогнозы аналитиков.
Компания прогнозирует снижение продаж в следующем квартале из-за ограничений на экспорт в Китай.
Идет работа над получением лицензий для продаж высокопроизводительной продукции в Ближнем Востоке и Китае.
Выручка за квартал увеличилась на 206%, чистая прибыль составила $9.24 миллиарда.
Доходы от центров обработки данных составили $14.51 млрд, половина от поставщиков облачной инфраструктуры.
Сегмент игр вырос на 81%, составив $2.86 млрд.
Объявлен новый GPU GH200 с увеличенной памятью и дополнительным процессором Arm.
Несмотря на конкуренцию с AMD, Нvidia сохраняет лидирующие позиции на рынке AI-ускорителей.
Акции Nvidia показывают рост на 241% с начала года.

#Nvidia #AI #GPU

Microsoft нацелена на 1,8 млн GPU к концу 2024 года

Согласно внутреннему документу, Microsoft планирует накопить 1,8 миллиона чипов ИИ (GPU) к концу 2024 года для ускорения развития генеративного ИИ. 🚀
Компания стремится сделать ИИ более быстрым, качественным и доступным, но сильно зависит от закупок GPU, в основном от Nvidia.
Ожидается, что с текущего финансового года до 2027 года Microsoft потратит около $100 млрд на GPU и дата-центры. 💰
Другие технологические гиганты также наращивают запасы GPU, что привело к росту капитализации Nvidia до $2 трлн.
Microsoft разрабатывает собственные чипы ИИ, чтобы снизить зависимость от Nvidia, но пока отстает на несколько лет.

Гонка вооружений в области ИИ набирает обороты.
Победит тот, у кого больше GPU и электричества.

#Microsoft #Nvidia #GPU
-------
@tsingular

NVIDIA приобретает Run:ai для оркестрации GPU-ресурсов

NVIDIA покупает компанию Run:ai, разработчика ПО для управления рабочими нагрузками на GPU через Kubernetes.
Run:ai позволяет предприятиям оптимизировать GPU-инфраструктуру локально, в облаке или гибридно.
Платформа интегрируется с фреймворками ИИ и используется для управления кластерами GPU в ЦОД.
NVIDIA продолжит развивать продукты Run:ai и интегрирует их в свои решения, такие как DGX Cloud.

Помнится Сбер переписывал окестратор пайплайна для обучения. Очень похоже.

#NVIDIA #Runai #GPU
-------
@tsingular

TensorDock: развертывание GPU-серверов для ИИ в пару кликов

TensorDock предлагает облачные GPU-сервера для требовательных задач машинного обучения, рендеринга и распределенных вычислений.
Широкий выбор GPU (GeForce 3060, A100 и др.), десятки локаций по миру, гибкая почасовая оплата.
Можно выбрать ОС и предустановленные тулзы (Jupyter, TensorFlow, PyTorch, CUDA).
Есть опции для совместного доступа и даже монетизации своих серверов.
Техподдержка и помощь в настройке.

H100 за 3 бакса в час с посекундной тарификацией !!!
Аттракцион невиданной щедрости.
Такого вообще нигде больше нет.

#TensorDock #GPU #cloud
-------
@tsingular

Наглядное сравнение производительности CPU vs GPU от NVidia.

В принципе, все тоже самое и с LLM моделями.
Представьте что первый робот, - это то, что у нас доступно сейчас.
А вторая пушка - то, что будет через год.
GPT5+, Claude 4+, Llama4+ и т.д..

#NVidia #GPU
———
@tsingular

Этот мир сошёл с ума.

GPU 🤝 женские сумочки

https://gpupurse.com/

Ловля ИТшников на приманку. :)

#GPU #мода
------
@tsingular

Оптимизация обучения LLM на устаревшем железе

Ученые из Университета Сучжоу разработали MemLong - метод, расширяющий контекст LLM с 2000 до 80000 токенов на карте двухлетней давности - NVIDIA 3090.
Технология использует внешний ретривер для извлечения данных и сохраняет нижние слои модели неизменными, обучая только верхние.
MemLong превосходит современные аналоги в задачах с длинным контекстом на 10.2%.
Для примера, - для обучения 3-миллиардной модели хватило 8 GPU NVIDIA 3090 в течение 8 часов.

Ну т.е. потенциально любой "в гараже" может обучать модели средней мощности. У всех ведь есть гараж с 8х3090 ? :)

#MemLong #NVIDIA #GPU
-------
@tsingular

OpenAI и Google строят мультидатацентровые ИИ

Ведущие AI-компании масштабируют обучение крупных моделей с одного сайта на несколько дата-центров.

Google уже обучал Gemini 1 Ultra, на нескольких локациях, планирует достичь гигаваттного масштаба к 2025.

OpenAI и Microsoft объединяют кампусы для распределенного обучения, решая проблемы синхронизации и отказоустойчивости.

Ключевые проблемы, которые приходится решать на данном этапе: задержка между регионами, незаметное повреждение данных и масштабирование до 100 000+ GPU (в ближайших планах 300тыс+ GPU).

Очень детальная статья про масштабы строительства, - рекомендую.
Планета постепенно превращается в один большой GPU 🌍🚀

#OpenAI #Microsoft #GPU #датацентры
-------
@tsingular

Genv: GPU-кластеризация для ИИ-разработки

Наткнулся на интересное решение от Run.ai,- Genv - открытую систему управления GPU-средами и кластерами.
Позволяет контролировать, настраивать и отслеживать ресурсы GPU на отдельных машинах или в кластерах.

Сделан по образцу pyenv и Conda и упрощает разворачивание multi-GPU систем.

Интересна тем, что позволяет на каждой железке в кластере поднять однотипный докер и дальше этот докер пробросить в свой оркестратор.
И, по-сути, вообще все-равно что у вас за зоопарк, - они все будет в этой системе вместе работать

Есть интеграция с Ollama, планируется интеграция с PyCharm.

Пробуем, штош.

#Genv #GPU #clustering
-------
@tsingular

Гонка гигантов: миллионы GPU для суперкомпьютеров к 2027

Broadcom раскрывает амбициозные планы: три клиента готовятся развернуть суперкластеры с миллионом XPU каждый.
Среди заказчиков - xAI Илона Маска, планирующая расширить Colossus со 100 тысяч до миллиона графических процессоров.
По слухам, ByteDance и OpenAI также сотрудничают с производителем для создания специализированных чипов.
Прогнозируемый объём рынка AI XPU и сетевого оборудования к 2027 достигнет $60-90 млрд.
Разработка включает проектирование архитектуры и производство на мощностях TSMC.

Миллион.. миллион.. миллион... GPU
xAI, OpenAI и ТикТок
еще Google миллион своих и Китай пару полей покройт GPU фермами, допустим.
10 миллионов GPU глобально к 2027.
Должно хватить, что бы посчитать сколько r в strawberry наконец-то.

#Broadcom #xAI #ByteDance #million #GPU
-------
@tsingular

Китайско-российский алгоритм ускоряет GPU Nvidia в 800 раз

Учёные из Шенженьского технологического института (основан Пекинским совместно с МГУ) создали революционный метод оптимизации вычислений на GPU NVIDIA.

Решение оптимизирует перидинамические расчёты, сокращая время моделирования с нескольких суток до считанных минут.

Прорыв позволяет выполнять сложные инженерные симуляции на обычных потребительских видеокартах вместо специализированных суперкомпьютеров.

Технология найдёт применение в проектировании аэрокосмических аппаратов и мостостроении.

Реверс-инжиниринг творит чудеса. 🔍

Это не значит, что ты сможешь запустить сверхумную модель на калькуляторе, но маленькая, предположительно, будет летать очень быстро.

Опять же если это правда окажется, но, вроде, ещё не 1 апреля.

#Nvidia #GPU #Китай #МГУ #реверс
------
@tsingular

🚀 Google запустили услугу аренды GPU мощностей с посекундной тарификацией

Google Cloud официально запустил GPU-поддержку для Cloud Run.

Технические детали:
- Scale-to-zero для GPU — платите только за использованные секунды, никаких расходов при простое
- Холодный старт за 5 секунд — от нуля до готового GPU-инстанса с драйверами
- Time-to-First-Token ~19 секунд для gemma3:4b (включая загрузку модели)
- Потоковая передача через HTTP/WebSocket из коробки
- Без квот на NVIDIA L4 — просто добавляете --gpu 1 в команду

Доступно в 5 регионах (США, Европа, Азия) с возможностью деплоя одной командой:

gcloud run deploy my-global-service \
  --image ollama/ollama --port 11434 \
  --gpu 1 \
  --regions us-central1,europe-west1,asia-southeast1

Практические кейсы:
Стартапам: AI-инференс без DevOps-команды и управления инфраструктурой
Enterprise: batch-обработка (fine-tuning, медиа-транскодирование) через Cloud Run Jobs
Продактам: глобальное масштабирование LLM-сервисов с автоматической балансировкой нагрузки

Best Practices для оптимизации:
- Используйте 4-bit квантизованные модели
- Храните модели в контейнерах (оптимизация streaming) или Cloud Storage с Direct VPC
- Настраивайте конкурентный запуск по формуле: (модели × параллельные запросы) + (модели × batch size)
- Генерируйте LLM-кеши на этапе сборки образа

Демо масштабирования 0→100 GPU за 4 минуты показывает, что serverless GPU — вполне рабочая технология.

Cloud Run GPU превращает AI-инференс из "инфраструктурного ада" в "запустил и забыл".

Ждем на Cloud.ru и immers.cloud :)

#CloudRun #GPU #Serverless #Google
———
@tsingular

Клуб GPU-миллионеров

Гонка за создание генеративного ИИ перешла в новую фазу — инфраструктурную, и ее фундаментом стала энергетика.
Существует как минимум 8 мега-проектов, нацеленных на преодоление порога в 1 миллион GPU.
Ключевой фактор их реализации — доступ к гигаваттам стабильной мощности, которую может обеспечить только атомная энергетика.

Расчетная база: 1 ИИ-ускоритель (H100/B200) ≈ 1 кВт. PUE (эффективность энергопотребления) ≈ 1.2. Резервирование по стандарту Tier IV требует удвоения мощности.

1. Объединенные Арабские Эмираты: Ядерный оазис
ОАЭ анонсировали самый масштабный проект, потенциально обеспеченный атомной энергией.

Игрок: G42
Мощность: ~2.5 млн GPU
Энергопотребление (оценка): ~3.0 ГВт
Источник энергии: АЭС "Барака" (мощность 5.6 ГВт). Уже работающая станция полностью покрывает потребности проекта, однако вопрос хватит ли запаса с учетом текущего потребления открыт.

2. Meta* (США): В поисках атома
Meta активно ищет площадки с доступом к атомной энергии для своих ЦОД.

Мощность: ~1.3+ млн GPU
Энергопотребление (оценка): ~1.6 ГВт
Источник энергии: Активное строительство ЦОД в Техасе (рядом АЭС Comanche Peak и South Texas Project) и партнерства с операторами АЭС в других штатах.

3. Китай: Синергия атома и ИИ
Китай уверенно наращивает вычислительные и ядерные мощности.

Мощность: >1 млн GPU (национальный пул)
Энергопотребление (оценка): >1.2 ГВт
Источник энергии: Самая масштабная в мире программа строительства десятков новых АЭС вдоль побережья, где сосредоточены основные технологические кластеры.

4. xAI/Tesla (США): Питание от TVA
Проект "Colossus" стратегически расположен в зоне с мощной атомной генерацией.

Название: "Colossus"
Мощность: 1 млн GPU
Энергопотребление (оценка): ~1.2 ГВт
Источник энергии: Энергосистема оператора TVA (Tennessee Valley Authority), включающая АЭС Sequoyah (2.3 ГВт) и Watts Bar (2.6 ГВт).

5, 6, 7. Гиперскейлеры (Broadcom)
Три отдельных мега-проекта, чье энергообеспечение под вопросом.

Мощность (ИТ): 1 млн "XPU" каждый
Энергопотребление (оценка): ~1.2 ГВт на каждый кластер (3.6 ГВт суммарно)
Источник энергии: Вероятно, размещение вблизи существующих АЭС в США (Техас, Вирджиния) или заказ малых модульных реакторов (SMR), как это уже делает Google.

8. Саудовская Аравия: Двойная ставка на атом
ИИ-амбиции Королевства напрямую связаны с планами по развитию собственной ядерной программы.

Игрок: HUMAIN (PIF)
Мощность (ИТ): "Сотни тысяч" GPU
Энергопотребление (оценка): ~0.6-0.8 ГВт
Источник энергии: Планы по строительству нескольких крупных АЭС, в том числе в рамках проекта NEOM.

Итого 8 проектов с 1+ млн GPU каждый. а с учетом амбиций СА - это 10 млн GPU всего в мире.

А еще есть TPU Гугла и LPU типа Groq.

А сколько у нас? Информации о проектах 1+ млн GPU не найдено.

И на конференции ПМЭФ в онлайне вопросов про это не услышал. А жаль.

*Мета - запрещённая в РФ организация

#1mlnGPU #GPU #миллион
———
@tsingular

может у него просто в детстве видеокарты не было?

К концу года OpenAI планирует пересечь отметку в 1млн видеокарт, но Альтман пишет чтобы команда готовилась управлять инфраструктурой х100 раз большей.

Как вам 100млн видеокарт?
Это на 200 гигаватт получается?

На фоне того, что они только что подписали контракт с минобороны не ХХ ярдов и с учетом того, кто сидит в совете директоров, похоже на интересный инсайд.

#openai #gpu
———
@tsingular