🔥 Китайская гонка техногигантов: память HBM и флеш-память Poxiao прорывают барьеры скорости

Два невероятных прорыва происходят прямо сейчас в китайской технологической сфере, и оба касаются памяти — того самого "узкого горлышка", которое сдерживает потенциал современных AI-систем.

HBM: китайская погоня за независимостью от западных чипов
Компания CXMT (ChangXin Memory Technologies) делает неожиданный рывок в разработке высокоскоростной памяти HBM (High-Bandwidth Memory). По последним данным, отставание от мировых лидеров — Samsung, SK Hynix и Micron — сократилось до 3-4 лет вместо предполагаемых ранее 6-8 лет.

Почему это важно?
HBM — это ключевой компонент для GPU и ускорителей AI, который отвечает за сверхбыструю передачу данных между памятью и процессором. Именно HBM обеспечивает "питание" для обучения и запуска крупных языковых моделей.

После декабрьских санкций США 2024 года по ограничению доступа Китая к этой технологии, CXMT активно форсирует разработку:
• Уже освоили HBM2 в массовом производстве
• Работают над HBM3 с планом запуска в 2026 году
• Планируют HBM3E к 2027 году

На фоне этого впечатляет ажиотаж вокруг Nvidia H20 — единственного доступного для Китая мощного GPU с HBM3. Несмотря на то, что он в 6,7 раз слабее флагманского H100, китайские компании успели закупить более 1 миллиона штук до вступления в силу запрета.

Poxiao: флеш-память со скоростью, о которой никто не мечтал

Параллельно исследователи из университета Фудань представили прототип флеш-памяти "Poxiao" ("Рассвет"), который бьет все рекорды скорости перезаписи — 400 пикосекунд! Это в 100 000 раз быстрее существующих решений.

Суть прорыва:
Современная память разделена на две категории:
• Энергозависимая (SRAM/DRAM): быстрая, но дорогая, энергоемкая и теряет данные при отключении питания
• Энергонезависимая (флеш): дешевле, энергоэффективнее, хранит данные без питания, но медленная

Команда Фуданя нашла способ сделать флеш-память со скоростью, сравнимой с оперативной, сохранив все преимущества энергонезависимости.

Почему эти прорывы критичны для бизнеса?
1. Для разработчиков AI-систем:
- Ускорение обучения моделей в разы (а значит, снижение затрат)
- Возможность реализовать более сложную логику инференса
2. Для облачных провайдеров:
- Баланс между вычислительной мощностью и памятью (узкое место нынешних систем)
- Снижение энергопотребления дата-центров
3. Для производителей устройств:
- Устройства с меньшим потреблением энергии
- AI-вычисления на edge-устройствах без необходимости обращения к облаку

При этом:
• CXMT всё еще зависит от западного оборудования для производства (в особенности EUV-литографии)
• Прототип Poxiao пока имеет мизерный объем (килобайты)
• США продолжают ужесточать санкции, внося всё новые компании в Entity List
• Массовое производство и масштабируемость этих технологий пока под вопросом

#Память #Китай #Технологии
———
@tsingular

Очень крутой пример использования Курсора в качестве ИИ оркестратора от Степана Гершуни, если нет желания собирать конструкторы на n8n или langflow и т.д.

https://t.iss.one/cryptoEssay/2359

Сделал кибернетическую операционную систему.

В видео показываю как можно использовать Cursor для ИИ-автоматизации своей жизни, работы, бизнеса и процессов, экономя х10 времени в работе.

Я использую эту штуку для всех своих звонков (запись, транскрибация, саммари, анализ), всех сделок, всех статей, найма, организации мероприятий и долгих рисерч проектов. Такую же штуку можно раскатывать на организации от 2 до 20,000 человек, используя git как систему коллективной работы над AI воркфлоу, базами знаний и коннекторами.

Заменяет 90% всех ИИ продуктов. А если вам не хватает фичи — просто говорите и она появляется.

Смотреть как это работает: https://youtu.be/Am-B0bA9xBU

Вангую через год выход CursorOS
запомните этот твит :)

#Cursor #агенты
———
@tsingular

Интересно.
Что если Запад останется без видеокарт?

Официально подтверждено, что имела место встреча мэра Шанхая и главы NVIDIA.

KS

#Китай #NVidia
------
@tsingular

Шпаргалка по n8n
Исходник в комментарии.

#n8n #docs
———
@tsingular

🚀 Трансформеры + vLLM: вместе вкуснее

vLLM выкатили обновление, которое теперь поддерживает Transformers от Hugging Face.

Суть в том, что теперь можно взять любую новую модель из Transformers и сразу запустить на ней оптимизированный инференс через vLLM не ожидая пока её кто-то сконвертирует в совместимый формат.

Достаточно просто указать:

from transformers import pipeline

pipe = pipeline("text-generation", model="meta-llama/Llama-3.2-1B")
result = pipe("The future of AI is")

print(result[0]["generated_text"])

И вуаля – получаем все плюшки vLLM с его PagedAttention и динамическим батчингом.

Бизнес-кейсы:

1. Снижение серверных затрат: vLLM эффективнее использует GPU-память.

2. OpenAI-совместимый API:

запускаем

vllm serve meta-llama/Llama-3.2-1B

вызываем по url

curl https://localhost:8000/v1/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "meta-llama/Llama-3.2-1B", "prompt": "San Francisco is a", "max_tokens": 7, "temperature": 0}'

или в коде

from openai import OpenAI

client = OpenAI(api_key="EMPTY", base_url="https://localhost:8000/v1")
completion = client.completions.create(
    model="meta-llama/Llama-3.2-1B",
    prompt="San Francisco is a",
    max_tokens=7,
    temperature=0
)
print("Completion result:", completion.choices[0].text)

3. Быстрое внедрение новых моделей: как только модель появляется в Transformers, её можно сразу оптимизированно применять в проде.

Пример с моделью Helium от Kyutai особенно показателен: несмотря на то, что эта модель ещё не поддерживается нативно в vLLM, её уже можно запустить через трансформерный бэкенд и получить значительный прирост в скорости.

#Transformers #vLLM #инференс #HuggingFace
———
@tsingular