Похоже, Apple все же подарит Siri мозг!

Помните недавно прошелся слух, что готовится Apple GPT?

Так вот, Apple только что купила стартап Darwin AI, который работает над уменьшением и ускорением AI моделей. Тим Кук уже успел пообещать "открыть новые горизонты" в этом году, и похоже, все-таки у нас будет возможность пользоваться нейросетью от эпл локально на новеньком айфоне.

Apple всегда заботилась о безопасности и приватности, так что возможность общаться с ботом и редактировать фотки локально была бы пушкой, да и за облачные вычисления платить не придется, как это решил сделать Samsung.

Времени до конца года осталось не так много, интересно, успеют ли. 😐

@ai_newz

🔥Nvidia выкатила новые монстры для AI: Blackwell B200 GPU и GB200 "суперчип"

Как всегда бывает на презентациях NVIDIA, слово "быстро" - это вчерашний день.

↪️ B200 GPU обещает до 20 петафлопс производительности в FP4 и 208 миллиардов транзисторов. Ваша GTX 1080 Ti нервно курит в сторонке.

↪️ В одной B200 будет 192GB памяти с пропускной способностью 8 ТБ/с. Идеально для LLM моделей, которые жрут память как не в себя и требуют большую пропускную способность.

↪️ GB200 "суперчип" объединяет 2 таких B200 GPU с одним Grace CPU (на ARM архитектуре). Nvidia хвастается, что это в 30 раз производительнее для инференса в LLM в FP4 по сравнению с H100.

↪️ Ключевая фишка - второе поколение трансформерного движка, который удваивает вычислительную мощность, пропускную способность и размер модели. Но хз, какая потеря точности будет после конвертации в FP4.

↪️ Nvidia утверждает, что GB200 снижает стоимость и энергопотребление в 25 раз по сравнению с H100 (опять же, в FP4).

↪️ Теперь будет поддерживаться и новый формат - FP6, золотая середина по скорости и точности между FP4 и FP8. Но бенчмарков не показали.

↪️ FP64 на уровне 45 терафлопс на GPU (против 60 у H100). Для нейронок double precision не релевантен, поэтому они особо и не парятся ускорять тут.

↪️ Тренировка GPT-MoE с 1.8 триллиона параметров (читай GPT-4) требовала 90 дней на 8,000 GH100 и 15МВт энергии. Теперь достаточно 2,000 GB200 и 4МВт. То есть во время тренировки 1x GB200 примерно в 4 раза быстрее чем 1x H100.

↪️ На инференсе GPT-3 с 175 млрд параметров, GB200 "всего" в 7 раз быстрее H100. Ну ладно, не все сразу.

Но не радуйтесь раньше времени - цены будут ядреными! Если H100 стоит около $40k, то GB200 будет минимум в 4-5 раз дороже.

Да и не достать их будет простым смертным. Первыми их получат Amazon, Google, Microsoft и Oracle. Известно, что Амазон уже планирует кластер на 20,000 GB200.

А потребительские версии Blackwell ожидаются не раньше 2025 г.

Ещё посты для интересующихся:
1. Про H100
2. Про H100 NVL192GB
3. Про GH200

@ai_newz

🤖Продолжая разговор о гуманоидах: EVE от 1X

Только Nvidia представила свое будущее с блэкджеком и роботами, так оно уже стоит у нас на пороге.
Если честно, пока я смотрел видос про EVE, мой мозг представлял имнно человека в трикошках вместо робота.

Создан этот робот Норвежским стартапом 1X BET, который занимается разработкой андроидов для индустрии и для дома. В 22м году 1X запартнерились с OpenAi, а в начале этого года зарейзили еще $100м в series B.

Раньше под капотом EVE был огромный набор моделей затюненых под определённые задачи, которые включаются по ситуации.

1. Базовая модель для понимания физического мира и каких-то простых задач, типа передвижения предметов.
2. Чуть более узконаправленная модель. Например, для открывания дверей – ведь это одна из самых сложных задач с которой ботам приходится сталкиваться.
3. И еще более специфичная модель для того чтобы успешно дергать за ручку именно этой двери!

И вот недавно все эти модели объединили в одну большую универсальную e2e модель – так что теперь она может всё:)

Бот по голосовой команде может выполнять широкий спектр задач от уже упомянутой двери до уборки разбросанных вещей и складывания футболок в стопку. Кривовато, конечно, но как можно осуждать ребенка. Он ведь еще учится!

Как по мне, то Eve все еще очень медлительный. Забавно, что в названии компании 1X как раз подчеркивается, что они не ускоряют свои демо-видео, как это делают другие производители роботов, а проигрывают все на скорости 1x.

Разрабы утверждают, что могут научить свое детище новому скилу за пару минут! А затем робот будет самосовершенствоваться, оптимизируя процесс самостоятельно. (По крайней мере так говорит рекламка)

Eve уже можно купить (только для индустрии), но ценника на сайте нет. Видимо, вакансий на заводе скоро совсем не будет...

@ai_newz

The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits

СОТА Модели быстро растут в размере (гляньте только на триллионы параметров в GPT-4 и будующей GPT-5), а гонять их хочется быстро и занедорого. Похтому приходится ухищряться со всякими квантизациями.

С BitNet 1.58, новым методом тренировки от Microsoft, моделька натренированная по рецепту от StableLM 3B (тот же датасет, столько же параметров, тренировали на тех же двух триллионах токенов) использует в 20 раз меньше энергии, в 3.5 раза меньше памяти при инференсе и в 2.7 раза быстрее по сравнению с fp16 моделью, при этом имея такое же качество 😱.

Как?
Авторы предлагают заменить обычный Linear слой на слой BitLinear, где тренируются скрытые веса, которые во время forward pass квантизируются: через absmean, веса делятся на среднее абсолютное значение и округляются к ближайшему значению из {-1, 0, 1}. Активации квантизируются 8-битным absmax-ом. Для бэкпропа через квантизацию используется straigth-through estimator. Квантизация повышает стабильность тренировки и позволяет поставить learning rate в несколько раз выше чем для fp16 модели. Остальные части модели не меняются, эмбеддинги не квантизируются. Судя по пейперу для инференса используется исключительно int8.

На моделях меньше 3B - BitNet 1.58 отстаёт по качеству, хотя всё ещё значительно быстрее. Зато на моделях большего размера преимущества по скорости только растут: гипотетическая BitNet 1.58 70B должна кушать в 41 раз меньше энергии, в 7.16 раз меньше памяти и быть в 4.1 раза быстрее.

Обещают выложить код и веса - ждемс! Хочу, чтобы наконец модель на триллион параметров бегала у меня под столом.

Статья
Код будет тут

@ai_newz

Увидел в Threads анекдот: Bloomberg потратил ~$10 миллионов (в AWS SageMaker) на тренировку BloombergGPT (50B параметров на 700B токенов), специально для финансовых задач. Иииии.... модель всухую проиграла на этих же финансовых тасках GPT-4, которая вышла за две недели до этого.

И тут всё было бы очевидно: "нужно сдаваться GPT-4". Если бы не одна маленькая деталь — GPT-4 в свою очередь либо проигрывала либо еле-еле перегоняла (используя Chain of Thoughts) специализированные файнтюны таких динозавров как BERT (2018, 110 лямов параметров) и RoBERTa Large (2019, ~700 млн параметров).

Мораль басни такова: если вы не лидер AI гонки, то не соревнуйтесь с OpenAI в общих задачах, это дорого и трудно. Но если есть прямые руки и конкретный таск — перегнать даже SOTA general purpose модель вполне возможно. А, и ещё: тренировать в AWS безумно дорого 😂

@ai_newz