Нейродайджест за неделю (#34)

GPU
- Colossus XAI. Мегачад Маск уже запустил свой крупнейший кластер GPU для тренировки.
- GPU кластер на 10 гигаватт. Да сразу два! Это в 50 раз больше Colossus'а от Маска.

Агенты/роботы
- DEEP Robotics. Зашуганные робопёсики кидаются в сторону от вида людей.
- Код для AI игр. Проект Starlightlabs закрыли и выложили все наработки в open source. Пользуем!
- Цивилизация машин в Майнкрафте. AI агенты построили свой новый дивный мир.

LLM
- DeepSeek V2.5. Детище DeepSeek V2 и DeepSeek Coder V2 даёт результаты.
- Коротко о flash attention. Ну а в чём я неправ?

Личные истории
- Красавчик на собеседовании. Люблю, когда приходят подготовленными.

Прочее
- Калифорнийские регуляторы наступают. Законопроект прошёл ассамблею. Конечно, есть правки в правильном направлении, но это всё ещё жесть.
- Золотой Суцкевер. МУЖЧИНА таки привлёк свой миллиард на бесприбыльный стартап.
- Хата айтишника из FAANG. У кого так же?
- Топ самых влиятельных людей в AI от Times. Саааамый авторитетный и саааамый неподкупный.

> Читать дайджест #33

#дайджест
@ai_newz

Давно порываюсь вам написать про ТГ-сетки которые про ML-пишут и что им не стоит верить, вот пример ⬆︎

Что на самом деле происходит с этой новой моделью Reflection-70B:

1. Пару дней твиттерский показал свою новую языковую 70B-модель которая с рекордами прошла все бенчмарки (по его утверждению это был файнтюн Llama 3.1 70b ) и что такая же 400b будет вот-вот

2. Модель начала вируситься, ее начали качать и оказалось, что она толком не работает потому что там внутри немного битый конфиг ее запуска (это если простыми словами)

3. Автор перезалил модель, сказал что все починил и все работает — но теперь оказалось что нужно использовать только специальный системный промпт чтобы она работала

4. Сообщество начало тестировать, разобрало модель по кусочкам и оказалось, что это файнтюн Llama 70b 3.0, а не 3.1. И причем не файнтюн модели целиком, а просто Lora-адаптер вмерженного в модель (тренируют кусочек модели который замещает часть модели)

5. Автор сказал, я вообще не помню что я там использовал — толи 3.0 толи 3.1, что такое Lora я не знаю, это не важно все — мы тут сейчас все заново поставим тренироваться, уже поставили точнее (зачем перетренивать модель которая по метрикам побила все бенчмарки пару дней назад мы не узнаем)

6. Параллельно с этим, появилась веб-версия этой модели о которой пишет Бекдор — и ее API дали сегодня протестировать сторонней организации, она неплохо справилась и подтвердила что результаты высокие (но модель доступна только по API)

7. Пару часов назад автор публикует новую версию модели Reflection 70b e3 и сразу пишет, что с ней что-то не так: «Веса залились, но мы все еще проверяем, чтобы убедиться, что они правильные, прежде чем мы собираемся закончить день» – зачем заливать модель до тестов? Ответа нет

8. Люди тестирующие веб версию Reflection 70b, обратили внимание, что она очень похожа на Sonnet 3.5 — буквально токен в токен отдает ответы такие же ответы

<играет цирковая музыка, вы находитесь здесь>

Буду держать вас в курсе нашей высокотехнологичной драмы – возможно, чел правда что-то натренил, но пока мы не знаем что.

Ну и для нейронок лучше читать проверенные ML-каналы, сейчас такое время, что все экспертами в АИ стали (я даже не про свой, я их часто сюда репощу)

Началась презентация Apple, го смотреть

Будут показывать айфоны, часы и новые ИИ фичи к ним. Кучу всего уже показали на WWDC, но на эту презентацию явно что-то приберегли.

➖ Показали A18 - новый SOC на трёх нанометрах. Neural Engine вплоть до двух раз быстре, добавили 17% пропускной способности памяти. GPU быстрее A16 на 40%.

➖ Apple Intelligence будет досутпен в следующем месяце. Пока только на английском, другие языки будут в следующем году.

https://www.youtube.com/watch?v=uarNiSl_uh4

Пост будет обновляться по ходу презентации

@ai_newz

Гонка инференса продолжается - Groq вырывается вперёд!

Ускоренный инференс Llama 3.1 70B выдаёт более полутысячи токенов в секунду и скоро будет доступен всем пользователям. Правда, похоже с 8B моделью не получилось обогнать Cerebras - у них вся модель в один чип влезает, конкурировать сложно.

Кстати, CS-3 от Cerebras производят на 5нм техпроцессе, а вот чипы Groq произведены по 14нм техпроцессу 14LPP - ему в этом году стукнет 8 лет. Второе поколение чипов будет уже на 4нм и выпустится до конца следующего года.

Важный момент, который многие упускают - на картинке указана пропускная способность на одного пользователя, не общая пропускная способность системы. Одна H200 может выдать с Llama 2 70B более 4к токенов в секунду, но только при больших батчах, на одного пользователя там скорость сильно меньше сотни токенов в секунду.

@ai_newz

Pixtral - 12B мультимодальная модель от Mistral

Моделька понимает картинки, пока есть только веса, никаких результатов бенчей или тестов нет. Скорее всего, она основана на NeMo - параметры конфига совпадают. Вот только ещё добавили энкодер для картинок на 24 слоя.

Что модель делает вообще? Эта модель для того чтобы чатиться с картинками и задавать по ним вопросы. Обычный мистраль умеет только текст понимать.

Конфиг:

{
  "dim": 5120,
  "n_layers": 40,
  "head_dim": 128,
  "hidden_dim": 14336,
  "n_heads": 32,
  "n_kv_heads": 8,
  "rope_theta": 1000000000.0,
  "norm_eps": 1e-05,
  "vocab_size": 131072,
  "vision_encoder": {
    "hidden_size": 1024,
    "num_channels": 3,
    "image_size": 1024,
    "patch_size": 16,
    "rope_theta": 10000.0,
    "intermediate_size": 4096,
    "num_hidden_layers": 24,
    "num_attention_heads": 16,
    "image_token_id": 10
  }
}

magnet:?xt=urn:btih:7278e625de2b1da598b23954c13933047126238a&dn=pixtral-12b-240910&tr=udp%3A%2F%https://2Ftracker.opentrackr.org%3A1337%2Fannounce&tr=udp%3A%2F%https://2Fopen.demonii.com%3A1337%2Fannounce&tr=http%3A%2F%https://2Ftracker.ipv6tracker.org%3A80%2Fannounce

Веса на HF

@ai_newz

В гонке быстрого инференса новый участник

SambaNova запустили Llama 3.1: 405B на подтверждённой скорости в 132 токена в секунду, 70B - на скорости 461 токен в секунду и 8B - на скорости 1066 токенов в секунду. Это всё в bf16, без квантизации. На лидерборде Artificial Analysis у SambaNova точность 405B выше всех других провайдеров, но с моделями поменьше не всё так радужно.

Я потестил их инференс, скорость и правда очень высокая - у меня 405B выдавала от 110 до 124 токенов в секунду, что очень близко к заявленным числам. 8B доходила до 1100 токенов в секунду, а вот 70B, хоть и выдавала до 466 в секунду на пике (в твиттере стартап вообще заявлял скорость до 570 в секунду), но у части запросов скорость была аж в два раза меньше.

Цена 405B - $5/mt на вход и $10/mt на выход. Есть на рынке провайдеры и подешевле, но они все запускают модель с уменьшенной точностью.

API уже доступно разработчикам для теста. Бесплатно, но с очень низкими лимитами. Возможность платить за API добавят позже.

Попробовать можно тут

Предыдущий пост из серии про быстрый инференс: тык.

@ai_newz

Начинаем стрим через 3 минуты! Подключайтесь!

Вопросы можно писать под этим постом.

3 минуты, сейчас настрою камеру и начнем.