Blackwell: NVIDIA выпускает монстра с 72-мя GPU в одной стойке

CoreWeave запустил первые облачные инстансы на базе NVIDIA GB200 NVL72.
Система объединяет 72 GPU Blackwell и 36 CPU Grace с жидкостным охлаждением.
Ключевые преимущества: в 30 раз быстрее инференс LLM, в 4 раза ускоряет обучение, 25-кратный прирост производительности при той же мощности.
Технические особенности: NVLink 5.0, поддержка FP4, сеть Quantum-2 InfiniBand (400 Гб/с на GPU).
Масштабируемость до 110,000 GPU с пропускной способностью 130 ТБ/с в одном домене.

Вот бы на нём Doom запустить. :)

#NVIDIA #Blackwell #CoreWeave
-------
@tsingular

Adobe встроила контрактного юриста в Acrobat

Популярный PDF-редактор получил функцию анализа юридических документов.
Инструмент сокращает время проверки контрактов с 45 до 10 минут, обеспечивая 70-80% экономии времени.
Система автоматически находит ключевые условия, составляет краткое содержание и сравнивает версии документов.
Обработка происходит в облаке без долговременного хранения данных за $4.99/месяц.
Функционал актуален, учитывая что 70% пользователей подписывают договоры не понимая условий, а 64% предпринимателей избегают контрактов из-за юридической неуверенности.

Юристы на выход :) 🤵‍♂️😅

#Adobe #Acrobat #LegalTech
-------
@tsingular

#Kling выпустили класную фичу, теперь можно миксовать на видео: Человека + Среду + Объект 🔥

Вообще из всех видео генераторов, Kling пока что самый лучший имхо

🔗 klingai.com

Зловещая долина, - просто привет.

https://t.iss.one/ilia_plasma/618

Unitree учат на движениях спортсменов

И тут уже мне немного жутковато, потому что создаётся стойкое ощущение, что они живые, при том, что умом понимаешь, что - нет.

Т.е. их накормят всеми записями олимпиад и спортивных матчей. И через год можно будет выпускать на стадион.

#Unitree #robots
------
@tsingular

В подписке Gemini Advanced добавили 2.0 Pro Experimental

Новостей нет, бенчей тоже пока нет.
Рассуждений не видно. Поиска нет. :)

Втихую выкатили и все.

Gemini 2.0 Pro Experimental, доступная пользователям Gemini Advanced с четверга, теперь является ведущей моделью в семействе Gemini AI от Google, заявила компания. Она должна обеспечить «лучшую фактологию» и «более высокую производительность» для задач, связанных с кодированием и математикой.

«Независимо от того, решаете ли вы сложные задачи кодирования, такие как создание определенной программы с нуля, или решаете математические задачи, такие как разработка сложных статистических моделей или квантовых алгоритмов, 2.0 Pro Experimental поможет вам справляться даже с самыми сложными задачами с большей легкостью и точностью», — пишет Google в журнале изменений.

#Gemini #pro #experimental
———
@tsingular

🤖 DeepSeek выкатили Small-версию своей мультимодальной модели!

При всего 2.8B активных параметров, DeepSeek-VL2-Small демонстрирует впечатляющие результаты:

- 92.3% на DocVQA (тест на понимание документов)
- 84.5% на ChartQA (работа с графиками)
- 83.4% на TextVQA (распознавание текста на изображениях)

Технически модель наследует все крутые фишки базовой версии:

- Dynamic tiling — умное разбиение картинок на тайлы для обработки изображений высокого разрешения. Больше никаких ограничений на размер входной картинки!

- Multi-head Latent Attention для оптимизации памяти — ключи и значения сжимаются в латентные вектора. За счет этого модель быстрее работает и меньше ест памяти.

- MoE (Mixture of Experts) архитектура — вместо того чтобы гонять все параметры, модель активирует только нужных "экспертов". Отсюда и экономия: из 16B общих параметров активируются только 2.8B.

Самое интересное: Small-версия не сильно отстает от старшей модели в точности. На некоторых бенчмарках разница всего 1-2%.

Для сравнения: другие модели похожего размера (например, InternVL2-2B или Qwen2-VL-2B) показывают заметно более слабые результаты, особенно в задачах с документами и текстом.

В общем, если нужна компактная мультимодальная модель с хорошим балансом размер/качество — DeepSeek-VL2-Small выглядит очень заманчиво. 🤔

Погнали наши городских :)

Пробуем тут:
https://huggingface.co/spaces/deepseek-ai/deepseek-vl2-small

#DeepSeek #VLM #Китай
———
@tsingular

Яндекс и Сбер скоро выкатят хабы-гейты для LLMок.
Инфа со стрима TalentHub

#Сбербанк #Яндекс #gate
———
@tsingular

HuggingFace собрали все ИИ модели и инструменты в общем пространстве и добавили ИИ поиск.

У нас было 2 миллиона моделей машинного обучения, 75 тысяч пространств развертывания, и целая гора мультимодальных датасетов всех возможных форматов.

Не то чтобы всё это действительно было нужно для одного проекта... но если уж начал собирать ИИ-стек, остановиться трудно.

Единственное, что действительно беспокоило – это поисковый движок.

На всей планете не было никого, кто бы мог искать модели умнее и быстрее, чем новый ИИ от HuggingFace.
И я знал, что рано или поздно мы перейдем на эту дрянь.

К полудню мы были где-то на краю пустыни талантов, когда API начало действовать.

Я помню, как сказал что-то вроде: "Я чувствую головокружение, может, ты поведешь..."

А потом внезапно вокруг стало очень тихо, и я увидел... боже мой, ты только посмотри на эти решения!

Разумеется, это была не вся коллекция. Я взял довольно стандартный набор: трансформеры, диффузионные модели, embeddings, языковые модели – всё, что может понадобиться для среднестатистического проекта машинного обучения.

С такими инструментами всё, что тебе нужно – это ввести запрос на английском, и искусственный интеллект мгновенно выдаст тебе готовое решение.

"Не останавливайся. Это ИИ-территория..."

#HuggingFace #каталог
———
@tsingular

🚀 МТС врывается в мир корпоративного ИИ: анонсирована платформа MWS GPT

Главные фишки MWS GPT:

- Гибкость в выборе моделей: можно использовать как собственные решения МТС (Cotype и МТС Alpha), так и внедрять open source или сторонние LLM

- Демократичная цена: 1,1 рубля за 1000 токенов. На практике это означает, что SEO-статья обойдется примерно в 5 рублей, а презентация для клиентов — в 10 рублей

- Enterprise-уровень: выделенный пул GPU-ресурсов для быстрой обработки больших объемов данных

- Гибкое размещение: можно развернуть как в облаке МТС, так и на собственных серверах

- Фокус на корпоративные знания — платформа умеет создавать умные поисковики по внутренним базам данных компании. Это решает классическую проблему, когда важная информация разбросана по десяткам систем и документов.

Похоже, МТС всерьез нацелилась на то, чтобы сделать работу с ИИ доступной для российского бизнеса любого масштаба. Модель оплаты по факту использования (pay-as-you-go) может быть привлекательна для малого бизнеса, который может экспериментировать с ИИ без серьезных начальных вложений.

Будет интересно посмотреть, как платформа покажет себя в реальных проектах и сможет ли она составить конкуренцию другим российским и зарубежным решениям в этой области. 🤔

#МТС #hub #gate
———
@tsingular

🔍 Microsoft Chain-of-Retrieval (CoRAG): Новый подход к умному поиску информации

Вышла очень любопытная разработка от Microsoft и Renmin University!
Они представили CoRAG - систему, которая делает поиск информации похожим на человеческий процесс мышления.

🧠 Как это работает технически

1. Пошаговый поиск: Вместо того чтобы сразу искать ответ, система разбивает запрос на маленькие подзапросы. Прямо как люди, когда решают сложную задачу!

2. Rejection Sampling: Система генерирует несколько цепочек поиска (до 16 штук) и выбирает лучшую, основываясь на вероятности правильного ответа.

3. Масштабирование на тесте: Можно управлять балансом между скоростью и качеством, регулируя:
- Длину цепочки поиска (L)
- Количество пробных цепочек (N)
- Температуру сэмплирования (0.7 по умолчанию)

4. Архитектурные фишки:
- Использует E5-large для начального поиска
- Работает с базой из 36 млн документов
- Обучается на датасете из 125k примеров

🚀 Результаты, - огонь:
- На сложных вопросах (multi-hop QA) показывает улучшение на 10+ пунктов
- Превосходит даже более крупные модели
- Отлично справляется с задачами, требующими пошагового рассуждения

💡 Примеры применения:

1. Умный поиск по документации

# Вместо простого поиска по ключевым словам
"Как настроить OAuth в Django?"

# CoRAG может построить цепочку:
"Что такое OAuth?" -> 
"Какие библиотеки OAuth есть для Django?" ->
"Как настроить social-auth-app-django?" ->
"Какие типичные ошибки при настройке?"

2. Аналитика кода

# Вместо прямого поиска проблемы
"Почему падает производительность?"

# CoRAG может:
"Какие endpoints самые медленные?" ->
"Какие SQL-запросы они используют?" ->
"Есть ли N+1 проблемы в этих запросах?" ->
"Какие индексы могут помочь?"

3. Умный дебаггер

# Система может анализировать ошибку пошагово:
"В каком контексте возникает ошибка?" ->
"Какие переменные доступны?" ->
"Похожие паттерны в логах?" ->
"Типичные решения такой проблемы?"

4. Архитектурные решения

# При проектировании системы:
"Какие требования к масштабируемости?" ->
"Какие паттерны подходят?" ->
"Примеры похожих систем?" ->
"Типичные проблемы и решения?"

Особенно круто, что всё это можно настраивать под конкретные задачи: где-то нужна скорость, а где-то - точность.

Наконец-то можно написать ЛЛМ-зануду, который засыпет ИИ дополнительными вопросами! 🤓

Paper

#Microsoft #CoRAG #RAG
———
@tsingular

Синхронные переводчики всё.

https://t.iss.one/ai_machinelearning_big_data/6715

Модель может выполнять аудио и текстовые переводы речи в режиме реального времени, сохраняя голос говорящего и оптимально адаптируя его темп на основе содержания исходной речи.

Hibiki превосходит предыдущие модели по качеству перевода, естественности и по схожести говорящих и приближается к переводчикам-людям.

> Открытая модель
> Потоковый перевод: обрабатывает аудио в реальном времени
> Многопотоковая архитектура: использует архитектуру Moshi для моделирования исходной и целевой речи
> Способна работать в шумных условиях
> Обучена на 48 Nvidia H100
> Работает с MLX, Candle и PyTorch
> На данный момент поддерживает французский и английский языки (дальше больше)
> Отлично подходит на запусках на девайсах

🤗 HF: https://huggingface.co/collections/kyutai/hibiki-fr-en-67a48835a3d50ee55d37c2b5

#translation #voice
———
@tsingular

Claude - one love :)

Напиши, говорю, обход бинарного дерева, как синьор, в надежде получить что то из области "препарраре ла пицца перфетта!", как в меме, но он выдал 2 страницы профессионального кода. Скукота. :)

Ну ок, говорю, давай по-взрослому тогда.

// Ультра-компактная версия
t=n=>n?[...t(n.l),n.v,...t(n.r)]:[]
b=n=>{q=[n];return n?[...q.map(n=>(n.l&&q.push(n.l),n.r&&q.push(n.r),n.v))]:[]};

И, вот как-то я не уверен, что понимаю на столько по-взрослому :)

Есть кто-нибудь, кто сможет это расшифровать? :)

p.s.: мем в комменте

#Claude #binarytree #dev #мемы
———
@tsingular

Дистилляция экономит миллиарды: как исследователи из Стэнфорда создали reasoning-модель за $50

Интересный технический кейс появился на прошлой неделе - исследователи из Стэнфорда и Университета Вашингтона показали, как можно воспроизвести возможности современных reasoning-моделей с минимальными затратами. Их модель s1 демонстрирует результаты, сопоставимые с OpenAI o1 и DeepSeek R1, но при этом потребовала всего около $50 на облачные вычисления.

Технические детали
Самое интересное в этой работе - элегантность подхода. Вместо того чтобы тренировать модель с нуля (что требует огромных вычислительных ресурсов), исследователи:

1. Взяли готовую базовую модель Qwen-32B
2. Создали датасет из 1000 тщательно отобранных задач с решениями
3. Получили "reasoning traces" (цепочки рассуждений) от Gemini 2.0 Flash Thinking
4. Применили supervised fine-tuning всего на 26 минут используя 16 H100 GPU

Использовали три критерия для отбора задач:
- Сложность (отбирались задачи, которые базовая модель не могла решить)
- Разнообразие (равномерное распределение по 50 различным доменам)
- Качество (тщательная валидация форматирования и содержания)

Математическая находка
Интересный трюк они применили для улучшения точности ответов - так называемый "budget forcing". Идея в том, что когда модель пытается завершить рассуждение, ей вместо этого добавляется слово "Wait", заставляя продолжить анализ. Это простое решение позволило поднять точность на AIME24 с 50% до 57%.

Применимость
Конечно, это не значит что инвестиции Google и OpenAI в инфраструктуру теперь бессмысленны. Дистилляция хороша для воспроизведения существующих возможностей, но не для создания принципиально новых моделей.

Но сам факт, что команда исследователей смогла получить результаты, сравнимые с лидерами с минимальными ресурсами - показывает как быстро демократизируется эта технология.

Технический стек
- Base model: Qwen2.5-32B-Instruct
- Training: PyTorch FSDP
- Dataset: 1000 samples (vs 800K у R1)
- Fine-tuning time: 26 минут
- Hardware: 16 NVIDIA H100 GPUs
- Evaluation: AIME24, MATH500, GPQA Diamond benchmarks

Код и данные доступны на GitHub, что позволяет воспроизвести результаты.

Правда, Google уже заявил что его ToS запрещает такое использование Gemini API - так что юридическая сторона вопроса пока под вопросом.

paper
GitHub

Но сама работа - отличный пример как правильный инженерный подход может компенсировать отсутствие гигантских ресурсов. Будет интересно посмотреть, как дальше будет развиваться направление "бюджетных" AI моделей.

Не списал, а опирался на труды предшественников :)

Отдельное спасибо @alyxst за наводку :)

#s1 #Gemini #finetunung #Qwen
———
@tsingular