277K subscribers
5.61K photos
1.32K videos
17 files
5.97K links
Погружаемся в машинное обучение и Data Science

Показываем как запускать любые LLm на пальцах.

По всем вопросам - @haarrp

@itchannels_telegram -🔥best channels

Реестр РКН: clck.ru/3Fmqri
Download Telegram
🌟 ToolOrchestra: буст ИИ-потенциала за счет координации моделей и инструментов.

NVIDIA совместно с Университетом Гонконга разработала ToolOrchestra - методику обучения дирижеров для ИИ-агентов, и выпустила на ее основе модель Orchestrator-8B.

Это модель, базирующаяся на архитектуре Qwen3 предназначена для оркестрации других моделей и инструментов. Вместо того чтобы решать задачу в одиночку, модель чередует этапы рассуждения с вызовом внешних инструментов.

В ее арсенале поисковые движки, интерпретаторы кода и другие LLM, от узкоспециализированных математических до универсальных гигантов Claude и Llama-Nemotron.

Обучение проводилось с помощью GRPO, который поощрял модель не только за точность, но и за экономическую эффективность.

В результате решение получилось в 2,5 раза быстрее и на 70% дешевле в эксплуатации, чем использование одной лишь флагманской модели для всех этапов задачи, а сама Orchestrator-8B набрала 37,1% в сложнейшем бенчмарке Humanity's Last Exam , обойдя GPT-5 (35,1%).


📌Лицензирование кода : Apache 2.0 License.

📌Лицензирование модели: NVIDIA License.


🟡Страница проекта
🟡Модель
🟡Arxiv
🟡Датасет
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #Orchestrator #NVIDIA
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤68👍35🔥11🦄3🤬2❤‍🔥1💘1
⚡️ Отличный ресурс, если хотите глубже понять, как работает параллельное исполнение на GPU.

Документация NVIDIA PTX раскрывает низкоуровневую модель выполнения: устройство команд, иерархию потоков, блоков, варпов, регистров и видов памяти.

Это базовый материал, без которого сложно разобраться, почему ядра GPU ведут себя именно так, как ведут, и как правильно писать высокопроизводительный код под CUDA.

Ссылка: https://docs.nvidia.com/cuda/parallel-thread-execution

@ai_machinelearning_big_data

#nvidia
👍45❤15🥰8🦄3🔥2❤‍🔥1👏1
🚨 The Information: DeepSeek тайно использует *запрещённые Nvidia Blackwell GPU* для обучения своей следующей модели

По данным The Information, DeepSeek тренирует новое поколение своей модели на *тысячах* Blackwell-чипов, которые формально запрещены к поставкам в Китай.
Схема выглядит так: серверы с GPU сначала устанавливают и проверяют в «фантомных» дата-центрах за рубежом, после чего их разбирают, декларируют как другое оборудование и снова собирают уже в китайских дата-центрах.

Схема показывает, насколько неэффективными остаются экспортные ограничения США, даже несмотря на давление Вашингтона и недавние обвинения в контрабанде против посредников.

Nvidia в спешке внедряет механизмы отслеживания местоположения GPU, которые могут фактически «отключать» нелегально ввезённые чипы.

Интересное следствие:
Китай проявляет слабый интерес к официально разрешённому H200, что может быть связано с тем, что у ведущих игроков уже есть доступ к более мощным - пусть и нелегальным - Blackwell.

https://www.theinformation.com/articles/deepseek-using-banned-nvidia-chips-race-build-next-model

@ai_machinelearning_big_data

#ai #news #Nvidia
1😁80❤21👍12🔥11🤷‍♂3🤬2😨1
🖥 NVIDIA представила новое открытое семейство моделей Nemotron 3

✔️ Nemotron 3 Nano - это универсальная модель для рассуждений и чата, ориентированная на локальный запуск.

Ключевые характеристики:
- MoE-архитектура: 30B параметров всего, ~3.5B активных
- Контекст до 1 миллиона токенов
- Гибридная архитектура:
- 23 слоя Mamba-2 + MoE
- 6 attention-слоёв
- Баланс между скоростью и качеством рассуждений

Требования:
- необходимо около 24 ГБ видеопамяти для локального запуска

Модель хорошо подходит для длинных диалогов, анализа документов и reasoning-задач

Интересный пример того, как MoE и Mamba начинают реально снижать требования к железу, сохраняя масштаб контекста и качество.

✔️ Nemotron 3 Super и Nemotron 3 Ultra значительно превосходят Nano по масштабу - примерно в 4 раза и 16 раз соответственно. Но ключевой момент здесь не просто в размере моделей, а в том, как NVIDIA удалось увеличить мощность без пропорционального роста стоимости инференса.

Для обучения Super и Ultra используется NVFP4 и новая архитектура Latent Mixture of Experts. Она позволяет задействовать в четыре раза больше экспертов при той же стоимости инференса. По сути, модель становится «умнее» за счёт более гибкого выбора экспертов, а не за счёт постоянной активации всех параметров.

Дополнительно применяется Multi-Token Prediction, что ускоряет обучение и улучшает качество рассуждений на длинных последовательностях. Это особенно важно для agentic и multi-agent сценариев, где модели работают с длинным контекстом и сложными цепочками решений.

NVIDIA публикует не только веса, но и данные для предобучения и постобучения, а также технические детали, которые объясняют, почему эти модели одновременно быстрые и сильные.

Такой уровень открытости - редкость для моделей этого масштаба и хороший сигнал для индустрии.

🟡Release: https://developer.nvidia.com/blog/inside-nvidia-nemotron-3-techniques-tools-and-data-that-make-it-efficient-and-accurate/
🟡Guide: https://docs.unsloth.ai/models/nemotron-3
🟡GGUF: https://huggingface.co/unsloth/Nemotron-3-Nano-30B-A3B-GGUF
🟡lmstudio: https://lmstudio.ai/models/nemotron-3

@ai_machinelearning_big_data


#AI #LLM #NVIDIA #Nemotron3 #OpenSource #MachineLearning
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥61❤26👍21🦄3👌2
🌟 NVIDIA переизобретает память: LLM, которые доучиваются прямо во время инференса

Контекстные окна растут, но тут два стула: либо классическое внимание, которое питается памятью и компьютит как не в себя, либо RNN-подобные Mamba, DeltaNet, которые работают быстро, но в длинном контексте начинают плыть и терять детали.

NVIDIA предлагает решение, которое пытается усидеть на обоих стульях сразу - Test-Time Training with End-to-End formulation (TTT-E2E):

Обычно веса модели заморожены после тренировки. Когда вы скармливаете ей данные, она просто держит её в KV-кэше. В TTT все по-другому: контекст — это и есть обучающий датасет. Пока модель читает ваш промпт (контекст), она обновляет свои веса (если точнее - делает градиентный спуск прямо на лету), тем самым, инфа из контекста впекается в саму модель. Это позволяет сжать гигантские объемы в фиксированный размер состояния, не раздувая KV-кэш до небес.

🟡В результате - красота и волшебство:

🟢Латентность инференса становится константной. Неважно, 100 токенов в контексте или миллион — время генерации следующего токена одинаковое.

🟢На контексте 128k токенов — ускорение в 2.7x по сравнению с Attention (на H100). На 2M токенов — ускорение в 35 раз.

🟢В отличие от Mamba и других RNN, качество не проседает на длинных дистанциях. TTT держит планку на уровне полного внимания.

🟡Разумеется, есть куча пунктов со звездочкой

🟠Трейн - сложный. Чтобы модель могла так лихо учиться на лету, её нужно спечиальным образом претрейнить. Этот процесс сейчас в 3.4x медленнее, чем обычное обучение.

🟠Метод требует вычисления градиентов от градиентов во время обучения. FlashAttention из коробки сейчас это не поддерживает, нужны кастомные ядра или костыли.

🟠Cам процесс поедания контекста при инференсе требует вычислений во время префилл-фазы.

По итогу, NVIDIA сравнивает RAG с блокнотом, а свой TTT — с реальным обновлением нейронных связей мозга. Если есть желание покопаться в методике и проникнуться идеей - код и пейпер в открытом доступе.


🟡Статья
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #TTTE2E #NVIDIA
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍114❤45🔥25🥰5🤨4🗿2👌1🦄1
🌟 NVIDIA KVzap: жмем KV-кэш в 4 раза.

Все любят длинный контекст, но для GPU это больно - KV-кэш растет линейно и быстро сжирает VRAM. Например, для Llama-65B на 128k токенов кэш весит 335 ГБ. Существующие методы прунинга либо медленные, либо тупые и режут важное, либо требуют переобучения модели.

NVIDIA предложили метод KVzap, который решает, какие токены можно забыть, глядя только на текущие хидден-стэйты.

🟡Логика метода разбита на 2 этапа:

Поиск идеала (KVzip+).
Берется медленный, но точный метод KVzip: модели скармливают текст, заставляют его повторить, и смотрят, на какие прошлые токены она реально обращает внимание. Это золотой стандарт важности токена. Но в проде так делать нельзя, это двойная работа.

Аппроксимация (KVzap).
Тут и происходит вся суть: крошечная модель-суррогат смотрит на входящий хидден-стэйт токена и предсказывает, насколько этот токен будет важен в будущем, то есть пытается угадать скор KVzip.

Модели 2-х видов:

KVzap-Linear: простейшая линейная проекция (одна матрица). Она берет хиден-стэйт и тупо проецирует его в скалярный скор важности. Сложность: экстремально низкая (~0.02%).

KVzap-MLP: двухслойный перцептрон. Внутри есть скрытый слой размером 1/8 от размерности модели и нелинейная активация. Сложность: низкая, но выше линейной (~1.1%).


🟡Все вместе это работает так

Токен залетает в слой трансформера, модель-суррогат быстро считает его скор важности. Если он ниже порога - токен в кэш не пишется или удаляется. Но при этом всегда оставляется скользящее окно из последних 128 токенов, чтобы не терять локальный контекст, иначе модель сыпется.

🟡Результаты тестов.

Проверяли на Qwen3-8B, Llama-3.1-8B и Qwen3-32B. Спойлер: работает везде.

Удалось выкинуть до 75% KV-кэша, а это сжатие в 4 раза. На бенчмарках RULER (длинный контекст), LongBench и AIME25 падение метрик или нулевое, или меньше 1%. Оверхед от суррогатной модели мизерный - менее 1% FLOPs.

🟡Звучит, конечно, как гем, но давайте про минусы:

🟠Нужно дообучить этот маленький MLP для каждого слоя целевой модели. Датасет нужен, но процесс быстрый.

🟠Удаление токенов создает рваный кэш. У разных голов будет разное количество сохраненных токенов.

Это плохо, потому что стандартные ядра Paged Attention любят структуру. Чтобы реально получить ускорение, а не только экономию памяти, нужно писать кастомные CUDA-ядра, которые смогут эффективно жевать блоки переменной длины.


🟠Порог отсечения фиксированный. Если промахнуться с ним, то модель начнет галлюцинировать или забудет начало.

🟡По итогу, KVzap - крутой шаг к тому, чтобы гонять длинные контексты на GPU попроще.

Метод умнее, чем Streaming LLM, и быстрее, чем полные методы разреженного внимания.

Ждем интеграции в vLLM или TRT-LLM, а пока, чтобы скрасить ожидание, NVIDIA собрала на HF интерактивный лидерборд популярных методик компрессии KV-кэша.

Код и веса моделей-суррогатов из тестов пейпера в открытом доступе, так что нет никаких ограничений, чтобы не покрутить KVzap на каком-нибудь тестовом сетапе.



@ai_machinelearning_big_data

#AI #ML #LLM #KVZAP #NVIDIA
Please open Telegram to view this post
VIEW IN TELEGRAM
👍92❤77🔥20🤔8👏6🎉2🌚2🥰1
🌟 Nemotron-Terminal: небольшое семейство для терминальных задач.

NVIDIA обучила семейство моделей Nemotron-Terminal для автономной работы в терминале Linux: устанавливать зависимости, писать и запускать код, отлаживать окружения и выполнять сквозные инженерные задачи без участия человека.

Семейство построено на базе Qwen3 и специально собранном датасете Terminal-Corpus. И фишка не в архитектуре, а в данных.

🟡NVIDIA собрала пайплайн Terminal-Task-Gen с 2 потоками.

Первый адаптирует готовые датасеты по математике, коду и SWE-задачам под терминальный формат (без участия LLM в процессе адаптации).

Второй генерирует синтетику 2 методами: seed-based (LLM создает новые задачи на основе существующих задач из смежных областей) и skill-based (LLM комбинирует до пяти примитивных навыков из таксономии по 9 доменам: Security, Data Science, System Administration и другим).

🟡В открытый релиз вошли все три модели на 8B, 14B, 32B параметров и 2 датасета:

Terminal-Corpus: около 366K траекторий выполнения задач, разбитых на два потока: ~226K адаптированных примеров из Math/Code/SWE и ~140K синтетических задач на основе skill-таксономии.

Synthetic-Tasks: задачи в стандартизированном формате: инструкция, Docker-окружение из 9 преднастроенных образов и верификационный набор на pytest.


🟡Результаты прогонов на бенчах.

На Terminal-Bench 2.0 все 3 модели показали кратный рост относительно базовой Qwen3: 8B - с 2.5% до 13%, 14B - с 4% до 20.2%, 32B - с 3.4% до 27.4%.

Для сравнения: Qwen3-Coder на 480B параметров набирает 23.9%, GPT-5-Mini - 24.0%, Grok 4 - 23.1%. Nemotron-Terminal-32B превосходит или вплотную конкурирует с ними всеми при разнице в размере на порядок.


🟡Несколько внезапных выводов из абляции.

Фильтрация неудачных траекторий вредит. Модель, обученная на всех траекториях включая ошибочные, набирает 12.4% против 5.06% у варианта только с успешными.

Curriculum learning (сначала простые данные, потом сложные) не дал преимуществ перед простым смешанным обучением.

Увеличение контекстного окна с 32K до 65K токенов также не помогло, длинные траектории оказались шумнее.


📌Лицензирование моделей: NVIDIA Open Model License

📌Лицензирование датасетов : CC-BY-4.0 License.


🟡Набор моделей
🟡Arxiv


@ai_machinelearning_big_data

#AI #ML #LLM #NemotronTerminal #NVIDIA
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
3👍76👨‍💻37❤18🎉8🔥6👏5🤩3🤔1👌1
🌟 NVIDIA Nemotron-Cascade 2: MoE на 30B параметров и золото на математических олимпиадах.

Nemotron-Cascade 2 - вторая в мире открытая языковая модель, получившая золотую медаль сразу на 3 соревнованиях 2025 года: IMO, IOI и финале ICPC.

До нее это удавалось только DeepSeek-V3.2-Speciale, модели с 671B параметров и 37B активных. У Nemotron-Cascade 2 параметров в 20 раз меньше: 30B общих, 3B активных.

🟠На IMO 2025 модель решила 5 задач из 6 и набрала 35 из 42 баллов.
🟠На IOI - 439 из 600, что соответствует золоту.
🟠На ICPC World Finals 10 задач из 12, это 4 место в золотой зоне. При этом 8 задач ICPC были решены менее чем за 100 попыток.

🟡Архитектура

MoExperts на базе Nemotron-3-Nano-30B-A3B-Base. Отличие от первой версии - расширенный Cascade RL, где обучение с подкреплением проходит последовательно по доменам: сначала следование инструкциям, затем мультидоменное RL, потом дистилляция, RLHF, работа с длинным контекстом, код и, наконец, задачи программной инженерии.

🟡Multi-Domain On-Policy Distillation (MOPD)

На каждом этапе Cascade RL выбирается лучший промежуточный чекпоинт по конкретному домену и используется как учитель. Поскольку все учителя происходят от одной SFT-инициализации, они делят токенайзер и словарь, что упрощает дистилляцию.

MOPD работает на уровне отдельных токенов, а не последовательностей, и сходится быстрее, чем классический GRPO: на AIME 2025 достигает уровня учителя за 30 шагов оптимизации.

🟡Тесты

На бенчмарках модель обходит Qwen3.5-35B-A3B и более крупную Nemotron-3-Super-120B-A12B в математике, коде и следованию инструкциям.

🟢LiveCodeBench v6: 88.4 (у Qwen3.5 74.6);
🟢ArenaHard v2: 83.5 против 65.4 у Qwen3.5;
🟢IFBench: 82.9 против 70.2;
🟢На Codeforces модель набрала рейтинг 2345 с TIR (на уровне моделей с 300B+ параметров).

🟡Слабые места

Задачи, требующие глубоких знаний (MMLU-Pro, GPQA-Diamond) и агентные сценарии (BFCL v4, τ²-Bench, SWE Verified). Тут Qwen3.5 пока впереди.

NVIDIA обещает подтянуть наукоёмкий претрейн и агентный RL в следующих версиях Nemotron-Cascade.


📌Лицензирование: NVIDIA Open Model License.


🟡Модель
🟡SFT-датасет
🟡RL-данные
🟡Техотчет


@ai_machinelearning_big_data

#AI #ML #LLM #Nemotron #Cascade2 #NVIDIA
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍57🔥23❤16👏4🥰1
🌟 Kimodo: диффузионная модель для генерации 3D-движений людей.

NVIDIA выложила в открытый доступ проект Kimodo - генеративную модель на основе диффузии, которая создает реалистичные трехмерные движения для человеческих и робототехнических скелетов.

Kimodo принимает на вход текстовые промпты и ключевые позы всего тела, позиции и вращения конечностей, двухмерные пути и контрольные точки. Это позволяет точно управлять генерацией: от общего описания наподобие "персонаж идет и садится на стул" до детального контроля положения рук и ног в кадрах.

Всего доступно 5 вариантов модели для 3 типов скелетов: SOMA, SMPL-X и Unitree G1. Первые два ориентированы на анимацию аватаров, третий - на робота Unitree G1.

Модели, обученные на полном датасете Bones Rigplay 1 (700 часов), NVIDIA рекомендует как основные рабочие.

Варианты на сете BONES-SEED (288 часов) предназначены для бенчмаркинга и сравнения с собственными разработками.

Для работы с Kimodo предусмотрены 3 интерфейса:

🟢Интерактивное веб-демо с таймлайн-редактором;
🟢CLI-утилита для пакетной генерации;
🟢Python API для тонкой настройки .

Под инференс потребуется около 17 ГБ видеопамяти, модели запускали на RTX 3090, RTX 4090 и NVIDIA A100.

🟡 Интеграция с робототехническим стеком NVIDIA.

ProtoMotions позволяет брать сгенерированные движения и обучать на них физически корректные политики управления в GPU-ускоренной симуляции — как для аватаров, так и для Unitree G1.

Через General Motion Retargeting движения, созданные на скелете SMPL-X, можно перенести на произвольных роботов.


📌Лицензирование:

Код проекта под Apache 2.0, большинство моделей под NVIDIA Open Model License.

Вариант SMPL-X имеет более ограниченную NVIDIA R&D Model License, она допускает только исследовательское применение.


🟡Набор моделей
🟡Техотчет
🖥Github


@ai_machinelearning_big_data

#AI #ML #Robotics #Kimodo #NVIDIA
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍121🤩28🤔20❤13👏12🔥5💯4
🌟 Audio Flamingo Next: открытая аудио-языковую модель от NVIDIA

Audio Flamingo Next (AF-Next) - аудио-языковая модель, обученная на корпусе из 1 млн часов аудио и 108 млн примеров для генерации подробных текстовых описаний аудиозаписей: перечисление инструментов, звуковых событий и музыкальных характеристик того, что звучит на записи. Максимальная длина входного аудио - 30 минут.

Релиз закрывает отставание мультимодальных систем в работе со звуком: речью, музыкой и окружающими шумами на длинных записях.

🟡Архитектура собрана из 4-х блоков:

🟢Кодировщик AF-Whisper (128-канальная лог-мел-спектрограмма, окно 25 мс, шаг 10 мс, выход 50 Гц);
🟢Двухслойный MLP-адаптер;
🟢Qwen-2.5-7B с расширенным контекстом 128K токенов;
🟢Потоковый TTS-модуль для голосовых диалогов.

Фишка архитектуры - Rotary Time Embeddings: угол поворота токена привязывается к реальной временной метке аудио, что дает модели устойчивое временное рассуждение.

🟡Релиз состоит из 3-х версий

AF-Next-Captioner: модель, заточенная под детальное описание аудио. Она генерирует подробные текстовые описания аудиозаписей: перечисляет инструменты, звуковые события, спикеров и музыкальные характеристики того, что звучит на записи, с привязкой к таймкодам.

На распознавании инструментов Medley-Solos-DB она набирает 92,13 против 85,80 у Audio Flamingo 2.

На музыкальных описаниях SongCaps, где качество оценивает GPT-5, показатели покрытия и корректности выросли с 6,7 и 6,2 у AF3 до 8,8 и 8,9.


AF-Next-Instruct: универсальная инструктивная версия, после GRPO для повседневных задач: ответов на вопросы по аудио, голосовых ассистентов, транскрипции речи и перевода.

Именно она устанавливает новые планки среди LALM по ASR.

WER 1,54 на LibriSpeech. На LongAudioBench 73,9 против 60,4 у закрытой Gemini 2.5 Pro (в варианте с речью разрыв еще больше - 81,2 против 66,2.)


AF-Next-Think: ризонинг-версия с Temporal Audio Chain-of-Thought: модель привязывает каждый шаг рассуждения к конкретной временной метке в аудио, что делает ее пригодной для разбора длинных записей, где нужно собирать факты из разных моментов (анализа совещаний, интервью, подкастов, трейлеров и сюжетных аудиоисторий).

75,01 на MMAU-v05.15.25 и 58,7 на более жестком MMAU-Pro, что выше, чем у Gemini-2.5-Pro (57,4).



📌Лицензирование: NVIDIA OneWay Noncommercial License.


🟡Страница проекта
🟡Arxiv
🟡Demo
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #MMLM #Audio #AudioFlamingo #NVIDIA
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
💯42🔥37👍11👏9🤓7❤6
🌟 Lyra 2.0: фреймворк для генерации исследуемых 3D-миров по одной фотографии.

NVIDIA опубликовала веса модели и код Lyra 2.0 - системы, которая принимает на вход изображение, генерирует видео с управляемой траекторией камеры, а затем реконструирует его в 3D-гауссианы и полигональные меши.

Готовые ассеты можно напрямую импортировать в игровые движки и робототехнические симуляторы.

Система будет полезна для массовой генерации тренировочных 3D-сред для воплощенного ИИ.

Главная задача, которую решает фреймворк - сохранение согласованности сцены при длительном пролете камеры.

Lyra 2.0 хранит 3D-геометрию каждого кадра в отдельном кэше, при возврате извлекает релевантные исторические кадры по степени перекрытия видимости и устанавливает плотные геометрические соответствия через варпинг канонических координат.

Геометрия используется только для маршрутизации информации - какие кадры извлечь и как их сопоставить с текущим ракурсом. За синтез внешнего вида отвечает диффузионная модель.


Базовая модель построена на архитектуре Wan 2.1-14B с выходным разрешением 832×480.

Для 3D-реконструкции применяется дообученная версия Depth Anything v3 в feed-forward режиме, а поверхностные меши извлекаются через иерархический подход на основе OpenVDB.

На бенчмарках DL3DV и Tanks and Temples Lyra 2.0 превзошла все аналоги (GEN3C, CaM, SPMem, VMem, Yume-1.5 и HY-WorldPlay) практически по всем метрикам: FID, SSIM, LPIPS, субъективное качество и стилистическая согласованность.


Первая версия фреймворка, вышедшая в сентябре, поддерживала лишь генерацию на коротких дистанциях. Ближайший конкурент второй версии, Genie 3 от Google, обладает схожими возможностями, но остаётся закрытым.


🟡Страница проекта
🟡Arxiv
🟡Модель
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #3DWorlds #Lyra2 #NVIDIA
Please open Telegram to view this post
VIEW IN TELEGRAM
🤩78👍30🔥18❤13👏13🥰3🎉3😴1
🌟 NVIDIA открыла Nemotron 3 Nano Omni

Nemotron 3 Nano Omni - мультимодальная модель 30B-A3B, которая обрабатывает видео, аудио, изображения и текст в едином инференсе.

В создании Nano Omni активно использовалось семейство Qwen разных поколений от 2.5 до 3.5 - как чисто языковые, так и VL и GPT-OSS-120B


🟡Под капотом гибрид из Mamba2 и MoE

Визуальный тракт построен на энкодере CRADIO v4-H, аудио - на Parakeet. Контекстное окно - до 256 тыс. токенов.

Модель поддерживает ризонинг с СоТ, JSON-вывод, tool calling и пословные таймштампы для транскрипции.

На вход принимаются видео длиной до 2-х минут, аудио длиной до часа, изображения и текст. Язык один - английский.

Со слов NVIDIA, при сопоставимой интерактивности модель выдаёт до 9х пропускной способности относительно других открытых omni-моделей.


Самый показательный пример - на OSWorld (навигация по GUI): 47,4 против 11,1 у предыдущей Nemotron Nano VL V2.

На OCRBenchV2 — 67,04, на Video MME — 72,2, на Daily Omni — 74,52.

Опубликованы 3 варианта весов: BF16 (61,5 ГБ), FP8 (32,8 ГБ) и NVFP4 (20,9 ГБ, 4,98 бит). Визуальный и аудио-энкодеры вместе с MLP-проекторами в обоих случаях оставлены в BF16.

На девяти не-ASR бенчмарках оба квантованных варианта в среднем теряют меньше 0,4 пункта относительно BF16 — NVFP4 вписывается в рабочие станции и edge-устройства практически без потерь качества.

Инференс поддерживается на vLLM, TensorRT-LLM, TensorRT Edge-LLM, llama.cpp, Ollama и SGLang.

Модель доступна на Hugging Face, OpenRouter, build.nvidia.com и в каталоге NGC как NIM-микросервис.

По данным NVIDIA, семейство Nemotron 3 за прошлый год скачали более 50 миллионов раз и Omni-вариант должен расширить линейку в мультимодальный и агентный контур.


📌Лицензирование: NVIDIA Open Model License

🟡Статья
🟡Модель

@ai_machinelearning_big_data

#AI #ML #MMLM #NemotronNanoOmni #NVIDIA
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤55👍21🔥9⚡2🤔2😭2🥱1
🌟 TwELL от Sakana AI и NVIDIA: до 30% к инференсу и −24% VRAM на H100

Sakana AI и NVIDIA представили TwELL - формат данных и набор CUDA-ядер под неструктурированную разреженность в LLM.

На H100 это даёт до 30% к инференсу, до 24% к скорости обучения и более чем 24% снижения пикового VRAM при трейне.

Работа заявлена на ICML 2026.


В FFN-блоках современных LLM для каждого токена реально работает малая доля скрытых активаций - остальное болтается около нуля и впустую тратит вычисления.

Если поверх ReLU добавить вспомогательный L1-лосс на скрытые активации прямо во время обучения, долю нулей можно загнать выше 95% без видимой просадки на downstream-задачах.

Проблема в том, что, что тензорные ядра H100 заточены под плотные матричные умножения и тайлинг. Если скормить им обычный ELLPACK, то теоретическая экономия убивается накладными расходами: построчная упаковка не ложится на тайловую структуру, появляются синхронизации между CTA и лишний трафик в HBM.

🟡Вот тут и решает TwELL

Колонки активаций гейта бьются на горизонтальные тайлы. Внутри каждого тайла лежат только ненулевые значения и их индексы в локальном ELL-формате.

Размер тайла подобран так, чтобы каждая CTA паковала свой кусок прямо в разделяемой памяти без синхронизаций между блоками и без лишних обращений к глобальной памяти.

Дальше - 2 разных ядра:

🟢Инференс
Up- и down-проекции выполняются в одном ядре. Плотная матрица скрытых активаций вообще не материализуется: ядро пробегается по упакованным нулям, подтягивает только нужные строки Wu и Wd и считает скалярное произведение.


🟠Обучение
Гибридное представление: каждая строка либо ужимается в один глобально выровненный разреженный блок, либо в редких случаях переполнения падает в плотный резерв. Результат - обратный проход без единого умножения двух плотных матриц.


Интересный момент: даже без учёта разреженности кастомные TwELL-ядра вышли чуть быстрее плотных матмулов из PyTorch и CuDNN, в основном за счёт переиспользования ядер, совмещения загрузки данных с вычислениями и оптимизированных шаблонов доступа к памяти.

🟡Цифры на H100 (замер по модели 1.5B)

🟢до 30% ускорения на пакетном инференсе;
🟢до 24% ускорения на обучении;
🟢пиковый VRAM при обучении падает более чем на 24%;
🟢энергопотребление GPU - примерно на 3% ниже.

🟡Скейлинг

Считали на моделях 0.5B–2B. При фиксированном L1 у 2B доля ненулевых активаций на 38% меньше, чем у 0.5B (крупнее модель, охотнее уходит в разреженность).

На 2B инференс быстрее на 20.5%, обучение - на 21.9%, и в память влезает вдвое больший микробатч.

🟡Очевидные минусы

Кастомные CUDA-ядра привязаны к NVIDIA: альтернативное железо и PyTorch - мимо.

Эксперименты упираются в 2B, как поведёт себя более крупная модель, никто не проверял.



📌Лицензирование: MIT License


🟡Блогпост
🟡Arxiv
🖥Github


@ai_machinelearning_big_data

#AI #ML #LLM #TwELL #SakanaAI #NVIDIA
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1🤓49❤26🤔17👌10👍8👏8🔥4
✔️ Китай построил ИИ-дата-центр мощностью 1 ГВт -без единого чипа Nvidia

По данным Bloomberg, компания Z.ai, ранее известная как Zhipu AI, завершила строительство огромного вычислительного центра на китайских ускорителях и уже частично ввела его в эксплуатацию.

Инфраструктура будет использоваться для разработки и обучения передовых моделей семейства GLM. Кроме того, Z.ai построила или эксплуатирует несколько отдельных кластеров, каждый из которых насчитывает более 10 000 чипов.

Китай показывает, что способен создавать крупную ИИ-инфраструктуру без критической зависимости от американских ускорителей. Это ещё не доказывает, что местные чипы сравнялись с Nvidia по производительности и программной экосистеме, но подтверждает: полноценная альтернативная вычислительная платформа уже формируется.

Параллельно Пекин рассматривает инвестиции примерно в $295 млрд в национальную сеть дата-центров, где не менее 80% технологий должны поставляться китайскими компаниями.

Технологическая независимость может оказаться для Китая важнее выпуска очередной frontier-модели.

https://www.bloomberg.com/news/articles/2026-07-20/z-ai-completes-giant-data-center-with-chinese-chips-to-train-ai

#ai #china #chips #datacenter #nvidia
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍196🔥43🤔30❤22👏19🎉8🙊1
🌟 NVIDIA выложила в открытый доступ Cosmos 3 Edge

Это компактная модель мира на 4 миллиарда параметров, ориентированная на робототехнику, компьютерное зрение и автономный транспорт.

Модель принимает на вход текст, картинки, видео и траектории движения, а на выходе выдаёт видео, изображения, текст и команды для действий.

Внутри архитектура Mixture-of-Transformers, где авторегрессионная часть отвечает за рассуждения, а диффузионная за генерацию изображения, звука и действий. Отсюда двойное назначение, модель может и разбирать сцену, и генерировать движения для робота.

NVIDIA заявляет, что среди моделей такого же размера Cosmos 3 Edge - первая в бенче VANTAGE-Bench на видеоаналитику и лучшая в обучении управляющих алгоритмов для роботов.

Вместе с базовой версией в релиз вошли Cosmos 3 Edge Policy для манипуляций роботом и облегчённые 4-х шаговые версии Cosmos 3 Super (Image2Video и Text2Image), дистиллированные из старшей версии через DMD2.

Edge - самое компактное звено семейства Cosmos 3, которое NVIDIA развивает с весны.

Ранее были представлены более крупные модели Cosmos 3 Nano на 16 млрд параметров и Cosmos 3 Super на 64 млрд, плюс отдельные версии Super для генерации изображений по тексту и видео по одному кадру.

Задачи у них те же - разобрать сцену, предсказать, что изменится, и сгенерировать действие, но рассчитаны они на более мощное оборудование. Edge же закрывает нижний край линейки и сделаны для устройств, где вычислительных ресурсов мало.


📌Лицензирование: OpenMDW License


🟡Статья
🟡Страница проекта
🟡Набор моделей
🟡Демо
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #WordModel #Omnimodal #Cosmos3 #NVIDIA
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👏71🤩24👍21❤8🔥8🎉6🤔1
🌟 NVIDIA открыла доступ к самой крупной модели для беспилотных автомобилей

Alpamayo 2 Super - рассуждающая VLA модель на 34 миллиарда параметров, которая сшивает изображение с передних, боковых и задних камер в круговой обзор и рассчитывает траекторию движения.

Впервые NVIDIA показала её на конференции GTC в Тайбэе в начале июня, но доступ открылся только сейчас.


NVIDIA делает упор на редких ситуациях, с которыми беспилотники справляются хуже всего, - перестроения, повороты через встречный поток, перегруженные перекрёстки.

В основе лежит Cosmos 3 Super Reasoner, после базового обучения модель прогнали через RL, то есть на последствиях её собственных решений в смоделированных поездках.

Помимо маршрута модель выдаёт текстовое обоснование манёвра, и оператор-разработчик может проследить, какая деталь в кадре привела к конкретному решению.

В компании связывают это с проверкой безопасности по стандарту ISO/PAS 8800 и предлагают использовать тот же механизм для автоматической разметки видео с тестовых машин - расшифровки, которая обычно занимает месяцы ручной работы.


В тесте LingoQA, где систему просят объяснить дорожную обстановку, NVIDIA ставит Alpamayo 2 Super на первое место и утверждает, что модель обходит Qwen2.5-VL 72B на 17 пунктов, а Gemini 2.5 Pro примерно на 15.

Лицензия модели позволяет дообучать Alpamayo 2 Super на собственных данных и ставить в серийные машины.


📌Лицензирование: Open MDW 1.1 License


🟡Блогпост
🟡Модель
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #VLA #AutonomousVehicles #Alpamayo #NVIDIA
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥50👍19❤14🗿3😢1🙉1🙊1
🌟 Nvidia открыла веса модели для разметки спикеров в аудио

Nemotron 3 Diarization – открытая модель диаризации на 100 млн параметров, которая работает на аудиозаписях и в потоковом режиме, размечая на записи отрезки речи каждого участника, включая моменты, когда люди перебивают друг друга.

Вместе с ASR это даёт расшифровку встреч, звонков и подкастов с разметкой по говорящим.


Модель различает до восьми собеседников – вдвое больше, чем предыдущая Streaming Sortformer компании.

Длина записи не ограничена, потому что звук обрабатывается фрагментами. Метки говорящих анонимные - модель сообщает, что speaker_Х говорил с такой-то секунды по такую-то, но не определяет, кто это.

Имена и роли участников можно задать логикой сценария в целевом приложении, связав обезличенные каналы, временные метки и личность от вывода модели с заранее определенным списком спикеров.


🟡Архитектура

Внутри 31-слойный трансформерный энкодер с RoPE. На вход подаётся моно-звук 16 кГц, мел-спектрограмма сжимается в кадры по 80 мс.

На выходе модель для каждых 10 мс выдаёт вероятность того, что говорит каждый из восьми участников, поэтому одновременная речь двух людей не мешает разметке.

Как и в Sortformer, каналы нумеруются в порядке появления голосов - первый новый голос получает первый канал. В потоковом режиме модель помнит собеседников через кэш голосов из прошлых фрагментов и очередь недавних кадров.

🟡Тесты

Главный показатель – DER, доля времени речи, размеченной с ошибкой (пропуск, ложное срабатывание или путаница говорящих). Чем ниже значение, тем лучше.


В Diarization-Bench от Voice Arena модель заняла первое место из 12 систем с DER 14,72% против 19,3% у следующей.

Остальные сравнения Nvidia провела со своей прежней моделью. При задержке 1,04 секунды DER на DIHARD III снизился с 19,60 до 13,18%, на записях встреч NOTSOFAR1 – с 22,12 до 7,70%.

На разговорах двух человек из CALLHOME в офлайн-режиме новая модель немного уступает Streaming Sortformer - 5,98% против 5,68%.

Скорость подросла - на RTX PRO 5000 при обработке пакетами по 32 записи модель размечает 865 секунд звука за секунду вычислений против 136 у предшественницы.


📌Лицензирование: OpenMDW-1.1


🟡Блогпост
🟡Модель
🟡Демо


@ai_machinelearning_big_data

#AI #ML #Diarization #Speech #Nemotron #Nvidia
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤51👏16💘6🔥5👍3
✔️ NVIDIA выпустила мультимодальную модель Nemotron 3.5 Super VL

Новинка семейства Nemotron с открытыми весами понимает текст, изображения и видео длиной до двух минут. Под капотом MoE на 120 млрд общих и 12 млрд активных параметров.

NVIDIA рассчитывает её на агентов, которые работают постоянно, следуют инструкциям, вызывают инструменты и проходят многошаговые рабочие процессы.

В зрительных задачах упор сделан на документы, т.е. распознавание текста, таблицы, графики, веб-страницы и PDF.

Рассуждения включаются и выключаются через шаблон чата, есть промежуточный режим средней глубины.


🟡 Архитектура

Языковая часть построена на гибриде слоёв Mamba-2 и трансформера со смесью экспертов, по 512 экспертов в каждом таком слое.

Картинки кодирует энкодер C-RADIO, а дополнительное ускорение генерации реализовано за счёт спекулятивного декодирования.

Одновременно опубликована сжатая версия Super VL - Nemotron 3.5 Bolt 74B-A9B.

В ней урезали число и ширину экспертов в каждом слое, поэтому параметров стало 74 млрд, а активных – 9 млрд, после чего модель доучили, чтобы вернуть качество.

Веса экспертов квантованы до 2 бит, остальные слои хранятся точнее, и в итоге Bolt умещается в 24 ГБ VRAM.


🟡Тесты

С ближайшим по размеру конкурентом Qwen3.5-122B-A10B модель идёт почти вровень.

На GPQA-Diamond она набрала 89,5 против 86,7, на SWE-bench Verified – 71,1 против 71,9.

На OSWorld-Verified, где агент работает с интерфейсом компьютера, – 51,1 против 51,5, на OCRBench v2 – 68,1 против 68,3.

Более новые Qwen3.8-Flash-Next и GLM-5.3-Flash в той же таблице обходят Nemotron на большинстве тестов, например на Terminal-Bench 2.1 у них 85,8 и 82,7 против 66,7.

Модель также доступна в OpenRouter от 15 центов за миллион входных токенов и 50 центов за миллион выходных, ModelScope и микросервисах NVIDIA NIM.

Для полной версии NVIDIA рекомендует четыре H100 или две GB200.


📌Лицензирование: OpenMDW-1.1


🟡Блогпост
🟡Веса
🟡Техотчет


@ai_machinelearning_big_data

#AI #ML #MMLM #Nemotron #NVIDIA
Please open Telegram to view this post
VIEW IN TELEGRAM
👍57❤42🔥37🤔29🎉28😁19👏18💯18🤣1
🌟 CLM-8B: открытая и быстрая модель для выбора действий агентов

Стэнфорд в сотрудничестве с NVIDIA выложили в открытый доступ первую модель класса Contrastive Language Models.

Это открытый аналог Jev, которую 15 сентября представил стартап TypeSafe AI бывшего исследователя OpenAI.

Она по входному контексту возвращает решение заданного типа с откалиброванной вероятностью и стоит 4 цента за миллион входных токенов.


CLM-8B делает то же самое и нужна агентам, которым приходится быстро принимать решения. Модель получает текущее состояние и набор возможных действий и возвращает вероятность для каждого.

Она умеет оценивать истинность утверждения, выбирать из нескольких вариантов и ставить оценку по упорядоченной шкале.

Дообученную CLM-8B можно использовать как верификатор, который выбирает лучшее из нескольких решений кодинг-агента.

Текст модель не генерирует.

🟡 Архитектура

В основе - Qwen3-8B, поверх которой обучены две небольшие проекционные головы, одна для состояния, другая - для действия.

Состояние и действия кодируются отдельно, модель сравнивает их векторы и переводит близость в вероятности. Векторы неизменных действий можно посчитать заранее и переиспользовать, поэтому в задачах с чередой решений модель отвечает быстрее.

🟡Тесты

Без дообучения CLM-8B держится на уровне Jev в задачах управления компьютером, играх и вызове инструментов и отвечает до девяти раз быстрее. С кэшированием векторов при выборе примерно из тысячи вариантов разрыв доходит до 13 раз.

В роли верификатора дообученная модель на отложенных подмножествах задач поднимает долю решённых задач на DeepSWE с 73,7% при одной попытке до 81,6%, на Terminal-Bench 2.1 с 84% до 87,6%. Jev в той же роли даёт 71,1% и 83,1%.

Для запуска нужны Linux, видеокарта NVIDIA и Qwen3-8B, развёрнутая через vLLM.



📌Лицензирование: Apache 2.0


🟡Блогпост
🟡Набор моделей
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Decision #CLM #NVIDIA #Stanford
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍96🔥64🎉63👏59❤56🤔55😁45💯44👨‍💻36
🌟 NVIDIA выпустила Nemotron 3.5 Transcribe

Nemotron 3.5 Transcribe - открытая модель транскрибации речи в текст, которая поддерживает 40 языков, переводит 31 из них и различает говорящих на 13.

Для русского языка доступны все задачи, которым обучалась модель - расшифровка, перевод, разделение речи по говорящим и смешанная речь, когда в одной записи языки перемежаются.

Модель принимает записи длиной до часа, расставляет метки времени по словам и подчиняется указаниям в запросе вроде просьбы расшифровать запись и подписать каждого говорящего.

Плюс она способна отвечать на вопросы по содержанию аудио, но это только для английского. Живой поток не умеет, только на готовые файлы.


Общих параметров 34 млрд, из которых на токен активируются около 4,3 млрд, под капотом - речевой кодировщик вместе с гибридной языковой моделью из слоёв Mamba и трансформера со смесью экспертов.

Вместе с моделью NVIDIA выложила набор данных Granary v2 на 463 тысячи часов речи для 48 языков, собранный из 16 открытых корпусов.

В сете опубликованы описания и конвейер обработки, само аудио нужно скачивать отдельно по лицензиям исходных корпусов.


🟡Тесты

В открытом рейтинге расшифровки Hugging Face модель заняла первое место среди открытых моделей со средней долей ошибок в словах 5,33% на английском, на многоязычной части вышло 4,62%, на длинных записях 10,98%.

В рейтинге Artificial Analysis у неё 2,8% ошибок, столько же у соперника, которому нужно примерно в шесть раз больше активных параметров.

На одной RTX PRO 6000 модель обработала 100 часов записей меньше чем за три минуты.


📌Лицензирование: OpenMDW-1.1


🟡Статья
🟡Веса
🟡Техотчет
🟡Датасет
🟡Демо


@ai_machinelearning_big_data

#AI #ML #ASR #Speech #Nemotron #NVIDIA
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥67🎉32❤21👍20👏17😁13🤔12💯10🤩3