🌟 NVIDIA Parakeet-tdt-0.6b-v2: ASR-модель с поддержкой временных меток.

NVIDIA представила новую модель автоматического распознавания речи (ASR) — Parakeet-tdt-0.6b-v2 c 600 млн. параметров для английского языка. Она не просто транскрибирует аудио в текст, но и распознает пунктуацию, капитализацию и временные метки с точностью до слова.

Модель устойчива к шумам и справляется даже с расшифровкой песен или чисел. Это достигнуто за счет обучения на данных, в которые включили «шумные» источники (YouTube, записи телефонных разговоров и уличные диалоги). Как отмечают авторы, RTFx-показатель равен 3380 (при батче 128), что позволяет использовать Parakeet для масштабных промышленных задач.

В основе Parakeet - гибридная архитектура. Она комбинирует скоростной кодировщик FastConformer с декодером TDT, который оптимизирован для транскрипции.

TDT - декодер, который предсказывает слова, звуки и их длительность. Вместо того чтобы проверять каждый кусочек аудиозаписи по порядку, TDT «перепрыгивает» через лишние сегменты, опираясь на прогноз времени, которое занимает текущий токен. Это сокращает вычисления, экономит время и при этом не теряется точность.

Fast Conformer — это переработанная архитектура Conformer, которая ускоряет распознавание речи за счет увеличения downsampling до 8x с помощью более легких сверток и упрощенных блоков, и замены стандартного внимания на комбинацию локального контекста и одного глобального токена.

Обучение Parakeet проводилось в 2 этапа: сначала на 128 GPU A100 с использованием псевдоразмеченных данных, а затем — на 500 часах человеческой транскрипции. Часть обучающего датасета пока недоступна публично, их NVIDIA обещает открыть после конференции Interspeech 2025.

Результаты на бенчмарке Open ASR впечатляют: средняя ошибка (WER) составляет всего 6.05% при greedy decoding без внешней языковой модели. Для сравнения, на чистом аудио из LibriSpeech WER составляет 1.69%, а сильном зашумлении (SNR 5) показатель не превышает 8.39%. В телефонии, где аудио сжимается через μ-law, потери в точности минимальны — всего 4.1%. По этим результатам, Parakeet-tdt-0.6b-v2 может стать универсальным инструментом для колл-центров или мобильных приложений.

Модель поддерживает форматы .wav и .flac с частотой 16 кГц и требует всего 2 ГБ оперативной памяти. Для интеграции разработчикам понадобится фреймворк NeMo от NVIDIA, он упрощает настройку под конкретные задачи.


📌Лицензирование: CC-BY-4.0 License.


🟡Модель
🟡Demo


@ai_machinelearning_big_data

#AI #ML #ASR #Parakeet #NVIDIA

🔥 NVIDIA научили гуманоидных роботов двигаться как люди — прямо из симуляции в реальный мир !

Джим Фан (Директор по ИИ в NVIDIA) рассказал, что их команда добилась впечатляющего результата: роботы научились ходить и ориентироваться в пространстве без обучения в реальном мире.

Всё обучение прошло в симуляции, и после этого роботы сразу были отправлены на выполнение задач в открытом пространстве.

🌟 Что особенно впечатляет:

➡️ Обучение, которое заняло бы 10 лет в реальности, было сжато всего в 2 часа симуляции.

✔️ Как это возможно:

- Нет физических ограничений. В симуляции робот может падать и вставать хоть миллион раз без поломки. В реальности он бы ломался.

- Ускорение времени. В симуляции нет ограничений «реального времени» — можно крутить процесс с любой скоростью, насколько позволяет железо.

- Параллельное обучение. Можно сразу запускать много виртуальных роботов и собирать опыт с них всех одновременно.

Для обучения не понадобились гигантские модели -всего 1.5 миллиона параметров (не миллиардов!) хватило, чтобы смоделировать «подсознательную механику» движения человеческого тела.

Очень мощный шаг для развития embodied AI и робототехники 🚀

➡️ Полное выступление

@ai_machinelearning_big_data

#ai #robots #nvidia #future

📌 Как NVIDIA учит роботов жить в реальном мире через симуляции и нейросети.

Представьте: вы приходите домой, а робот уже накрыл ужин при свечах и убрал беспорядок после вчерашней вечеринки. И вы не можете отличить, человек это сделал или машина. Это «физический тест Тьюринга» — новая веха в робототехнике, о которой в своем выступлении рассказал Джим Фан, директор по робототехнике в NVIDIA.

Но почему до сих пор ни один робот не справляется с банановой кожурой на полу, а завтрак с хлопьями получается лишь на твердую тройку?

Проблема - в данных. Если ИИ для языка «питается» текстами из интернета, то роботам нужны данные из реального мира: сигналы управления, физические параметры, обратная связь от движений. Собрать их сложно и дорого. В NVIDIA используют телеметрию: операторы в VR-шлемах управляют роботами, записывая каждое действие. Но это медленно, а масштабировать такой сбор данных почти невозможно.

«Это как ископаемое топливо, только хуже — вы сжигаете человеко-часы», — говорит Фан.

Очевидное решение — использовать симуляции. NVIDIA запустила проект Dr. Eureka, где роботов учат в виртуальных мирах. Например, робособака учится балансировать на мяче, а гуманоид осваивает ходьбу за два часа симуляции вместо десяти лет проб и ошибок. Для этого запускают 10 000 параллельных сред с разной гравитацией, трением и весом (это называют «рандомизацией домена»). Если нейросеть справляется в миллионе вариаций, она справится и в реальности.

Но симуляции, к сожалению, не панацея. Традиционные методы требуют ручной настройки каждого объекта. Тут на помощь приходят генеративные модели: Stable Diffusion создает текстуры, ИИ генерирует 3D-сцены, а язык XML пишется через запросы к нейросети. Так появился фреймворк Robocasa — «цифровой двойник» реального мира, где всё, кроме робота, создано алгоритмами. Даже видео с роботом, играющим на укулеле, — фейк, сгенерированный видео-диффузионной моделью.

Ключевой прорыв - модель GROOT, которую NVIDIA открыла для сообщества. Она преобразует изображения и команды в движения, управляя роботом «из коробки». GROOT N1 ловко наливает шампанское или сортирует детали на конвейере. А все благодаря компактной архитектуре, всего 1.5 млн параметров, что меньше, чем у многих мобильных приложений.

Что дальше? Фан говорит о «физическом API» — слое, который превратит роботов в универсальных исполнителей. Представьте: вы запрашиваете навык «приготовить ужин от Мишлен» через облако, и робот делает это без программирования. Или роботы-курьеры сами перестраивают логистику, общаясь через язык действий.

«Все, что движется, станет автономным», — цитирует Фан CEO NVIDIA Дженсена Хуанга.

Главное препятствие кроется в этапе перехода от «цифровых близнецов» к нейросетевым симуляциям («цифровым кочевникам»), которые смогут предсказывать миллионы сценариев. Тут уже не хватит классических методов - нужны гибридные системы, где физика сочетается с генеративными моделями. И судя по темпам (за год нейросети научились реалистично имитировать жидкости и деформации), будущее ближе, чем кажется.

Так когда же мы пройдем физический тест Тьюринга? Возможно, это случится в один из обычных вторников — без анонсов и громких презентаций, как это произошло с языковыми моделями. И тогда роботы станут невидимым фоном жизни, как электричество или Wi-Fi. А мы очень быстро забудем, как жили без них.

🔜 Посмотреть все доклады с мероприятия AI Ascent 2025 на Youtube.


@ai_machinelearning_big_data

#AI #ML #Robotics #AIAscent2025 #NVIDIA

🖥 NVIDIA снова удивила рынок — результаты сильно превзошли ожидания аналитиков.

📈 За квартал общая выручка выросла на 69%, а продажи в дата-центрах (включая AI-чипы и инфраструктуру) — на 73%.

🔥 Главная причина? Очевидна: взрывной спрос на GPU для обучения и инференса ИИ.
Мир строит LLM — и делает это на железе NVIDIA.

📌Финансовые итоги за квартал:
▪ Выручка: $44.1 млрд (+69% год к году)
▪ Earnings per share: $0.96 (прогноз был $0.93)
▪ Доход от дата-центров: $39 млрд (+73% YoY)
▪ Доход от гейминга: $3.8 млрд (+48% по сравнению с прошлым кварталом)

📌 Прибыль vs Прогноз
Фактический показатель прибыли на акцию (EPS) у NVIDIA составил $0.96, что на 3,23% выше прогнозируемых $0.93.
Также выручка превысила ожидания на $800 млн, что подчёркивает способность компании точно попадать в рыночные тренды и сохранять уверенное финансовое здоровье.

🔥 Комментарии излишни — рынок ИИ буквально катапультирует NVIDIA на новый уровень. GPU стали не просто новым золотом, а инфраструктурой будущего.

Пока другие корпорации режут бюджеты и занижают прогнозы, NVIDIA штампует рекорды — квартал за кварталом.

@ai_machinelearning_big_data


#NVIDIA

✔️ Llama Nemotron Nano VL от NVIDIA — один из лучших OCR инструментов для работы с документами.

Мультимодальная модель от NVIDIA уверенно занимает первое место на OCRBench v2, показав лучшую точность парсинга документов среди всех моделей.

📄 Что это такое:
Llama Nemotron Nano VL — лёгкая vision-language модель для интеллектуальной обработки документов (IDP), которая:
• разбирает PDF
• вытаскивает таблицы
• парсит графики и диаграммы
• работает на одной GPU

🔍 Заточена под:
– Вопрос-ответ по документам
– Извлечение таблиц
– Анализ графиков
– Понимание диаграмм и дешбордов

🧠 Под капотом — vision-энкодер C-RADIO v2 (distilled multi-teacher трансформер), который справляется даже с визуальным шумом и высоким разрешением.

📊 OCRBench v2 — крупнейший двухъязычный бенчмарк для визуального анализа текста, и именно NVIDIA Nano VL показывает лучший результат.

🟡Hf
🟡 Подробнее

@ai_machinelearning_big_data

#Nemotron #NVIDIA

🏆 NVIDIA Parakeet V2 возглавила рейтинг ASR-моделей на Hugging Face

Новая модель Parakeet-TDT-0.6B-V2 достигла рекордной точности распознавания речи на Open ASR Leaderboard от Hugging Face — 6.05 на Word Error Rate.

🦜 Parakeet V2 выводит автоматическое распознавание речи (ASR) на новый уровень:

⚡ Молниеносный инференс — RTFx 3386 (в 50 раз быстрее аналогов)
🔍 Поддержка необычных сценариев:
• Распознавание песен в текст (song-to-lyrics)
• Форматирование чисел и временных меток
• Высокоточная транскрибация

📌 Лицензирование: CC-BY-4.0

🔗 Leaderboard: huggingface.co/spaces/hf-audio/open_asr_leaderboard
🔗 Демо: huggingface.co/nvidia/parakeet-tdt-0.6b-v2
🔗 Попробовать: build.nvidia.com/explore/speech

@ai_machinelearning_big_data


#NVIDIA #ASR #SpeechRecognition #Parakeet #AIaudio

🌟 NVIDIA cuOpt: GPU-решатель для оптимизации решений.

NVIDIA опубликовала в открытом доступе свой проект cuOpt. Это набор инструментов оптимизации, который использует ресурсы и возможности GPU для решения сложных задач линейного программирования, маршрутизации и логистики.

cuOpt помогает находить эффективные решения для проблем с миллионами переменных, где традиционные методы терпят крах., превращая «нерешаемые» задачи в реальные решения, без жертвования масштабом или скоростью. Это, своего рода, «турбокомпрессоре» для задач, где время и точность критически важны, от доставки товаров до расписаний производства.

cuOpt состоит из C++-движка и API (Python, C и другие), которые работают как обертки, которые дают возможность гибко интегрировать библиотеку в разные проекты.

Для задач маршрутизаций (TSP, VRP, PDP) cuOpt генерирует начальные решения, а затем улучшает их итеративно, используя эвристические алгоритмы. Это не «лобовое» вычисление всех вариантов, а умный поиск, который экономит ресурсы и время.

Методы работы с линейным программированием (LP) и смешанными целочисленными задачами (MILP) тоже уникальны. Для LP применяется PDLP — алгоритм первого порядка, который использует градиентный спуск и работает на GPU, альтернативно запускаясь на CPU с симплекс-методом.

Смешанное целочисленное программирование - это метод математической оптимизации, позволяющий решать задачи с использованием смеси непрерывных переменных (которые могут иметь любое значение, включая десятичные и дробные), дискретных переменных и двоичных переменных.

В MILP немного сложнее: на GPU выполняются эвристики для поиска допустимых решений (локальный поиск, «feasibility pump»), а CPU занимается ветвлениями и границами, улучшая оценку. Решения между GPU и CPU обмениваются в реальном времени, создавая гибридную систему.

▶️ NVIDIA cuOpt предлагает несколько вариантов развертывания, адаптированных под разные задачи: pip, conda или готовый контейнер Docker / NSG.

Еще поддерживаются (с минимальным рефакторингом) инструменты AMPL и PuLP, с помощью которых сценарии использования cuOpt значительно расширяются.

В репозитории проекта разработчики собрали примеры и Jupyter-ноутбуки, которые можно запустить локально или в облачных сервисах: Google Colab (с выбором GPU-среды) или NVIDIA Launchable.


📌 Лицензирование: Apache 2.0 License.


🟡Страница проекта
🟡Документация
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #DS #NVIDIA #CuOPT

🖥 Nvidia почти достигла рыночной капитализации в 4 триллиона долларов.

Во времена золотой лихорадки богатели продавцы лопат, а не старатели.
Сегодня тот же принцип работает в ИИ: NVIDIA — продавец лопат XXI века 🛠️

• Золотоискатели-2025 — стартапы и корпорации, обучающие LLM, строящие автономных агентов и генеративные сервисы.
• Лопаты — GPU серии A/H, NVLink, CUDA-стек, DGX-сервера и сетевые ускорители.
• Магазин инструментов — собственные облака NVIDIA и партнёрские дата-центры.

Пока одни ищут «золото» в данных, NVIDIA продаёт каждому из них новые лопаты — и зарабатывает на каждом.

💰 Если бы вы вложили $10,000 в Nvidia в 2010… сейчас у вас было бы $4,400,000.


@ai_machinelearning_big_data

#ai #ml #Nvidia #market

#AI #GPU #NVIDIA #Инфраструктура

🖥 Дженсен Хуанг: США должны продавать чипы даже Китаю — это усилит наше лидерство в AI

Глава NVIDIA объяснил, почему экспорт AI-чипов — это не слабость, а стратегия:

🗣 «Половина AI-разработчиков в мире — китайцы. Пусть они строят свои системы на нашей технологии.»

💡 Что он имеет в виду:

— Если весь мир (включая Китай) работает на американских чипах, платформах и фреймворках,
— США получают техническое и инфраструктурное преимущество,
— А значит — долгосрочное лидерство в AI, даже если некоторые страны развивают собственные модели.

🔍 А как же риски? Военные, шпионские?

> «Они не будут строить военные системы на чужих чипах. Просто не могут себе это позволить.»

Технологии, от которых зависит твой конкурент— это не оружие. Это рычаг влияния.

И чем больше стран завязаны на американском стеке — тем выше шансы, что США останутся в центре мировой AI-инфраструктуры.

Еще из интересного, после того как MIT выпустили исследование о том, что ИИ якобы снижает когнитивные способности человека, Хуанг в своём стиле — дал "жесткий" ответ:

> “Я не читал это исследование, лол”
> “Я каждый день пользуюсь ИИ — и мои когнитивные навыки только растут”

▪ Критическое мышление никто не отменял
> “Я не принимаю ответ как есть — я его анализирую, критикую, уточняю”
> “Такой подход и развивает мышлени

• Полное интервью Дженсена

@ai_machinelearning_big_data

#ai #Ml #nvidia

🧠 Как «вклеить» объект в картинку так, чтобы он выглядел естественно?

Это одна из самых сложных задач в семантической генерации:
🔸 нужно сохранить структуру сцены
🔸 вставить объект по текстовому описанию
🔸 и найти уместное место, а не просто налепить поверх

Большинство моделей с этим не справляются — объект добавляется не к месту или портит фон.

Новый метод Add-it от NVIDIA решает эту задачу без обучения модели.

Он расширяет механизм внимания в диффузионных моделях, чтобы учитывать сразу три источника:

1. Оригинальное изображение
2. Текстовый промпт
3. Промежуточную сгенерированную картинку

📌 Такой подход позволяет:
– сохранить геометрию сцены
– встроить объект туда, где он действительно мог бы быть
– не терять мелкие детали и текстуры

📊 Результаты:
– Add-it без дообучения обходит supervised‑модели
– На новом бенчмарке Additing Affordance показывает SOTA результат по «естественности размещения»
– В слепых тестах люди выбирают его в 80% случаев
– Улучшает метрики качества генерации

🟠Github: https://github.com/NVlabs/addit
🟠Demo: https://huggingface.co/spaces/nvidia/addit
🟠Paper: https://arxiv.org/abs/2411.07232
🟠Project: https://research.nvidia.com/labs/par/addit/

@ai_machinelearning_big_data


#NVIDIA #Diffusion #Addit #StableDiffusion #AIgen #ControllableGeneration

🐼 Pandas тормозит на больших данных?

NVIDIA показала, как ускорить его в 40 раз — без переписывания кода.

Команда NVIDIA провела эксперимент с 18 миллионами строк данных с фондовых рынков: они выполнили типичный анализ данных с помощью pandas на CPU, а затем тоже самое — на GPU, используя cudf.pandas.

Для примеры были взяты:
📉 Скользящие средние (50D и 200D)
📅 Недельная статистика закрытия рынков
🧊 В общей сложности ~18M строк

Результат впечатляет : удалось добиться**ускорения обработки данных в 20–40 раз

Код скрипта не менялся вообще — тот же pandas, но на GPU.

Это один из примеров, где ускорение достигается без переписывания логики кода.

🟡 Потестить самому можно в Colab
🟡 Другие примеры с кодом — здесь

@ai_machinelearning_big_data


#datascience #ml #nvidia #gpu #pandas #python