Nvidia показала нейронку, позволяющую создать собственный дипфейк для видеосозвонов

Для этого Vid2Vid Cameo AI берёт вашу же фотографию и анимирует её мимикой в режиме реального времени. Разработчики обещали, что скоро он будет доступен в SDK NVIDIA Video Codec как AI Face Codec.

Мало того, что технология позволяет выглядеть на конференции в зуме безупречно даже в пижаме, такой подход примерно в 10 раз сокращает нагрузку на интернет-соединение, выдавая более качественное изображение. Интересно и то, что для создания такого Zoom-дипфейка, можно будет выбрать, какого-нибудь виртуального персонажа или даже другого человека.

#nvidia

NVIDIA поделились исходным кодом обновлённой StyleGAN3

Предыдущие версии использовались для вполне годной генерации несуществующих котов, людей, стилизации фото и других вещей. Но у них были и свои «болячки».

Например, из-за зависимости паттернов от абсолютных пиксельных координат текстура иногда казалась «приклеенной» к координатам изображения, а не поверхностям объектов. Это приводило к появлению артефактов, из-за которых можно было легко отличить сгенерированное фото от настоящего. В новых версиях это пофиксили, сделав результат генерации более естественным.

Здесь можно посмотреть больше примеров, ознакомиться с описанием и кодом: https://nvlabs.github.io/stylegan3/

#nvidia #нейросети

NVIDIA научила нейросеть анимировать 3D-модель лица на основе одного только голоса

Audio2Face может работать как с готовой записью, так и в реальном времени. Мало того, что модель создаёт реалистичную и совпадающую анимацию губ на большинстве языков. Она без проблем позволяет перенести её и на другого персонажа. Притом, не так уже важно, будет ли это модель человека или даже животного.

Компания показывала демонстрационные видео ещё весной этого года. А уже сейчас можно самому скачать и попробовать открытую бету программы: https://tprg.ru/tflT

#nvidia

​Чистая прибыль NVIDIA выросла на 84% за счёт продаж видеокарт

В компании утверждают, что этого удалось достичь благодаря игровому подразделению и подразделению дата-центров. Но мы-то с вами знаем, кто стал самым главным драйвером роста выручки.

Интересно, что при этом NVIDIA всё ещё не может удовлетворить текущий спрос на графические процессоры. Например, недавно журналист The Verge рассказал, что прождал в онлайн-очереди на RTX 3060 девять месяцев, купил её за $380 и остался доволен, ведь у перекупщиков она стоила бы не менее $700.

Давайте просто порадуемся за NVIDIA.

#nvidia

Nvidia прокачала нейросеть GauGAN, превращающую схематичные рисунки в фотореалистичные пейзажи

GauGAN2 обучили уже на 10 млн изображений, вместо 1 млн в GauGAN. И внедрили функцию перевода текста в изображения.

Го тестить: https://gaugan.org/gaugan2/

#nvidia #ии #нейросети

Принесли позалипать на вечер новое видео от Two Minute Papers, в котором они подробнее рассказали о технологии NVIDIA, способной очень реалистично анимировать речь 3D-модели по одной только аудиозаписи.

Audio2Face может работать как с готовой записью, так и в реальном времени. Мало того, что модель создаёт реалистичную и совпадающую анимацию губ на большинстве языков. Она без проблем позволяет перенести её и на другого персонажа. Притом, не так уже важно, будет ли это модель человека или даже животного.

Кому интересно, почитать подробнее и потестить ПО можно здесь: https://www.nvidia.com/en-us/omniverse/apps/audio2face/

#нейросети #nvidia

NVIDIA показали нейросеть NeRF, которая очень качественно собирает 3D-сцену всего из нескольких 2D-фотографий

Подробнее — в ролике или в блоге NVIDIA: https://blogs.nvidia.com/blog/2022/03/25/instant-nerf-research-3d-ai/

А исходники уже выложили на гитхаб: https://github.com/NVlabs/instant-ngp

#nvidia #нейросети

​Исторический момент: NVIDIA открыла исходники всех модулей ядра из своего набора проприетарных драйверов!

Код открыли под лицензиями MIT и GPLv2. Возможность сборки модулей обеспечена для архитектур x86_64 и aarch64 на системах с ядром Linux 3.10 и более новыми выпусками. В компании ожидают, что это повысит удобство работы с GPU NVIDIA в Linux-системах, упростит поставку драйверов и отладку проблем. Звучит здорово, но, как говорится, есть нюанс.

Прошивки и используемые в пространстве пользователя библиотеки, такие как стеки CUDA, OpenGL и Vulkan, пока всё ещё остаются проприетарными. И хотя сообществу дадут возможность отправки pull-запросов с исправлениями кода модулей, сначала их всё равно интегрируют в основной закрытый репозиторий. А только потом будут переносить с остальными изменениями в открытый. Плюс к этому, для участия в разработке требуется подписание соглашение о передаче компании NVIDIA имущественных прав на передаваемый код (Contributor License Agreement).

Очень интересно, связана ли эта история с ребятами из Lapsus$?

#nvidia #opensource

​В исходниках NVIDIA CUDA нашли текст «Войны и мира». Зачем он там?

Юзер реддита под ником CHDuckie заметил странный файл в папке NVIDIA CUDA — текстовый документ «warandpeace.txt», размером в 3212 КБ. И оказалось, что название файла соответствует содержанию. В нем целиком содержится роман Толстого на английском языке.

Изначально это было очень похоже на загадочную «пасхалку». Так подумали и многие реддиторы. Но на деле оказалось, текст романа выступает в роли образца для некоторых расчетов ядер ускорителей. Более того, и другие разработчики часто включают образцы данных в эталонный код, чтобы он выполнялся автономно. А вот в NVIDIA почему-то решили выбрать именно этот роман. Возможно, из-за его размера.

#nvidia

Если ещё не видели, посмотрите, что творит Nvidia!

С гиперреалистичными фотками, которые по текстовому описанию генерирует нейросеть, уже разобрались — всё понятно, никого уже этим не удивишь. А что насчёт видео?

В Nvidia решили пойти дальше и на этот раз выпустили модель для генерации динамических видео. Она генерирует видео, воспроизводящие движение объекта, изменения точки обзора камеры. И даже новый контент, возникающий с течением времени, сохраняя при этом «долгосрочную временную согласованность».

Пока конечно не супер идеально. К тому же видно, что примеры специально подобраны так, чтобы демонстрация выглядела получше. Да и качество оставляет желать лучшего — разрешение всего 128х128px. Но то ли ещё будет! Здесь можно почитать про техническую начинку, а код обещают выложить в конце лета: https://www.timothybrooks.com/tech/long-videos/

#nvidia #нейросети

С помощью нейросетей от NVIDIA теперь можно повысить качество видео с 360p до 4K прямо в браузере

Это стало возможно благодаря новому драйверу для видеокарт 30 и 40 серий. RTX Video Super Resolution масштабирует видео например, на YouTube, Twitch, Netflix. И что самое интересное — не нагружая трафик. Работает пока с Chrome и Microsoft Edge и включается в настройках драйвера.

Чуть позже доступ к технологии должны получить и обладатели видеокарт RTX 20 семейства Turing. Также в примечаниях к драйверу говорится что драйвер 531.18 обеспечит лучший игровой процесс в новых проектах с поддержкой технологии NVIDIA DLSS 3, в том числе Atomic Heart.

#нейросети #hardware #nvidia

​В Nvidia создали Voyager — бота для Minecraft c GPT-4

Voyager не играет как человек, но способен «считывать состояние игры» через API. А когда нужно, подключает GPT-4, чтобы тот сгенерировал код для достижения цели. С каждой итерацией Voyager создаёт всё больше кода для более сложных вещей.

Но самое интересное — скорость, с которой Voyager учится создавать предметы и исследовать мир. Оказалось, что с помощью GPT-4, Voyager создаёт инструменты быстрее, получает больше предметов и заходит дальше, чем другие агенты ИИ.

Говорят, если использовать всякие ChatGPT не для генерации текста, а именно так, то скоро можно автоматизировать многие рутинные офисные задачи.

#нейросети #gamedev #ии #nvidia

​​CES 2024: итоги конференции

Собрали самые любопытные презентации с топовой Hardware-конференции, где выступают NVidia, Intel, LG, Qualcomm, Samsung и другие монстры индустрии.

На картинке момент из Cyberpunk c NVIDIA DLSS и без. Это технология рендеринга с ИИ. Еще чуть-чуть – и от реальности не отличишь.

#nvidia #gamedev