Nvidia показала, как будут выглядеть игры будущего 🚀

Компания представила свой вариант технологии создания NPC на основе искусственного интеллекта 🧠.

☁️ Производитель показал двухминутное демо, где игрок взаимодействует с неигровым персонажем. Для создания умных NPC используется несколько ИИ-моделей для генерации голоса, текста и анимации, объединенных в набор под названием Avatar Cloud Engine (ACE). Отдельные инструменты из набора ACE будут использованы в грядущем S.T.A.L.K.E.R. Heart of Chernobyl.

🤔 Пару дней назад мы рассказывали о разработке Replica Studios, которая вполне может стать конкурентом Nvidia: там игрок тоже взаимодействует с умным NPC через микрофон, а анимация не уступает по качеству. Сделано все также на Unreal Engine 5.

📆 Nvidia делает большую ставку на генеративный ИИ и недавно представила последние разработки в этой области. Еще больше обещают показать в августе.

🔫 Guanaco — новый убийца ChatGPT с открытым кодом

Исследователи из Вашингтонского университета показали Guanaco — очередной чат-бот, названный в честь животного из семейства верблюдовых, и построенный на языковой модели LLaMA 🐪.

🔎 Создатели утверждают, что Guanaco практически не уступает по производительности ChatGPT, но обучается всего за день. Все благодаря новому методу файн-тюнинга языковой модели под названием QLoRA — он позволяет снизить количество требуемой GPU-памяти с 780 Гб до 48 Гб для модели с 65 млрд параметров (для самой простой версии Guanaco достаточно 5 Гб).

⚰️ Со стороны может сложиться впечатление, что дорогие в обучении модели доживают последние дни и будущее — за Guanaco, Alpaca и прочими Dolly, которые обучают за копейки на информации, сгенерированной GPT.

👎 С этим в корне не согласны в Калифорнийском университете, где провели исследование, чтобы сравнить возможности моделей типа Alpaca и GPT-4. Сначала они пришли к тому же выводу — модели с открытым кодом при правильном обучении сравнимы по возможностям с GPT. Но после дополнительных тестов исследователи изменили свое мнение: Dolly и им подобные способны только имитировать «дорогие» модели. Грубо говоря, Dolly может убедительно справиться с задачей, для которой уже видела пример решения, но в остальных случаях будет серьезно проигрывать продвинутым моделям.

Так что, миллионы на обучение GPT все-таки тратят не впустую.

Google выпустил модель, которая может синтезировать диалоги 👨‍🦰💬 👽

SoundStorm отличается высоким качеством/консистентностью генераций и скоростью работы (создание 30-секундного аудио занимает 0,5 секунды) и дает высокую степень контроля над синтезированным фрагментом 🕹.

🗣 Например, модель позволяет контролировать, кто из «участников» диалога, какой текст произносит, а также генерировать аудио, используя 3-секундный аудиопромпт или без него.

▶️ С помощью SoundStorm любое текстовое интервью можно превратить в подкаст.

🐾 Авторы модели признают, что SoundStorm могут эффективно использовать мошенники, в том числе для того, чтобы обходить биометрическую защиту. Разработчики отмечают, что специальное ПО может определить синтетическое аудио, сгенерированное SoundStorm, но что делать, если под рукой такой программы нет, не уточняют.

✍️ Google Messenger научился писать сообщения за пользователя

✨ В мессенджере появилась функция Magic Compose, которая с помощью ИИ генерирурет несколько вариантов сообщения.

На старте Magic Compose может создать сообщения в семи стилях, в том числе «деловом» (Formal), «на расслабоне» (Chill) и «в духе Шекспира» (Shakespeare) ✏️.

Функция находится на этапе бета-версии и доступна ограниченному количеству пользователей. Кроме того, если вы печетесь о своей безопасности, то Magic Compose, скорее всего, не для вас: чтобы сгенерировать подходящее сообщение, мессенджер отсылает на сервер Google последние 20 сообщений пользователя. Вместе со всеми ссылками, но без прикрепленных файлов 😱.

Разработчики обещают, что потом сообщения безвозвратно удаляют с сервера 😮‍💨.

Недавно похожий на Magic Compose функционал показал Microsoft в виртуальной клавиатуре SwiftKey.

⚠️ Глава OpenAI подписал заявление об угрозе ИИ для человечества

В коротком заявлении говорится: «Снизить риски истребления человечества искусственным интеллектом, должно стать глобальным приоритетом, сравнимым с другими проблемами, затрагивающими все общество, такими как пандемия и ядерная война» ☝️.

Кроме Сэма Альтман его подписали, в частности, глава Google DeepMind Демис Хассабис, а также ИИ-исследователи и лауреаты Премии Тьюринга Джеффри Хинтон и Иошуа Бенджио.

Хинтон недавно высказывал свои опасения по поводу ИИ, после того как уволился из Google после 10 лет работы в компании. Еще один обладатель премии Тьюринга за исследования в сфере ИИ — Ян Лекун — текст не подписал 🤷‍♀️.

⏲ В конце марта было опубликовано письмо, подписанное в том числе Илоном Маском и Стивом Возняком, в котором предлагалось приостановить разработку новых ИИ-моделей минимум на полгода. За этот период подписанты предлагали оценить последствия и возможные риски использования моделей более мощных, чем уже вышедшая GPT-4.

🥊 У Альтмана и Маска уже давно непростые отношения, но оба активно выступают за необходимость государственного регулировании ИИ. Правда, письма все равно подписали разные.

🤖 На ЦИПР обсудили будущее метавселенных, NFT и нейросетей

31 мая в рамках конференции прошла сессия на тему «Метавселенная, NFT и ChatGPT. Реальность или только разговоры?».

👥 В ней приняли участие руководитель Цифровой лаборатории Газпром-медиа Эдуард Маас, а также руководитель направления «VR/AR, технологии геймификации» ИТ-кластера «Сколково» Алексей Каленчук, художник Миша Most, основатель Metaverse-агентства Maff Алексей Помыканов, руководитель Sber AR/VR Lab Максим Козлов, глава направления NFT «Вконтакте» Иван Бойченко, гендиректор телеканала RTVI Ольга Пивень и менеджер по продажам «Студии Артемия Лебедева» Никита Деменков.

☝️ Спикеры обсудили действительно ли «мертвы» метавселенные и как им могут помочь генеративные нейросети; зачем запускать NFT-проекты в условиях сокращения рынка; как продюсировать проекты с помощью AGC (AI Generated Content) и почему ИИ не отберет работу у людей.

▶️ Полную версию сессии можно посмотреть здесь.

🫡 У Nvidia появился Нейроланджело для генерации 3D из 2D

Модель Neuralangelo может генерировать детализированные 3D-сцены из 2D — например, из видео, снятого на iPhone. Ассеты потом можно выгрузить для дальнейшего редактирования ✂️.

Аналоги Neuralangelo мы видели не один раз, но Nvidia напирает именно на детализированность — модель переносит в 3D даже самые сложные узоры и текстуры физических предметов 🗿.

🚚 На видео выше показано как алгоритм одинаково качественно справляется с мраморной статуей Давида работы Микеланджело и обычным грузовиком. В зависимости от сложности предмета на создание 3D уходит около двух часов.

📆 Полноценная презентация нейросети состоится в конце июня на конференции в Ванкувере, посвященной компьютерному зрению и распознаванию объектов.

🎧 ИИ-приложение, которое легко замиксует Михаила Круга с Daft Punk

🎵 Mixboard разработали в Технологическом институте Джорджии в США. С помощью iOS-программы пользователи без музыкального образования могут создать «трек своей мечты», обещают создатели.

🎙 Чтобы сделать мэшап можно выбрать до четырех треков из библиотеки Spotify или Mixboard. Песни нужно будет распределить по категориям «вокал», «бас», «ударные», «аккорды», чтобы ИИ знал, из какого трека, какую часть взять.

🗣 Алгоритм сам выберет нужный темп, тональность и отредактирует отдельные семплы, чтобы потом объединить их в трек. ИИ Mixboard обучали на музыкальных библиотеках с открытым исходным кодом.

🆘 Разработчики пока не выпускают приложение в открытый доступ, в том числе из-за опасений связанных с копирайтом.

🥽 Apple показал Vision Pro — XR-гарнитуру за $3500 с собственной ОС

5 июня на конференции Worldwide Developers Conference Apple наконец-то показал гарнитуру смешанной реальности Vision Pro. Вот что это за зверь:

📸 Гарнитура оснащена двумя 4K микро-OLED дисплеями собственной разработки, которые отображают 23 млн пикселей. В устройство также встроена 3D-камера (она может записывать иммерсивные видео в формате VR-180) и TrueDepth-камера. Всего камер 12. Также в Vision Pro есть LIDAR и инфракрасные лампы, чтобы устройство могло считывать движения пользователя в темноте;

🏋️ Vision Pro поддерживает AR и VR-приложения и работает на отдельной операционной системе visionOS. Вес устройства — менее 500 г;

🕹 Для взаимодействия с Vision Pro не нужны отдельные контроллеры. Гарнитура управляется взглядом, голосом и жестами. Для безопасности в Vision Pro реализована новая система Optic ID, которая позволяет разблокировать устройство с помощью сканирования радужки глаз;

🛞 Устройство переключается между AR и VR колесиком как у Apple Watch;

⏱ Vision Pro может работать от сети или от внешнего аккумулятора, который держит заряд около двух часов;

📱 Для Vision Pro запустят отдельную версию AppStore;

🤔 Журналистам уже удалось протестировать гарнитуру и общее мнение можно описать так: действительно впечатляет, но пока не ясно, какое у устройства будет практическое применение;

👑 Apple явно не рассчитывает, что Vision Pro станет бестселлером как iPhone: устройство будет стоить $3,499 — гораздо дороже, чем цена любых конкурентов (анонсированная недавно Quest 3 стоит $499). Продажи Vision Pro стартуют в начале 2024 года. Полное видео с анонсом устройства можно посмотреть здесь.