Google выпустил модель, которая может синтезировать диалоги 👨‍🦰💬 👽

SoundStorm отличается высоким качеством/консистентностью генераций и скоростью работы (создание 30-секундного аудио занимает 0,5 секунды) и дает высокую степень контроля над синтезированным фрагментом 🕹.

🗣 Например, модель позволяет контролировать, кто из «участников» диалога, какой текст произносит, а также генерировать аудио, используя 3-секундный аудиопромпт или без него.

▶️ С помощью SoundStorm любое текстовое интервью можно превратить в подкаст.

🐾 Авторы модели признают, что SoundStorm могут эффективно использовать мошенники, в том числе для того, чтобы обходить биометрическую защиту. Разработчики отмечают, что специальное ПО может определить синтетическое аудио, сгенерированное SoundStorm, но что делать, если под рукой такой программы нет, не уточняют.

✍️ Google Messenger научился писать сообщения за пользователя

✨ В мессенджере появилась функция Magic Compose, которая с помощью ИИ генерирурет несколько вариантов сообщения.

На старте Magic Compose может создать сообщения в семи стилях, в том числе «деловом» (Formal), «на расслабоне» (Chill) и «в духе Шекспира» (Shakespeare) ✏️.

Функция находится на этапе бета-версии и доступна ограниченному количеству пользователей. Кроме того, если вы печетесь о своей безопасности, то Magic Compose, скорее всего, не для вас: чтобы сгенерировать подходящее сообщение, мессенджер отсылает на сервер Google последние 20 сообщений пользователя. Вместе со всеми ссылками, но без прикрепленных файлов 😱.

Разработчики обещают, что потом сообщения безвозвратно удаляют с сервера 😮‍💨.

Недавно похожий на Magic Compose функционал показал Microsoft в виртуальной клавиатуре SwiftKey.

⚠️ Глава OpenAI подписал заявление об угрозе ИИ для человечества

В коротком заявлении говорится: «Снизить риски истребления человечества искусственным интеллектом, должно стать глобальным приоритетом, сравнимым с другими проблемами, затрагивающими все общество, такими как пандемия и ядерная война» ☝️.

Кроме Сэма Альтман его подписали, в частности, глава Google DeepMind Демис Хассабис, а также ИИ-исследователи и лауреаты Премии Тьюринга Джеффри Хинтон и Иошуа Бенджио.

Хинтон недавно высказывал свои опасения по поводу ИИ, после того как уволился из Google после 10 лет работы в компании. Еще один обладатель премии Тьюринга за исследования в сфере ИИ — Ян Лекун — текст не подписал 🤷‍♀️.

⏲ В конце марта было опубликовано письмо, подписанное в том числе Илоном Маском и Стивом Возняком, в котором предлагалось приостановить разработку новых ИИ-моделей минимум на полгода. За этот период подписанты предлагали оценить последствия и возможные риски использования моделей более мощных, чем уже вышедшая GPT-4.

🥊 У Альтмана и Маска уже давно непростые отношения, но оба активно выступают за необходимость государственного регулировании ИИ. Правда, письма все равно подписали разные.

🤖 На ЦИПР обсудили будущее метавселенных, NFT и нейросетей

31 мая в рамках конференции прошла сессия на тему «Метавселенная, NFT и ChatGPT. Реальность или только разговоры?».

👥 В ней приняли участие руководитель Цифровой лаборатории Газпром-медиа Эдуард Маас, а также руководитель направления «VR/AR, технологии геймификации» ИТ-кластера «Сколково» Алексей Каленчук, художник Миша Most, основатель Metaverse-агентства Maff Алексей Помыканов, руководитель Sber AR/VR Lab Максим Козлов, глава направления NFT «Вконтакте» Иван Бойченко, гендиректор телеканала RTVI Ольга Пивень и менеджер по продажам «Студии Артемия Лебедева» Никита Деменков.

☝️ Спикеры обсудили действительно ли «мертвы» метавселенные и как им могут помочь генеративные нейросети; зачем запускать NFT-проекты в условиях сокращения рынка; как продюсировать проекты с помощью AGC (AI Generated Content) и почему ИИ не отберет работу у людей.

▶️ Полную версию сессии можно посмотреть здесь.

🫡 У Nvidia появился Нейроланджело для генерации 3D из 2D

Модель Neuralangelo может генерировать детализированные 3D-сцены из 2D — например, из видео, снятого на iPhone. Ассеты потом можно выгрузить для дальнейшего редактирования ✂️.

Аналоги Neuralangelo мы видели не один раз, но Nvidia напирает именно на детализированность — модель переносит в 3D даже самые сложные узоры и текстуры физических предметов 🗿.

🚚 На видео выше показано как алгоритм одинаково качественно справляется с мраморной статуей Давида работы Микеланджело и обычным грузовиком. В зависимости от сложности предмета на создание 3D уходит около двух часов.

📆 Полноценная презентация нейросети состоится в конце июня на конференции в Ванкувере, посвященной компьютерному зрению и распознаванию объектов.

🎧 ИИ-приложение, которое легко замиксует Михаила Круга с Daft Punk

🎵 Mixboard разработали в Технологическом институте Джорджии в США. С помощью iOS-программы пользователи без музыкального образования могут создать «трек своей мечты», обещают создатели.

🎙 Чтобы сделать мэшап можно выбрать до четырех треков из библиотеки Spotify или Mixboard. Песни нужно будет распределить по категориям «вокал», «бас», «ударные», «аккорды», чтобы ИИ знал, из какого трека, какую часть взять.

🗣 Алгоритм сам выберет нужный темп, тональность и отредактирует отдельные семплы, чтобы потом объединить их в трек. ИИ Mixboard обучали на музыкальных библиотеках с открытым исходным кодом.

🆘 Разработчики пока не выпускают приложение в открытый доступ, в том числе из-за опасений связанных с копирайтом.

🥽 Apple показал Vision Pro — XR-гарнитуру за $3500 с собственной ОС

5 июня на конференции Worldwide Developers Conference Apple наконец-то показал гарнитуру смешанной реальности Vision Pro. Вот что это за зверь:

📸 Гарнитура оснащена двумя 4K микро-OLED дисплеями собственной разработки, которые отображают 23 млн пикселей. В устройство также встроена 3D-камера (она может записывать иммерсивные видео в формате VR-180) и TrueDepth-камера. Всего камер 12. Также в Vision Pro есть LIDAR и инфракрасные лампы, чтобы устройство могло считывать движения пользователя в темноте;

🏋️ Vision Pro поддерживает AR и VR-приложения и работает на отдельной операционной системе visionOS. Вес устройства — менее 500 г;

🕹 Для взаимодействия с Vision Pro не нужны отдельные контроллеры. Гарнитура управляется взглядом, голосом и жестами. Для безопасности в Vision Pro реализована новая система Optic ID, которая позволяет разблокировать устройство с помощью сканирования радужки глаз;

🛞 Устройство переключается между AR и VR колесиком как у Apple Watch;

⏱ Vision Pro может работать от сети или от внешнего аккумулятора, который держит заряд около двух часов;

📱 Для Vision Pro запустят отдельную версию AppStore;

🤔 Журналистам уже удалось протестировать гарнитуру и общее мнение можно описать так: действительно впечатляет, но пока не ясно, какое у устройства будет практическое применение;

👑 Apple явно не рассчитывает, что Vision Pro станет бестселлером как iPhone: устройство будет стоить $3,499 — гораздо дороже, чем цена любых конкурентов (анонсированная недавно Quest 3 стоит $499). Продажи Vision Pro стартуют в начале 2024 года. Полное видео с анонсом устройства можно посмотреть здесь.

🎦 ИИ снял 12-минутную короткометражку про застрявшую во льдах экспедицию

Над The Frost работала видеопродакшн-компания Waymark из Детройта. Каждый кадр в короткометражке сгенерирован и доработан нейросетью 🔨.

Мини-фильм делали с помощью Dall-E 2 и сервиса D-ID. Последний использовали для анимации. Создатели говорят, что не стремились к реалистичности картинки, а решили использовать «уникальный стиль» Dall-E 🤩.

The Frost больше напоминает стилизованные кат-сцены, которые часто используют в видеоиграх. Зато, в отличие от других подобных примеров, The Frost смотрится как цельное произведение, а не набор генераций, склеенных вместе ✂️.

Waymark уже планируют сиквел, но хотят делать его на более современном «движке» 🔩.

Посмотреть полную версию The Frost можно здесь.