Посмотрите, как Midjourney и GEN-2 работают вместе 🤝

Идея простая: Midjourney генерирует картинки, а GEN-2 их анимирует.

Завораживающий ролик выложил пользователь Creative.Edge в соцсети X, ранее известной как Twitter 🤦‍♀️.

Возможность анимировать загруженные пользователем статичные изображения появилась в GEN-2 совсем недавно. Потестировать может любой, но понадобится регистрация 📄.

📸 Фотокамера со встроенной Stable Diffusion

Продакт дизайнер Snapchat Кайл Гудрич показал DreamGenerator — прототип фотоаппарата с интегрированной нейросетью Stable Diffusion в связке с ControlNet 🔗.

Для удобства пользователя в DreamGenerator есть 30 промптов-пресетов (ретро, сказка, зомби и т. д.), которые помогают быстро отредактировать только что сделанное фото 🖼.

🫰 Гудрич говорит, что его целью было максимально упростить работу с нейросетью и текстовыми подсказками, поэтому о технической начинке камеры он думал в последнюю очередь.

Коммерческий релиз камеры Гудрич не планирует.

🌍 Похожую на DreamGenerator камеру уже показывали весной. Paragraphica тоже работает на Stable Diffusion, но сгенерированные фото привязаны к местонахождению пользователя, которое девайс самостоятельно геолоцирует.

Гигантская Барби вышла из коробки в Дубае

🏛 Ролик снят рядом с Бурдж-Халифа, самым высоким зданием в мире. В глазах зрителя Барби не сильно уступает зданию по высоте. Внешний вид Барби — полосатый купальник, прическа, солнечные очки — очень похож на то, как выглядела самая 1-я кукла этого бренда в 1959 году🩱.

Видео создало креативное агентство Eye Studio — естественно, к мировой премьере фильма про Барби. За 4 дня его посмотрели 3 млн раз. Хотя зрители разошлись в оценках — многие пишут, что словили бы сердечный приступ, увидев такое в реальной жизни😱.

Как Spotify собирается внедрять ИИ в сервис

Планами на ИИ-будущее крупнейшего музыкального стриминга поделился СЕО Spotify Дэниэль Эк на звонке с инвесторами. Вот что он рассказал:

✍️ Spotify запустит саммарайзинг подкастов. По задумке — слушателям так будет легче знакомиться с новыми подкастами, что приведет только к усилению взаимодействия (а не к отказу от подкаста в пользу саммари).

🔊 Аудиорекламу будет генерировать ИИ. Рекламодатели смогут запускать множество разных вариантов объявлений и тестировать их в рекламной сети Spotify.

📲 Еще Дэниэль Эк пообещал более активно использовать ИИ для более глубокой персонализации всего сервиса — тут пока без конкретики.

У Spotify уже есть ИИ-продукт, который в компании считают успешным — это виртуальный диджей, который подбирает треки и комментирует их как радиоведущий. Дэниэль Эк заявил, что подписчики сервиса очень активно пользуются услугами виртуального диджея, хотя конкретных чисел не назвал. 💿

TechCrunch предполагает, что Дэниэль Эк раскрыл еще не все карты. В прошлом году Spotify приобрел стартап по синтезу голосов Sonantic, а сейчас подал заявку на патент text-to-speech системы, которая может передавать эмоции. Возможно, Spotify возьмется, например, за озвучку аудиокниг с помощью ИИ. 📖

Нейросеть, которая поможет обставить квартиру

🛋 Она называется Decorify, ее запускает американский онлайн-магазин мебели Wayfair. Пользователь загружает в приложение фотографию своей квартиры и задает желаемый стиль интерьера, а Decorify предлагает на выбор несколько вариантов нового дизайна. 🖼

Что интересно, Decorify обставляет комнату предметами, которые есть в продаже на Wayfair. Пользователь может заказать понравившуюся мебель прямо из интерфейса Decorify — элементы интерьера в генерациях кликабельны и ведут в онлайн-магазин.🛒

Вышла новая версия Stable Diffusion, Meta* потеряла на метавселенных и VR еще $3,7 млрд за квартал — и другие важные новости за неделю

✅ В семействе чат-ботов Microsoft может появиться пополнение. LinkedIn работает над своим ИИ чат-ботом, который будет помогать с поиском работы, обучением и расширением нетворка;

✅ OpenAI поддержало выдачу лицензий на разработку продвинутых ИИ. Компания говорит, что так регуляторам будет проще отслеживать новых участников рынка. Критики уверены: так OpenAI защищается от будущей конкуренции со стартапами и open source-моделями;

✅ Anthropic, Google, Microsoft и OpenAI запускают Frontier Model Forum — некоммерческую организацию для регулирования работы ИИ. Интересно, что Meta* или Amazon в их организации нет;

✅ У ChatGPT появилось приложение для Android: на этой неделе оно вышло для США, Индии, Бангладеша и Бразилии. Список стран постепенно будут расширять;

✅ А чат-бот Bing, который ранее работал эксклюзивно в браузере Microsoft Edge, станет доступен в браузерах Chrome и Safari в виде расширений. Но для Chrome лимиты на число сообщений и длину реплик в Bing Chat ниже, чем в Edge;

✅ Тинькофф запустил алгоритм Саундтрат, который превращает расходы пользователей в музыку. Саундтрат анализирует, сколько, в какое время суток, в каких категориях клиент платил чаще. На основе этого алгоритм выбирает музыкальные эффекты, из которых генерирует трек;

✅ Meta* потратила на VR и метавселенную еще $3,7 млрд за квартал. Всего убытки подразделения Reality Lab достигли уже $21 млрд. Останавливаться Цукерберг пока не намерен;

✅ Amazon запустила Agents for Bedrock, набор инструментов для создания ИИ-приложений, которые смогут выполнять задачи самостоятельно. Фактически, Amazon занимает роль конструктора в ИИ-гонке;

✅ Stability AI выпустила Stable Diffusion XL 1.0 — новую версию своей text2image нейросети. Stable Diffusion XL 1.0 дает более яркие и точные цвета, менее требовательна к вычислительным мощностям;

✅ Samsung рассказал, что готовит к запуску свой генеративный ИИ, который «поселится» в смартфонах, планшетах, умных часах и даже наушниках. Ранее было известно, что Samsung разрабатывает внутренний аналог ChatGPT, но для нужд сотрудников (которым запретил пользоваться ChatGPT).


*Организация, запрещенная на территории РФ

VideoControlNet — для тех, кто хочет контролировать создание нейровидео

🕓 Video-to-Video и Text-to-Video-модели типа GEN прогрессируют не по дням, а по часам, но результаты их работы все еще нестабильны — сгенерированные клипы часто получаются дергаными, а милый щенок из 1-го кадра уже в следующем превращается в монстра (самые адовые примеры можно посмотреть тут).

🇭🇰 На помощь приходят исследователи из Гонконга, которые придумали VideoControlNet — аналог популярного ControlNet, но для видеогенераций.

🎞 Принцип работы VideoControlNet вдохновлен видеокодеками (известными всем mkv, avi и другими), которые сжимают исходное видео, стараясь сохранить исходное качество.

🧹 Схожим образом VideoControlNet оптимизирует видеогенерацию, убирая из нее лишнюю информацию, которая появляется в результате работы нейросети. В итоге получается консистентный клип.

Пока авторы поделились только готовыми примерами работы модели, но скоро обещают выложить код, чтобы все могли ее попробовать.

Nvidia показала нейросеть, которая весит всего 100 кб

💾 Генеративка Perfusion мало того что помещается на дискету, так еще и время ее обучения составило всего 4 минуты. Та же Midjourney требует больше 2 гигабайт свободного места.

🔑 Добиться этого удалось благодаря механизму, который Nvidia назвала Key-Locking. Благодаря ему модель может «привязывать» конкретный запрос пользователя к общей категории (или суперкатегории).

😽 Например, если пользователь попросит сгенерировать кота, то модель приоритетно соотнесет запрос «кот» с суперкатегорией «семейство кошачьих», а затем начнет обрабатывать детали из текстовой подсказки. Такой способ повышает скорость работы алгоритма.

🤸 Гибкость модели позволяет настраивать ее под конкретный случай — когда пользователю нужно, чтобы Perfusion следовал максимально близко к текстовой подсказке, и когда модели можно дать «свободу творчества».

Так ли великолепно работает Perfusion на самом деле — сказать пока сложно. Код разработчики обещают опубликовать позже.