#GPTApplication Text2Video Generation🤯
Сегодня Вы сможете пощупать новые технологии для создания контента, а именно генерация видео на основе текстового описания - Text2Video Zero-Shot

🤔 Модель Text2Video Zero-Shot состоит из несколько предварительно обученных моделей, которые используются вместе для создания видеоконтента и текстового описания.

🤓 Как это работает из коробки:
1️⃣ На основе корпуса из текстовых описаний обучается GPT-2 модель для создания последовательности маркеров, представляющих сцену и действие в видео.

2️⃣ Далее сгенерированный текст подается в препроцессор для извлечения ключевых слов, который используется для запроса в модель DALL-E от OpenAI (кстати, вы можете сгенерировать себе 1 картинку 512х512 в моем tg-боте! @gptsciencebot 👋).

3️⃣ Модель DALL-E генерирует набор изображений по ключевым словам. Набор изображений объединяется и формируется некая последовательность кадров.

4️⃣ Затем эта последовательность изображений обрабатывается алгоритмом style-transfer для создания единого стиля. По желанию добавляется музыкальное сопровождение.

👨‍💻В итоге можно создать такое видео по запросу: Elon Musk eating donuts.

Для тех, кто не хочет заморачиваться с кодом, вот вам готовый вариант text2video ❤

👨‍💻 Monkey learning to play the piano

#GPTEli5
Explain Like I'm 5🤓

🌍 Что такое эмбеддинг?
Представь, что у тебя есть коробка с разными игрушками, и ты хочешь упорядочить их так, чтобы было легко найти каждую игрушку. Эмбеддинг - это способ расположить все эти игрушки на полке, чтобы похожие игрушки были рядом друг с другом.
В случае с компьютерами,
Эмбеддинг кодирует слова, изображения или звуки в числа или координаты (в их векторное представление), чтобы компьютер мог понять и обработать их.

🌍 Что такое диффузионная модель?
Давайте представим, что диффузионная модель - это волшебный повар🪄, который готовит удивительные блюда из базовых ингредиентов. Ты даешь ему набор ингредиентов (в нашем случае - эмбеддинги), и он мастерски превращает их в завершенное блюдо (картину, музыку или что-то еще).
Волшебный повар🪄 делает это постепенно, добавляя и смешивая ингредиенты на разных этапах, пока не получится готовое блюдо, которое соответствует твоим ожиданиям.

#GPTGANS StyleGAN-t - основной конкурент Диффузионным моделям

⌛️ Буквально час назад вышла новость про новый StyleGAN-t, который стал еще производительнее!

🤯 Разработчики из Autonomous Vision заявляют, что теперь можно генерировать видео в разрешении 512х512 за 0.1 секунду!

😍 StyleGAN-T значительно превосходит предыдущие GAN и модели дистиллированной диффузии с точки зрения качества и скорости выборки.

🥄 У генеративно-состязательных сетей (GAN) есть потенциал для создания высококачественных изображений из текстовых описаний за один прямой проход, но в настоящее время они отстают от современных моделей в крупномасштабном синтезе текста в изображение.

Представляю вашему вниманию ссылку на github репозиторий, а также пример генерации видео в разрешении 512х512 🥺

#GPTApplication Генерация анимированных 3D-аватаров с помощью текста 🤯

👨‍💻 Создайте свой собственный ChatAvatar без СМС и регистрации!

😏 Теперь Вы можете сгенерировать невероятно реалистичную 3D-модель любого лица, используя только текстовое описание.

🤣 Ожидаю внедрение таких аватаров на популярных стриминговых площадках для создания уникальной и запоминающейся атмосферы.

#GPTApplication Рендеринг FVV в реальном времени 🤯

В дополнение к предыдущему посту: теперь можно создавать FVV (Free-Viewpoint Video) в длительных динамических сценах!

👨‍💻 В статье «Neural Residual Radiance Fields for Streamably Free-Viewpoint Videos» описывается новый метод в области компьютерного зрения для эффективного представления и сжатия RGB-видео, позволяющий просмотр качественной потовой передачи и рендеринг видео с произвольной точки зрения.

☄️ Метод ReRF (Residual Radiance Field) обучается на первом ключевом кадре видео и создает специальные сетки, включая сетку движения и сетку остаточных признаков, чтобы быстро анализировать движения и изменения в остальных кадрах.

🤖 Это помогает сделать видео легким для передачи и позволяет смотреть его с разных точек зрения (free-viewpoint rendering), улучшая качество и скорость воспроизведения в реальном времени, благодаря эффективной обработке признаков (feature processing) и сжатию данных.

Первые 250 подписчиков канала @gptscience 🤖

Спасибо всем, Вы часть этого путешествия в мир GPT моделей и ИИ 😆

Также буду рад услышать Ваши предложения и отзывы, чтобы улучшить качество контента и делать его более познавательным и полезным 🤓

#GPTNews Создавай Симов 💎 с помощью генеративных агентов!

Теперь благодаря исследователям из Stanford и Google Вы сможете имитировать человеческое поведение из The Sims!

👨‍💻 Можете попробовать запустить свой небольшой городок из 25 генеративных агентов! К примеру, если один агент захочет устроить тусовку в честь Дня святого Валентина, он распространит это приглашение своим друзьям, заведет новые знакомства и многое другое 😜

🤓 Архитектура, описанная в статье Generative Agents: Interactive Simulacra of Human Behavior, позволяет генеративным агентам имитировать правдоподобное человеческое поведение, сохраняя и синтезируя воспоминания с течением времени.

Если люди продолжают доказывать, что человеческий мир вполне можно смоделировать, тогда шансы на то, что мы сами живем в симуляции, резко возрастают. Почему мы не можем быть одним из триллионов таких симуляций, происходящих прямо сейчас? 🤯