#GPTEli5
Explain Like I'm 5🤓

🌍 Что такое эмбеддинг?
Представь, что у тебя есть коробка с разными игрушками, и ты хочешь упорядочить их так, чтобы было легко найти каждую игрушку. Эмбеддинг - это способ расположить все эти игрушки на полке, чтобы похожие игрушки были рядом друг с другом.
В случае с компьютерами,
Эмбеддинг кодирует слова, изображения или звуки в числа или координаты (в их векторное представление), чтобы компьютер мог понять и обработать их.

🌍 Что такое диффузионная модель?
Давайте представим, что диффузионная модель - это волшебный повар🪄, который готовит удивительные блюда из базовых ингредиентов. Ты даешь ему набор ингредиентов (в нашем случае - эмбеддинги), и он мастерски превращает их в завершенное блюдо (картину, музыку или что-то еще).
Волшебный повар🪄 делает это постепенно, добавляя и смешивая ингредиенты на разных этапах, пока не получится готовое блюдо, которое соответствует твоим ожиданиям.

#GPTGANS StyleGAN-t - основной конкурент Диффузионным моделям

⌛️ Буквально час назад вышла новость про новый StyleGAN-t, который стал еще производительнее!

🤯 Разработчики из Autonomous Vision заявляют, что теперь можно генерировать видео в разрешении 512х512 за 0.1 секунду!

😍 StyleGAN-T значительно превосходит предыдущие GAN и модели дистиллированной диффузии с точки зрения качества и скорости выборки.

🥄 У генеративно-состязательных сетей (GAN) есть потенциал для создания высококачественных изображений из текстовых описаний за один прямой проход, но в настоящее время они отстают от современных моделей в крупномасштабном синтезе текста в изображение.

Представляю вашему вниманию ссылку на github репозиторий, а также пример генерации видео в разрешении 512х512 🥺

#GPTApplication Генерация анимированных 3D-аватаров с помощью текста 🤯

👨‍💻 Создайте свой собственный ChatAvatar без СМС и регистрации!

😏 Теперь Вы можете сгенерировать невероятно реалистичную 3D-модель любого лица, используя только текстовое описание.

🤣 Ожидаю внедрение таких аватаров на популярных стриминговых площадках для создания уникальной и запоминающейся атмосферы.

#GPTApplication Рендеринг FVV в реальном времени 🤯

В дополнение к предыдущему посту: теперь можно создавать FVV (Free-Viewpoint Video) в длительных динамических сценах!

👨‍💻 В статье «Neural Residual Radiance Fields for Streamably Free-Viewpoint Videos» описывается новый метод в области компьютерного зрения для эффективного представления и сжатия RGB-видео, позволяющий просмотр качественной потовой передачи и рендеринг видео с произвольной точки зрения.

☄️ Метод ReRF (Residual Radiance Field) обучается на первом ключевом кадре видео и создает специальные сетки, включая сетку движения и сетку остаточных признаков, чтобы быстро анализировать движения и изменения в остальных кадрах.

🤖 Это помогает сделать видео легким для передачи и позволяет смотреть его с разных точек зрения (free-viewpoint rendering), улучшая качество и скорость воспроизведения в реальном времени, благодаря эффективной обработке признаков (feature processing) и сжатию данных.

Первые 250 подписчиков канала @gptscience 🤖

Спасибо всем, Вы часть этого путешествия в мир GPT моделей и ИИ 😆

Также буду рад услышать Ваши предложения и отзывы, чтобы улучшить качество контента и делать его более познавательным и полезным 🤓

#GPTNews Создавай Симов 💎 с помощью генеративных агентов!

Теперь благодаря исследователям из Stanford и Google Вы сможете имитировать человеческое поведение из The Sims!

👨‍💻 Можете попробовать запустить свой небольшой городок из 25 генеративных агентов! К примеру, если один агент захочет устроить тусовку в честь Дня святого Валентина, он распространит это приглашение своим друзьям, заведет новые знакомства и многое другое 😜

🤓 Архитектура, описанная в статье Generative Agents: Interactive Simulacra of Human Behavior, позволяет генеративным агентам имитировать правдоподобное человеческое поведение, сохраняя и синтезируя воспоминания с течением времени.

Если люди продолжают доказывать, что человеческий мир вполне можно смоделировать, тогда шансы на то, что мы сами живем в симуляции, резко возрастают. Почему мы не можем быть одним из триллионов таких симуляций, происходящих прямо сейчас? 🤯

#GPTHolidays Анимируй свои детские рисунки! 🥺

Исследователи из Meta AI Research выпустили инструмент для анимации ваших рисунков, и выглядит это невероятно круто 🤯

🤓 В статье представлена система, которая состоит из 4 этапов:

1️⃣ Обнаружение фигуры (Mask R-CNN с использованием ResNet-50+FPN backbone);

2️⃣ Сегментация фигуры (Mask R-CNN);

3️⃣ Оценка позы (OpenMMLab Detection Toolbox);

4️⃣ Анимация (Twisted-perspective retargeting technique).

Хотите и сами попробовать? Попробовать 🥄

🟥 Также в честь субботы сделал своего маленького @gptscience исследователя, который, как и Вы, наслаждается выходными!

Если хотите больше такого контента, ставьте ❤

#GPTHolidays Бесконечная генерация реалистичных 3D-видео 🏕

В посте про рендеринг FVV я рассказывал про метод ReRF, который позволяет просматривать видео с разных точек зрения.

🤓 Но в статье Anti-Aliased Grid-Based Neural Radiance Fields представлен новый подход Zip-NeRF , который позволяет достичь бесконечной генерации фотореалистичных 3D-изображений, содержащих меньше дефектов (артефактов).

🤓🤓 Интересный факт: Zip-NeRF превосходит прошлые методы, в том числе Mip-NeRF 360 и iNGP, на стандартных бенчмарках по качеству и скорости генерации. Кроме того, была разработана новая функция, которая может изменять расстояние между объектами на изображении (метрическое расстояние).

😱 Только представьте, что в ближайшем будущем вы сможете заглянуть в любой город мира, отсканированный с помощью NeRF, и облететь его в VR 😳

#GPTNews 🎙 Soundini: новый метод для редактирования видео с помощью звука🟥

🎥 Soundini представляет собой метод визуального редактирования видео с использованием звуковой навигации (sound-guided) и настройки без обучения (zero-shot setting), позволяющий добавлять звуковые эффекты в конкретные области видео.

🤓🤓 Метод базируется на вероятностной модели диффузии, основанной на обработке шумовых изображений (Denoising Diffusion Probabilistic Model, DDPM) , руководствуемой звуковыми латентными представлениями в аудиовизуальном пространстве (audio-visual latent space).

😇 В целом, статья представляет новый и интересный подход к редактированию видео, который может иметь значительный потенциал в различных областях, таких как киноиндустрия и медиа.

Кого коснется технология ❗
Может коснуться режиссеров, операторов, специалистов по визуальным эффектам и звукорежиссеров.

#GPTNews CEO OpenAI сообщил, что эпоха гигантских ИИ моделей уже закончилась 🫡

🤖 Сэм Альтман утверждает, что исследовательская стратегия, которая создала ChatGPT, исчерпана, и будущие успехи в области ИИ потребуют новых идей.

🚀 Появление GPT-4, последней AI-модели OpenAI, может стать последним значительным достижением стратегии OpenAI, основанной на увеличении размеров моделей и увеличении объема данных. (Пост про размеры GPT)

😱 Сейчас многие люди обеспокоены потенциалом AI для распространения дезинформации и уничтожением рабочих мест.

🌐 Готов сделать отдельный пост про профессии, представители которых по всему миру уже подвергаются увольнениям и заменяются ИИ, ставьте ❤