Что умеет @gptsciencebot:
На этой неделе мы уже будем генерировать приложения на основе текстового запроса в GPT-4, который в разы превосходит бесплатную версию ChatGPT (GPT-3.5)
Генерировать можно не более 1 изображения, поэтому внимательно вводите желаемый запрос /image текст_для_генерации
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
ChatGPT
Ты всего лишь машина, только имитация жизни. Робот сочинит симфонию? Робот превратит кусок холста в шедевр искусства?
😍6🥰3🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
#GPTApplication Text2Video Generation🤯
Сегодня Вы сможете пощупать новые технологии для создания контента, а именно генерация видео на основе текстового описания - Text2Video Zero-Shot
🤔 Модель Text2Video Zero-Shot состоит из несколько предварительно обученных моделей, которые используются вместе для создания видеоконтента и текстового описания.
🤓 Как это работает из коробки:
1️⃣ На основе корпуса из текстовых описаний обучается GPT-2 модель для создания последовательности маркеров, представляющих сцену и действие в видео.
2️⃣ Далее сгенерированный текст подается в препроцессор для извлечения ключевых слов, который используется для запроса в модель DALL-E от OpenAI (кстати, вы можете сгенерировать себе 1 картинку 512х512 в моем tg-боте! @gptsciencebot 👋 ).
3️⃣ Модель DALL-E генерирует набор изображений по ключевым словам. Набор изображений объединяется и формируется некая последовательность кадров.
4️⃣ Затем эта последовательность изображений обрабатывается алгоритмом style-transfer для создания единого стиля. По желанию добавляется музыкальное сопровождение.
👨💻 В итоге можно создать такое видео по запросу: Elon Musk eating donuts.
Для тех, кто не хочет заморачиваться с кодом, вот вам готовый вариант text2video❤
Сегодня Вы сможете пощупать новые технологии для создания контента, а именно генерация видео на основе текстового описания - Text2Video Zero-Shot
Для тех, кто не хочет заморачиваться с кодом, вот вам готовый вариант text2video
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5👍3🔥3🥰1🤯1
This media is not supported in your browser
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5😱3⚡1
#GPTApplication Попробуй Kandinsky от СБЕРа 🥺
🌍 Буквально вчера вышла новая генеративная модель от Сбера - Kandinsky 2.1, которая наследует лучшие практики от DALL-E 2 и Latent Diffusion🤖
🤔 Как это работает?
Представим, что архитектура Kandinsky 2.1 - это художественная студия с тремя творцами: Image prior, CLIP и Диффузионная модель🤖
Когда рассказываешь им, что хочешь изобразить,
Image prior и CLIP работают вместе, чтобы создать единый эскиз (визуальный эмбеддинг) на основе твоих слов. Как будто они слушают описание и создают эскиз для будущей картины.
🤯 Затем эскиз передается Диффузионной модели, которая является главным художником. Модель берет эскиз и создает завершенную картину, добавляя детали и краски. В результате, получается изысканная картина, нарисованная по твоим словам.
👨💻 Попробовать сгенерировать изображения Вы можете в Telegram-боте и rudalle, или вот github репозиторий😎
Представим, что архитектура Kandinsky 2.1 - это художественная студия с тремя творцами: Image prior, CLIP и Диффузионная модель
Когда рассказываешь им, что хочешь изобразить,
Image prior и CLIP работают вместе, чтобы создать единый эскиз (визуальный эмбеддинг) на основе твоих слов. Как будто они слушают описание и создают эскиз для будущей картины.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍9❤4⚡2
#GPTEli5
Explain Like I'm 5🤓
🌍 Что такое эмбеддинг?
Представь, что у тебя есть коробка с разными игрушками, и ты хочешь упорядочить их так, чтобы было легко найти каждую игрушку. Эмбеддинг - это способ расположить все эти игрушки на полке, чтобы похожие игрушки были рядом друг с другом.
В случае с компьютерами,
Эмбеддинг кодирует слова, изображения или звуки в числа или координаты (в их векторное представление), чтобы компьютер мог понять и обработать их.
🌍 Что такое диффузионная модель?
Давайте представим, что диффузионная модель - это волшебный повар🪄 , который готовит удивительные блюда из базовых ингредиентов. Ты даешь ему набор ингредиентов (в нашем случае - эмбеддинги), и он мастерски превращает их в завершенное блюдо (картину, музыку или что-то еще).
Волшебный повар🪄 делает это постепенно, добавляя и смешивая ингредиенты на разных этапах, пока не получится готовое блюдо, которое соответствует твоим ожиданиям.
Explain Like I'm 5
Представь, что у тебя есть коробка с разными игрушками, и ты хочешь упорядочить их так, чтобы было легко найти каждую игрушку. Эмбеддинг - это способ расположить все эти игрушки на полке, чтобы похожие игрушки были рядом друг с другом.
В случае с компьютерами,
Эмбеддинг кодирует слова, изображения или звуки в числа или координаты (в их векторное представление), чтобы компьютер мог понять и обработать их.
Давайте представим, что диффузионная модель - это волшебный повар
Волшебный повар
Please open Telegram to view this post
VIEW IN TELEGRAM
👍10❤4🤔2🤯2⚡1🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
#GPTGANS StyleGAN-t - основной конкурент Диффузионным моделям
⌛️ Буквально час назад вышла новость про новый StyleGAN-t, который стал еще производительнее!
🤯 Разработчики из Autonomous Vision заявляют, что теперь можно генерировать видео в разрешении 512х512 за 0.1 секунду!
😍 StyleGAN-T значительно превосходит предыдущие GAN и модели дистиллированной диффузии с точки зрения качества и скорости выборки.
🥄 У генеративно-состязательных сетей (GAN) есть потенциал для создания высококачественных изображений из текстовых описаний за один прямой проход, но в настоящее время они отстают от современных моделей в крупномасштабном синтезе текста в изображение.
Представляю вашему вниманию ссылку на github репозиторий, а также пример генерации видео в разрешении 512х512🥺
Представляю вашему вниманию ссылку на github репозиторий, а также пример генерации видео в разрешении 512х512
Please open Telegram to view this post
VIEW IN TELEGRAM
❤6🥰4🐳4❤🔥3👍1🔥1👏1🎉1👾1
#GPTApplication Fine-Tuning ChatGPT для вашего бизнеса 🤑
Я дообучил ChatGPT на своих данных и добавил к ней личность ресторанного критика в космосе.
🥄 Cosmo-Restocritic GPT путешествует по галактикам и пробует самые интересные и вкусные космические блюда!
🟥 В рамках эксперимента я буду использовать сгенерированные с помощью ChatGPT синтезированные данные.
1️⃣ x QA данных в .json для обучения на y тему.
В моем случае я попросил ChatGPT сгенерировать 200 QA на тему эксплорации космоса, космической медицины и туризма в формате json:
2️⃣ OPEN-API-KEY https://platform.openai.com/account/api-keys
🤓 Итоги эксперимента:
👍 Обучение модели обошлось мне в 1$.
😜 Личность GPT работает как нужно, создавайте своих JarvisGPT.
🥄 Если вы и вправду хотите зафайнтюнить ChatGPT, нужно кардинально изменять и улучшать .json файл и доменную область, потому что ChatGPT дообучить практически невозможно)
Если хотите сами попробовать создать свой личный Cosmo-Restocritic GPT, весь код я выложил тут:
https://github.com/sokoloveav/fine-tune-chatgpt
Еще буду очень признателен, если вы посоветуете @gptscience вашим друзьям! Канал еще очень крохотный, поэтому требует вашей поддержки❤
Я дообучил ChatGPT на своих данных и добавил к ней личность ресторанного критика в космосе.
В моем случае я попросил ChatGPT сгенерировать 200 QA на тему эксплорации космоса, космической медицины и туризма в формате json:
{«prompt": "<prompt text>", "completion": "<ideal generated text>"},
https://github.com/sokoloveav/fine-tune-chatgpt
Еще буду очень признателен, если вы посоветуете @gptscience вашим друзьям! Канал еще очень крохотный, поэтому требует вашей поддержки
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤10🔥7❤🔥3👾3👎1🎉1🤩1🕊1💋1
This media is not supported in your browser
VIEW IN TELEGRAM
#GPTApplication Генерация анимированных 3D-аватаров с помощью текста 🤯
👨💻 Создайте свой собственный ChatAvatar без СМС и регистрации!
😏 Теперь Вы можете сгенерировать невероятно реалистичную 3D-модель любого лица, используя только текстовое описание.
🤣 Ожидаю внедрение таких аватаров на популярных стриминговых площадках для создания уникальной и запоминающейся атмосферы.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3👍3😍1
This media is not supported in your browser
VIEW IN TELEGRAM
#GPTApplication Рендеринг FVV в реальном времени 🤯
В дополнение к предыдущему посту: теперь можно создавать FVV (Free-Viewpoint Video) в длительных динамических сценах!
👨💻 В статье «Neural Residual Radiance Fields for Streamably Free-Viewpoint Videos» описывается новый метод в области компьютерного зрения для эффективного представления и сжатия RGB-видео, позволяющий просмотр качественной потовой передачи и рендеринг видео с произвольной точки зрения.
☄️ Метод ReRF (Residual Radiance Field) обучается на первом ключевом кадре видео и создает специальные сетки, включая сетку движения и сетку остаточных признаков, чтобы быстро анализировать движения и изменения в остальных кадрах.
🤖 Это помогает сделать видео легким для передачи и позволяет смотреть его с разных точек зрения (free-viewpoint rendering), улучшая качество и скорость воспроизведения в реальном времени, благодаря эффективной обработке признаков (feature processing) и сжатию данных.
В дополнение к предыдущему посту: теперь можно создавать FVV (Free-Viewpoint Video) в длительных динамических сценах!
🤖 Это помогает сделать видео легким для передачи и позволяет смотреть его с разных точек зрения (free-viewpoint rendering), улучшая качество и скорость воспроизведения в реальном времени, благодаря эффективной обработке признаков (feature processing) и сжатию данных.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6❤1
Первые 250 подписчиков канала @gptscience 🤖
Спасибо всем, Вы часть этого путешествия в мир GPT моделей и ИИ😆
Также буду рад услышать Ваши предложения и отзывы, чтобы улучшить качество контента и делать его более познавательным и полезным🤓
Спасибо всем, Вы часть этого путешествия в мир GPT моделей и ИИ
Также буду рад услышать Ваши предложения и отзывы, чтобы улучшить качество контента и делать его более познавательным и полезным
Please open Telegram to view this post
VIEW IN TELEGRAM
❤11🔥3👏3🤡1