Forwarded from Нейроэстетика
👍3❤1🔥1
DeepMind ❤️ YouTube
Самое важное и интересное из 📇 блог поста DeepMind про интеграцию DL-проектов в платформу YouTube:
🗄 MuZero улучшил кодек VP9 на 4%
Работая вместе с YouTube, DeepMind изучили потенциал MuZero для улучшения кодека VP9 (👈 подробнее) и применили MuZero к живому трафику YouTube!
После запуска снижение битрейта составило ~4%. Улучшив кодек VP9 на YouTube, DeepMind помогли сократить интернет-трафик, и, соответственно, время необходимое для загрузки видео. Благодаря оптимизации миллионы людей смогут смотреть больше видео, загружая их быстрее!
🎞 AutoChapters — Автоматическая разбивка видео на главы
Главы позволяют находить нужный контент, но их создание было медленным и трудоемким ручным процессом.
Представленная на Google I/O 2022, технология автоматического создания глав уже сегодня используется для 8,000,000 видео, и YouTube обработает > 80,000,000 видео в течение года.
AutoChapters экономит время на поиск контента зрителя, и создателям на разбиение глав.
@Мишин Лернинг
Самое важное и интересное из 📇 блог поста DeepMind про интеграцию DL-проектов в платформу YouTube:
🗄 MuZero улучшил кодек VP9 на 4%
Работая вместе с YouTube, DeepMind изучили потенциал MuZero для улучшения кодека VP9 (👈 подробнее) и применили MuZero к живому трафику YouTube!
После запуска снижение битрейта составило ~4%. Улучшив кодек VP9 на YouTube, DeepMind помогли сократить интернет-трафик, и, соответственно, время необходимое для загрузки видео. Благодаря оптимизации миллионы людей смогут смотреть больше видео, загружая их быстрее!
🎞 AutoChapters — Автоматическая разбивка видео на главы
Главы позволяют находить нужный контент, но их создание было медленным и трудоемким ручным процессом.
Представленная на Google I/O 2022, технология автоматического создания глав уже сегодня используется для 8,000,000 видео, и YouTube обработает > 80,000,000 видео в течение года.
AutoChapters экономит время на поиск контента зрителя, и создателям на разбиение глав.
@Мишин Лернинг
❤18👍9🔥9
👾 А у нас NextGen Text2Image: Retrieval-Augmented Diffusion Models от CompVis
Я не мог писать об этом раньше, но теперь все выложили. Хотя написать очень и очень хотелось..
Идея лежала на поверхности: DALL•E 2 💦 RETRO = ❤️
Подробнее разберём на примере:
> Нужно сгенерировать «Мадагаскарская руконожка на скейтборде». Я вот не помню как она выглядит)
❕DALL•E 1/2, Imagen принимали текст, и на основе него генерировали изображения. А что если добавить возможность подглядывать в реальный датасет?
❗️Для этого нам поможет CLIP и kNN: Ищем в датасете ближайшие изображения и подаём их (или их эмбеддинги) в качестве кондишн для генерации.
Новый LDM, натренированный в таком режиме, что можно использовать:
> Unconditional генерацию
> Class и Retrieval кондишн
То есть: Можно использовать только текстовое описание, а можно и помочь сети, похожими реальными примерами (похожие картинки будут выступать в качестве референсов)
Ну не круто ли?
📰 paper
🔬 Code
@Mishin Learning
Я не мог писать об этом раньше, но теперь все выложили. Хотя написать очень и очень хотелось..
Идея лежала на поверхности: DALL•E 2 💦 RETRO = ❤️
Подробнее разберём на примере:
> Нужно сгенерировать «Мадагаскарская руконожка на скейтборде». Я вот не помню как она выглядит)
❕DALL•E 1/2, Imagen принимали текст, и на основе него генерировали изображения. А что если добавить возможность подглядывать в реальный датасет?
❗️Для этого нам поможет CLIP и kNN: Ищем в датасете ближайшие изображения и подаём их (или их эмбеддинги) в качестве кондишн для генерации.
Новый LDM, натренированный в таком режиме, что можно использовать:
> Unconditional генерацию
> Class и Retrieval кондишн
То есть: Можно использовать только текстовое описание, а можно и помочь сети, похожими реальными примерами (похожие картинки будут выступать в качестве референсов)
Ну не круто ли?
📰 paper
🔬 Code
@Mishin Learning
🔥36👍9❤6👎2
Forwarded from Нейроэстетика
💿 M U S I C \\\ R E C O M E N D A T I O N S
Друзья, посоветуйте интересной интеллектуальной музыки
Что-то их этого будет идеально:
- modern jazz
- XX-XXI academic
- prog \\\ experimental rock
- experimental avant electronic
➖ д я к у ю ➖
p.s.: в комменты занесу и свои рекомендации
Друзья, посоветуйте интересной интеллектуальной музыки
Что-то их этого будет идеально:
- modern jazz
- XX-XXI academic
- prog \\\ experimental rock
- experimental avant electronic
➖ д я к у ю ➖
p.s.: в комменты занесу и свои рекомендации
❤10👍4🔥1
Forwarded from Нейроэстетика
🎺🌌 Miles Davis Jazz Astronaut
Stable Diffusion на подходе, вот параметры, с которыми можно будт играть:
-- height [512] height of image
-- width [512] width of image
📲 да, можно будет создавать вертикальные или горизонтальные полтна
-- cfg_scale [7.0] CFG scale factor
🎛 Наверное самый важный параметр:
1,2 — мясо, бред, хаос
3,4 — перегруженное фото
5,6 — оптимум по деталям и целостности
7,8 — объекты целые, но синтетичные
> 9 — уже совсем скучно становится
--steps [50]
🪜 Сколько шагов семплирования пройдено:
50 — быстро и достаточно качественно
100 — оптимум времени / качеству
150 — медленно и супер детально
prompt: full-length portrait of miles davis in a space suit, studio lighting --height 768 --cfg_scale 6 --steps 150
🚀 Ждем, все будет очень скоро 😉
автор: Н е й р о э с т е т и к а ✖️ Мишин Лернинг
Stable Diffusion на подходе, вот параметры, с которыми можно будт играть:
-- height [512] height of image
-- width [512] width of image
📲 да, можно будет создавать вертикальные или горизонтальные полтна
-- cfg_scale [7.0] CFG scale factor
🎛 Наверное самый важный параметр:
1,2 — мясо, бред, хаос
3,4 — перегруженное фото
5,6 — оптимум по деталям и целостности
7,8 — объекты целые, но синтетичные
> 9 — уже совсем скучно становится
--steps [50]
🪜 Сколько шагов семплирования пройдено:
50 — быстро и достаточно качественно
100 — оптимум времени / качеству
150 — медленно и супер детально
prompt: full-length portrait of miles davis in a space suit, studio lighting --height 768 --cfg_scale 6 --steps 150
🚀 Ждем, все будет очень скоро 😉
автор: Н е й р о э с т е т и к а ✖️ Мишин Лернинг
❤25👍9🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
📣 Photoshop будущего уже здесь!! Inpainting в Stable Diffusion
Stable Diffusion на подходе, и да! Там будет Inapainting как в DALL•E 2!
Но вот ещё супер новость — инструментарий для:
• Генераций и инпеинтинга!
UI уже на голову превосходит то, что предлагает OpenAI!
Я решил протестить его:
• Сгенерил поп арт портрет Miles Davis (выбрал произвольное соотношение сторон)
• Затем рядом портрет John Coltrane
• И объединил их при помощи инпеинтинга!
Можно брать реальные фотки, сгенерированные, изменять, соединять, расширять!
🚀 Ждем, все будет очень скоро! Сразу скину и поделюсь! Результат приложил в комменты
автор генерации: Н е й р о э с т е т и к а ✖️ Мишин Лернинг
Stable Diffusion на подходе, и да! Там будет Inapainting как в DALL•E 2!
Но вот ещё супер новость — инструментарий для:
• Генераций и инпеинтинга!
UI уже на голову превосходит то, что предлагает OpenAI!
Я решил протестить его:
• Сгенерил поп арт портрет Miles Davis (выбрал произвольное соотношение сторон)
• Затем рядом портрет John Coltrane
• И объединил их при помощи инпеинтинга!
Можно брать реальные фотки, сгенерированные, изменять, соединять, расширять!
🚀 Ждем, все будет очень скоро! Сразу скину и поделюсь! Результат приложил в комменты
автор генерации: Н е й р о э с т е т и к а ✖️ Мишин Лернинг
🔥60👍8🙏1
Forwarded from Нейроэстетика
👁 Давайте разберемся с параметром cfg_scale в Stable Diffusion
Объесняю самый важный параметр в Stable Diffusion на примере космических артов с Miles Davis
👉 full-length portrait of miles davis in a space suit, fashion studio lighting, 35mm --height 768 --steps 150 --seed 5 --cfg_scale 9
--seed 5 — генерит шум, из которого начнется диффуз, это позволяет получить похожие резалты
--steps 150 — дает самый качественный резалт (но время!)
--cfg_scale 9 — параметр отвечает за схожесть с текстом, платить будем Деталями и Реализмом
cfg — это Classifier Free Guidance. Генерятся 2 картинки: одна по текстовому описанию, другая — без. И делается шаг усиливающий движение в сторону текста!
Получил 9 картинок на шагах
1, 3, 5, 7, 9, 11, 13, 15, 17
1, 3, 5 - бред, слишком хаотично
7, 9, 11 - реалистично и оптимально
13 — уже начинаются проблемы с контрастностью гипертрофированием признаков
15, 17 — гипертрофирование признаков, низкий FID (реализм), гиперконтрастность
Н е й р о э с т е т и к а ✖️ Мишин Лернинг
Объесняю самый важный параметр в Stable Diffusion на примере космических артов с Miles Davis
👉 full-length portrait of miles davis in a space suit, fashion studio lighting, 35mm --height 768 --steps 150 --seed 5 --cfg_scale 9
--seed 5 — генерит шум, из которого начнется диффуз, это позволяет получить похожие резалты
--steps 150 — дает самый качественный резалт (но время!)
--cfg_scale 9 — параметр отвечает за схожесть с текстом, платить будем Деталями и Реализмом
cfg — это Classifier Free Guidance. Генерятся 2 картинки: одна по текстовому описанию, другая — без. И делается шаг усиливающий движение в сторону текста!
Получил 9 картинок на шагах
1, 3, 5, 7, 9, 11, 13, 15, 17
1, 3, 5 - бред, слишком хаотично
7, 9, 11 - реалистично и оптимально
13 — уже начинаются проблемы с контрастностью гипертрофированием признаков
15, 17 — гипертрофирование признаков, низкий FID (реализм), гиперконтрастность
Н е й р о э с т е т и к а ✖️ Мишин Лернинг
🔥22👍3❤2