Forwarded from AbstractDL
Charl-E: Text2image on your Mac
Stable Diffusion завернули в удобное оффлайн приложение для Mac с M1/M2. Теперь можно генерить картинки у себя на ноутбуке.
App, webcite
Stable Diffusion завернули в удобное оффлайн приложение для Mac с M1/M2. Теперь можно генерить картинки у себя на ноутбуке.
App, webcite
Forwarded from See All
keynote wrap-up: https://blogs.nvidia.com/blog/2022/09/20/keynote-gtc-nvidia-ceo/
https://blogs.nvidia.com/blog/2022/03/22/h100-transformer-engine/ - про трансформер энджин в новых девайсах, тут и замеры и что и как и где
https://blogs.nvidia.com/blog/2022/09/20/grace-hopper-recommender-systems/ - про рекомендашки
https://blogs.nvidia.com/blog/2022/09/20/computer-vision-cloud/ - про CV в облаке(мало деталей)
https://nvidianews.nvidia.com/news/nvidia-launches-omniverse-cloud-services-for-building-and-operating-industrial-metaverse-applications - про клауд для омниверса и его отдельные составляющие
https://nvidianews.nvidia.com/news/nvidia-unveils-drive-thor-centralized-car-computer-unifying-cluster-infotainment-automated-driving-and-parking-in-a-single-cost-saving-system - про новую железку для SDC
https://nvidianews.nvidia.com/news/nvidia-jetson-orin-nano-sets-new-standard-for-entry-level-edge-ai-and-robotics-with-80x-performance-leap - про новый джетсон нано, я ослышался (не поверил ушам) - не в 18, а в 80 раз перформанс лучше
https://blogs.nvidia.com/blog/2022/09/20/drive-sim-neural-reconstruction-engine/ - про симулятор для SDC, который восстанавливает мир, который можно харвестить и дергать модельки, менять пути, етц
Игровое:
https://www.nvidia.com/en-us/geforce/news/dlss3-ai-powered-neural-graphics-innovations/ - про DLSS 3.0
https://www.nvidia.com/en-us/geforce/news/rtx-remix-announcement/ - про прогу для RTX’ивания старых игр
https://www.nvidia.com/en-us/geforce/news/rtx-40-series-graphics-cards-announcements/ - в целом про 40ую игровую серию
Остальное можно чекнуть тут: https://nvidianews.nvidia.com/news/
https://blogs.nvidia.com/blog/2022/03/22/h100-transformer-engine/ - про трансформер энджин в новых девайсах, тут и замеры и что и как и где
https://blogs.nvidia.com/blog/2022/09/20/grace-hopper-recommender-systems/ - про рекомендашки
https://blogs.nvidia.com/blog/2022/09/20/computer-vision-cloud/ - про CV в облаке(мало деталей)
https://nvidianews.nvidia.com/news/nvidia-launches-omniverse-cloud-services-for-building-and-operating-industrial-metaverse-applications - про клауд для омниверса и его отдельные составляющие
https://nvidianews.nvidia.com/news/nvidia-unveils-drive-thor-centralized-car-computer-unifying-cluster-infotainment-automated-driving-and-parking-in-a-single-cost-saving-system - про новую железку для SDC
https://nvidianews.nvidia.com/news/nvidia-jetson-orin-nano-sets-new-standard-for-entry-level-edge-ai-and-robotics-with-80x-performance-leap - про новый джетсон нано, я ослышался (не поверил ушам) - не в 18, а в 80 раз перформанс лучше
https://blogs.nvidia.com/blog/2022/09/20/drive-sim-neural-reconstruction-engine/ - про симулятор для SDC, который восстанавливает мир, который можно харвестить и дергать модельки, менять пути, етц
Игровое:
https://www.nvidia.com/en-us/geforce/news/dlss3-ai-powered-neural-graphics-innovations/ - про DLSS 3.0
https://www.nvidia.com/en-us/geforce/news/rtx-remix-announcement/ - про прогу для RTX’ивания старых игр
https://www.nvidia.com/en-us/geforce/news/rtx-40-series-graphics-cards-announcements/ - в целом про 40ую игровую серию
Остальное можно чекнуть тут: https://nvidianews.nvidia.com/news/
NVIDIA Blog
Keynote Wrap-Up: NVIDIA CEO Unveils Next-Gen RTX GPUs, AI Workflows in the Cloud
New cloud services to support AI workflows and the launch of a new generation of GeForce RTX GPUs featured today in NVIDIA CEO Jensen Huang’s GTC keynote, which was packed with new systems, silicon, and software. “Computing is advancing at incredible speeds…
Forwarded from эйай ньюз
This media is not supported in your browser
VIEW IN TELEGRAM
Как генерить текстуры с помощью DALLE2 и SD?
Пора уже создать дайджест по всем новым возможностям, появившимся благодаря Stable Diffusion. Вот, например коллаб, где можно генерировать бесшовные текстуры.
Как работает. Просто генерируете любую картинку с суффиксом "top down photo", чтобы получить вид сверху. Затем замащиваем квадратную область 4×4 тайлами из сгенеренной картинки. Швы удаляем и просим метку их дорисовать. Вуаля! Все готово.
Можно применять с любой Text2image сетью, которая умеет в инпейнтинг.
Гайд подсмотрел в твиттере.
@ai_newz
Пора уже создать дайджест по всем новым возможностям, появившимся благодаря Stable Diffusion. Вот, например коллаб, где можно генерировать бесшовные текстуры.
Как работает. Просто генерируете любую картинку с суффиксом "top down photo", чтобы получить вид сверху. Затем замащиваем квадратную область 4×4 тайлами из сгенеренной картинки. Швы удаляем и просим метку их дорисовать. Вуаля! Все готово.
Можно применять с любой Text2image сетью, которая умеет в инпейнтинг.
Гайд подсмотрел в твиттере.
@ai_newz
Forwarded from Reddit
r/ #gaming
Пользователь Reddit с помощью нейросети Stable Diffusion улучшил модели персонажей из Fallout 2
Для улучшения качества моделей персонажей из Fallout 2 автор использовал нейросеть Stable Diffusion, которая может создавать изображения по текстовым описаниям — на манер более популярной DALL-E 2.
Плюс к этому, Misha_Vozduh поделился текстовым запросом, который он написал для создания девушки в броне:
«Женщина в металлическом доспехе в стиле Mad Max и Fallout, современная стилистика, детализированное и красивое лицо, в стиле Грега Рутковски и Альфонс Мухи, персонаж D&D, на фоне города, цифровая живопись, концепт-арт, гладкое и чёткое изображение, artstation hq».
Пользователь Reddit с помощью нейросети Stable Diffusion улучшил модели персонажей из Fallout 2
Для улучшения качества моделей персонажей из Fallout 2 автор использовал нейросеть Stable Diffusion, которая может создавать изображения по текстовым описаниям — на манер более популярной DALL-E 2.
Плюс к этому, Misha_Vozduh поделился текстовым запросом, который он написал для создания девушки в броне:
«Женщина в металлическом доспехе в стиле Mad Max и Fallout, современная стилистика, детализированное и красивое лицо, в стиле Грега Рутковски и Альфонс Мухи, персонаж D&D, на фоне города, цифровая живопись, концепт-арт, гладкое и чёткое изображение, artstation hq».
Forwarded from ЭйАйЛера
Нейросети и Блендер записал новое видео-туториал по тому, как обращаться с колабом Stable Diffusion. Как всегда спокойное, четкое и информативное.
Подойдет всем начинающим, чтобы привыкнуть к колабу и слезть с иглы DreamStudio.
Подойдет всем начинающим, чтобы привыкнуть к колабу и слезть с иглы DreamStudio.
Telegram
Нейросети и Блендер
Дизайн и искусство в Blender и в AI
https://linktr.ee/monkeyinlaw
https://linktr.ee/monkeyinlaw
Forwarded from я обучала одну модель
Text Inversion is the next big thing? 🤔
Относительно недавно вышла статья от NVIDIA – An Image is Worth One Word. В ней они показывают, как можно тот или иной концепт преобразовать в псевдо-слово, то есть создать в латентном пространстве эмбеддинг несуществующего токена, который будет максимально точно отражать заданный концепт, основываясь на примерах, которые вы предоставите
Так можно натренировать модель всегда генерить именно тот объект, который вы задумали, при чем в любом сеттинге, стиле и с любыми атрибутами. В пейпере авторы заставляют модель запомнить по нескольким фотографиям определенную фигурку полосатого котенка как некий объект S*, чтобы потом генерить “Banksy art of S∗”, “A S∗ themed lunchbox” и так далее
Подробно пр метод можно почитать в статье, в целом идея такова:
– Берем входное описание ‘A photo of zubabobr’. Здесь zubabobr – несуществующий токен. Параллельно заготавливаем несколько картинок с примерами zubabobr. Слово zubabobr получает эмбеддинг v*, его мы обучаем
– Прогоняем эмбеддинги через трансформер, с помощью них кондишеним генерацию Stable Diffusion из случайного шума. Плюс, на каждом этапе позволяем модели подсматривать примеры картинок с zubabobr
– ???
– Profit, теперь мы можем генерить zubabobr и знаем его эмбеддинг
Идея очень быстро была реализована:
✨На huggingface есть Concepts Library – там можно через их UI по нескольким примерам натренировать свои концепты, а также посмотреть концепты других юзеров в открытом доступе
Что самое прикольное, концепты могут обозначать еще и стиль, так что можно генерить что-то типа «A photo of <my_concepts/zubabobr> in a style of <sd-concepts-library/80s-anime-ai-being>»
✨Или можно по харду – не тюнить свой эмбеддинг, а тюнить всю модель с помощью DreamBooth (смысл тот же, это позволяет создать identifier вашего собственного класса). Более подробный пост про него есть у тоже моушн
Относительно недавно вышла статья от NVIDIA – An Image is Worth One Word. В ней они показывают, как можно тот или иной концепт преобразовать в псевдо-слово, то есть создать в латентном пространстве эмбеддинг несуществующего токена, который будет максимально точно отражать заданный концепт, основываясь на примерах, которые вы предоставите
Так можно натренировать модель всегда генерить именно тот объект, который вы задумали, при чем в любом сеттинге, стиле и с любыми атрибутами. В пейпере авторы заставляют модель запомнить по нескольким фотографиям определенную фигурку полосатого котенка как некий объект S*, чтобы потом генерить “Banksy art of S∗”, “A S∗ themed lunchbox” и так далее
Подробно пр метод можно почитать в статье, в целом идея такова:
– Берем входное описание ‘A photo of zubabobr’. Здесь zubabobr – несуществующий токен. Параллельно заготавливаем несколько картинок с примерами zubabobr. Слово zubabobr получает эмбеддинг v*, его мы обучаем
– Прогоняем эмбеддинги через трансформер, с помощью них кондишеним генерацию Stable Diffusion из случайного шума. Плюс, на каждом этапе позволяем модели подсматривать примеры картинок с zubabobr
– ???
– Profit, теперь мы можем генерить zubabobr и знаем его эмбеддинг
Идея очень быстро была реализована:
✨На huggingface есть Concepts Library – там можно через их UI по нескольким примерам натренировать свои концепты, а также посмотреть концепты других юзеров в открытом доступе
Что самое прикольное, концепты могут обозначать еще и стиль, так что можно генерить что-то типа «A photo of <my_concepts/zubabobr> in a style of <sd-concepts-library/80s-anime-ai-being>»
✨Или можно по харду – не тюнить свой эмбеддинг, а тюнить всю модель с помощью DreamBooth (смысл тот же, это позволяет создать identifier вашего собственного класса). Более подробный пост про него есть у тоже моушн
Forwarded from ЭйАйЛера
Media is too big
VIEW IN TELEGRAM
Deforum Stable Diffusion обновился и теперь параметры движения камеры и, например, параметр strength можно довольно просто задавать функциями сокращенно, без множества числовых значений.
Краткое руководство о том, зачем вообще математика в колабе здесь
Сделала небольшой тест с новыми «волнами»
Краткое руководство о том, зачем вообще математика в колабе здесь
Сделала небольшой тест с новыми «волнами»
Stablediffusion, затюненный на Arcane с помощью Unfrozen Model Textual Inversion & Training with prior-preservation loss
Модель на 🤗
Модель на 🤗
Forwarded from эйай ньюз
This media is not supported in your browser
VIEW IN TELEGRAM
Принёс вам несколько результатов генерации видео с помощью Make-A-Video по запросу "two kangaroos busy cooking dinner in a kitchen" 😉.
@ai_newz
@ai_newz
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
"Pointcloud Occlusion Inpainting with Stable Diffusion"
Пока мамкины диффюзеры бесхитростно, но с восторгом склеивают кадры из Stable Diffusion с помощью дефорума, пацаны с опытом постпродакшена достают грубину, композят инпайнтингом и работают с камерой. Поглядите, что творит Дима Точилкин.
Основная идея алгоритма состоит в том, чтобы сохранить нетронутыми части изображения, известные по предыдущему кадру, и закрасить только те области изображения, которые отсутствуют. Мы можем определить, что известно, а чего не хватает, по карте глубины и преобразованию камеры.
Он в значительной степени зависит от качества карт глубины и использует предположение, что SD имеет неявные знания о геометрии сцены на изображении. Таким образом, он может правдоподобно закрашивать недостающие части без явного знания трехмерных сеток сцены.
Он интерполирует отсутствующую информацию, «деформируя» пространство, что хорошо для художественных или триповых видео, но не подходит для реалистичной анимации.
Если хотите узнать больше про "Pointcloud Occlusion Inpainting with Stable Diffusion" и анимацию, читайте тред в Твитторе - пример того, как AI Filmmaking приобретает черты технологии, а не только восторженных демок в телеграмме.
https://twitter.com/cut_pow/status/1576748595109593088
Пока мамкины диффюзеры бесхитростно, но с восторгом склеивают кадры из Stable Diffusion с помощью дефорума, пацаны с опытом постпродакшена достают грубину, композят инпайнтингом и работают с камерой. Поглядите, что творит Дима Точилкин.
Основная идея алгоритма состоит в том, чтобы сохранить нетронутыми части изображения, известные по предыдущему кадру, и закрасить только те области изображения, которые отсутствуют. Мы можем определить, что известно, а чего не хватает, по карте глубины и преобразованию камеры.
Он в значительной степени зависит от качества карт глубины и использует предположение, что SD имеет неявные знания о геометрии сцены на изображении. Таким образом, он может правдоподобно закрашивать недостающие части без явного знания трехмерных сеток сцены.
Он интерполирует отсутствующую информацию, «деформируя» пространство, что хорошо для художественных или триповых видео, но не подходит для реалистичной анимации.
Если хотите узнать больше про "Pointcloud Occlusion Inpainting with Stable Diffusion" и анимацию, читайте тред в Твитторе - пример того, как AI Filmmaking приобретает черты технологии, а не только восторженных демок в телеграмме.
https://twitter.com/cut_pow/status/1576748595109593088