И ещё генераций от Imagen.
Жаль, пока нет ни кода, ни публичного API. Но я верю в открытость гугла больше чем OpenAI.
@Artem Gradient
Жаль, пока нет ни кода, ни публичного API. Но я верю в открытость гугла больше чем OpenAI.
@Artem Gradient
Буоно серата, мужички и дамы,
Каждое второе сообщение в моей личке выглядит примерно так: "как вкатиться в AI, брат?".
Для начала расскажу вам коротко свой путь самурая. Впервые я потыкал ML и обучил SVM в махровом 2013 в Школе Анализа Данных Яндекса. Мне эта возня с данными понравилась, и на последнем курсе шараги я стал подыскивать себе программу PhD за бугром. Долго не думая, перед новым годом, я разослал примерно дохульён емейлов со своим резюме и получил около 10 ответов и впоследствии два с половиной офера. Затем пришлось изрядно попотеть, доказывая, что я не верблюд с беларуским дипломом. Не знаю, как мне удалось убедить Бундестаг, чтобы они отсыпали денег на аспирантуру именно мне, а не другим немецким студентам.
Я был счастлив. Но длилось это недолго. Минул примерно год, и я начинал ощущать какую-то тяжесть, как будто на запястьях что-то защелкивалось, слегка прибивая меня к земле. Это были небольшие, но увесистые кандалы, по гирьке на каждую ногу и руку, которые мне мило навесил профессор. Требовались исключительные достижения (3-5 статей на топовых конференциях) и удачное стечение обстоятельств, чтобы крепостной получил вольную. Не смотря на это, я почти в самоволку дважды убежал на стажировку в индустрию (в одну из ныне запрещенных в РФ организаций). Итого, 5-лет веселого рабства в старинном немецком вузе завершилось получением мной вольной грамоты по случаю защиты докторской диссертации в Компукторном Зрении.
Продолжение следует.
#мойпуть
@Artem
Каждое второе сообщение в моей личке выглядит примерно так: "как вкатиться в AI, брат?".
Для начала расскажу вам коротко свой путь самурая. Впервые я потыкал ML и обучил SVM в махровом 2013 в Школе Анализа Данных Яндекса. Мне эта возня с данными понравилась, и на последнем курсе шараги я стал подыскивать себе программу PhD за бугром. Долго не думая, перед новым годом, я разослал примерно дохульён емейлов со своим резюме и получил около 10 ответов и впоследствии два с половиной офера. Затем пришлось изрядно попотеть, доказывая, что я не верблюд с беларуским дипломом. Не знаю, как мне удалось убедить Бундестаг, чтобы они отсыпали денег на аспирантуру именно мне, а не другим немецким студентам.
Я был счастлив. Но длилось это недолго. Минул примерно год, и я начинал ощущать какую-то тяжесть, как будто на запястьях что-то защелкивалось, слегка прибивая меня к земле. Это были небольшие, но увесистые кандалы, по гирьке на каждую ногу и руку, которые мне мило навесил профессор. Требовались исключительные достижения (3-5 статей на топовых конференциях) и удачное стечение обстоятельств, чтобы крепостной получил вольную. Не смотря на это, я почти в самоволку дважды убежал на стажировку в индустрию (в одну из ныне запрещенных в РФ организаций). Итого, 5-лет веселого рабства в старинном немецком вузе завершилось получением мной вольной грамоты по случаю защиты докторской диссертации в Компукторном Зрении.
Продолжение следует.
#мойпуть
@Artem
Уже появился код для Imagen от энтузиаста
Кстати, оригинальная модель ничего так генерит по запросу "корова на пляже".
UPD: Жаль, что код на гитхабе пока не дотягивает до оригинала.
UPD2: это была первоапрельская шутка от Сени. Кода Imagen пока нет. Иногда стоит изредка читать историю коммитов 😅.
https://github.com/cene555/Imagen-pytorch
Кстати, оригинальная модель ничего так генерит по запросу "корова на пляже".
UPD: Жаль, что код на гитхабе пока не дотягивает до оригинала.
UPD2: это была первоапрельская шутка от Сени. Кода Imagen пока нет. Иногда стоит изредка читать историю коммитов 😅.
https://github.com/cene555/Imagen-pytorch
"Сири, я хочу быть как толстый Iron Man, но чтобы без шлема и с татухой на лице как у Тайсона"
Амэйзинг! Чудо инженерии! Этот метод позволяет сгенерить 3D модель аватара и анимировать его, используя только текстовый запрос. Вот так легко в будущем будут создаваться аватары для кожаных мешков в метаверсе.
Под капотом адская комбинация нескольких нейронок. Самое основное это CLIP, который направляет генерацию 3Д модели с помощью нейронного рендеринга. Можно потыкать в колабе.
- AvatarCLIP: Zero-Shot Text-Driven Generation and Animation of 3D Avatars -
❱❱ Сайт ❱❱ Код ❱❱ Колаб
@Artem Gradient
Амэйзинг! Чудо инженерии! Этот метод позволяет сгенерить 3D модель аватара и анимировать его, используя только текстовый запрос. Вот так легко в будущем будут создаваться аватары для кожаных мешков в метаверсе.
Под капотом адская комбинация нескольких нейронок. Самое основное это CLIP, который направляет генерацию 3Д модели с помощью нейронного рендеринга. Можно потыкать в колабе.
- AvatarCLIP: Zero-Shot Text-Driven Generation and Animation of 3D Avatars -
❱❱ Сайт ❱❱ Код ❱❱ Колаб
@Artem Gradient
This media is not supported in your browser
VIEW IN TELEGRAM
Вот несколько примеров генерации AvatarClip.
Media is too big
VIEW IN TELEGRAM
Neural 3D Reconstruction in the Wild
Нейронные рендеры уверенно шагает вперед. NVIDIA недавно показала, на что они способны в плане реалистичного рендеринга. Теперь другие учёные уже даже замахиваются на COLMAP в борьбе за качество реконструкции формы.
Вот недавняя статья с SIGGRAPH 2022, где ребятки получают довольно хорошую реконструкцию поверхности больших сцен in-the-wild из набора интернет фотографий.
Например, на видео - 3D реконструкция Браденбургских ворот в Берлине.
@Artem Gradient
Нейронные рендеры уверенно шагает вперед. NVIDIA недавно показала, на что они способны в плане реалистичного рендеринга. Теперь другие учёные уже даже замахиваются на COLMAP в борьбе за качество реконструкции формы.
Вот недавняя статья с SIGGRAPH 2022, где ребятки получают довольно хорошую реконструкцию поверхности больших сцен in-the-wild из набора интернет фотографий.
Например, на видео - 3D реконструкция Браденбургских ворот в Берлине.
@Artem Gradient
Вы, возможно, заметили, что у меня есть ещё один канал @gradientdude. Там я пишу о статьях на английском, и обычно с более подробными техническими деталями. Вот, например, более подробно про Neural 3D reconstruction in the wild из предыдущего поста.
Если вам такая бодяга нравится, то подписывайтесь туда тоже.
Если вам такая бодяга нравится, то подписывайтесь туда тоже.
Telegram
Gradient Dude
Neural 3D Reconstruction in the Wild”
[SIGGRAPH 2022]
When will neural-based approaches beat COLMAP in terms of both speed and quality of the surface reconstruction? Here is the Neural Rendering method tackling the quality part.
Authors show that with a…
[SIGGRAPH 2022]
When will neural-based approaches beat COLMAP in terms of both speed and quality of the surface reconstruction? Here is the Neural Rendering method tackling the quality part.
Authors show that with a…
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn)
HairCLIP
Ну, за грумеров, не чокаясь.
Грумеры для бумеров - это те, кто стрижет кошек и собак.
Грумеры для зумеров - это странные люди, которые делают цифровые прически 3Д-моделям и аватарам.
Мое знакомство с Maya Fur и Maya Hair приводило меня в ужас, это был неуправляемый хаос из которого надо было слепить что-то хотя бы приблизительно похожее на референс. Я даже мастеркласс с испугу прочитал на Сигграфе по этому поводу.
Время шло, груминг стал обычной [под]профессией и частью пайплайна.
И тут подкрались нейросетки.
В общем вот вам еще одна работа в духе "This Hair does not exist".
Более того, там можно самому попробовать пририсовать усы, пардон, волосы, на голову любимой учительницы.
Ну и если метаверсить на будущее, то рынок цифровых причесок, похоже будет вторым после рынка цифровых шмоток. Ибо аватар не будет ходить в одном и том же два дня подряд.
https://huggingface.co/spaces/Gradio-Blocks/HairCLIP
Ну, за грумеров, не чокаясь.
Грумеры для бумеров - это те, кто стрижет кошек и собак.
Грумеры для зумеров - это странные люди, которые делают цифровые прически 3Д-моделям и аватарам.
Мое знакомство с Maya Fur и Maya Hair приводило меня в ужас, это был неуправляемый хаос из которого надо было слепить что-то хотя бы приблизительно похожее на референс. Я даже мастеркласс с испугу прочитал на Сигграфе по этому поводу.
Время шло, груминг стал обычной [под]профессией и частью пайплайна.
И тут подкрались нейросетки.
В общем вот вам еще одна работа в духе "This Hair does not exist".
Более того, там можно самому попробовать пририсовать усы, пардон, волосы, на голову любимой учительницы.
Ну и если метаверсить на будущее, то рынок цифровых причесок, похоже будет вторым после рынка цифровых шмоток. Ибо аватар не будет ходить в одном и том же два дня подряд.
https://huggingface.co/spaces/Gradio-Blocks/HairCLIP
Стать художником никогда не было так легко, как сейчас, с момента изобретения цифровой камеры
DALL-E 2, как и предыдущие системы преобразования текста в изображение, генерирует картинку из фрагмента текста. Aaron Hertzman написал на днях занятный пост, где он размышляет о text2image генерации, и о DALLE-2 в частности. Что модель может генерировать, что не может,
как устроен креативный процесс... В общем интересное чтиво, учитывая что Аарон имеет бекграунд как в CS, так и в искусстве.
Прикрепляю несколько интересных DALLE-2 картин от Аарона:
1. “Hip Indian computer scientist who enjoys art and calisthenics, in the style of Kehinde Wiley"
2. “Kehinde wiley artwork of a female asian scientist doing construction labor”
3. "Stanford bunny, 3d model"
4. "Homer Simpson in 3d on a grid surrounded by geometry"
5. “An IT-guy trying to fix hardware of a PC tower is being tangled by the PC cables like Laokoon. Marble, copy after Hellenistic original from ca. 200 BC. Found in the Baths of Trajan 1506”
@Artem Gradient
DALL-E 2, как и предыдущие системы преобразования текста в изображение, генерирует картинку из фрагмента текста. Aaron Hertzman написал на днях занятный пост, где он размышляет о text2image генерации, и о DALLE-2 в частности. Что модель может генерировать, что не может,
как устроен креативный процесс... В общем интересное чтиво, учитывая что Аарон имеет бекграунд как в CS, так и в искусстве.
Прикрепляю несколько интересных DALLE-2 картин от Аарона:
1. “Hip Indian computer scientist who enjoys art and calisthenics, in the style of Kehinde Wiley"
2. “Kehinde wiley artwork of a female asian scientist doing construction labor”
3. "Stanford bunny, 3d model"
4. "Homer Simpson in 3d on a grid surrounded by geometry"
5. “An IT-guy trying to fix hardware of a PC tower is being tangled by the PC cables like Laokoon. Marble, copy after Hellenistic original from ca. 200 BC. Found in the Baths of Trajan 1506”
@Artem Gradient