Нейросеть Point-E от OpenAI генерирует 3D-модели
Генерация происходит по текстовому запросу. Строго говоря, на выходе не совсем 3D-модели, а облака точек. Они получаются при последовательном взаимодействии двух встроенных моделей: «текст-в-изображение» по типу Stable Diffusion и «изображение-в-3D».
Последняя обучалась на наборе изображений, связанных с 3D-моделями объектов. Разработчики дополняют генерацию точек mesh-системой, которая конвертирует облако точек в изображение, но она работает ещё не очень хорошо.
По мере развития подобные генеративные технологии могут совершить настоящий прорыв во множестве областей —от наполнения объектами метавселенных, игр и фильмов до дизайна реальных интерьеров и 3D-печати.
#нейросеть #генерация #3D #AI
https://click.mail.ru/redir?u=https%3A%2F%2Ftechcrunch.com%2F2022%2F12%2F20%2Fopenai-releases-point-e-an-ai-that-generates-3d-models%2F&c=swm&r=http&o=mail&e=1672136571&v=2&s=e7606e6260358859
Генерация происходит по текстовому запросу. Строго говоря, на выходе не совсем 3D-модели, а облака точек. Они получаются при последовательном взаимодействии двух встроенных моделей: «текст-в-изображение» по типу Stable Diffusion и «изображение-в-3D».
Последняя обучалась на наборе изображений, связанных с 3D-моделями объектов. Разработчики дополняют генерацию точек mesh-системой, которая конвертирует облако точек в изображение, но она работает ещё не очень хорошо.
По мере развития подобные генеративные технологии могут совершить настоящий прорыв во множестве областей —от наполнения объектами метавселенных, игр и фильмов до дизайна реальных интерьеров и 3D-печати.
#нейросеть #генерация #3D #AI
https://click.mail.ru/redir?u=https%3A%2F%2Ftechcrunch.com%2F2022%2F12%2F20%2Fopenai-releases-point-e-an-ai-that-generates-3d-models%2F&c=swm&r=http&o=mail&e=1672136571&v=2&s=e7606e6260358859
TechCrunch
OpenAI releases Point-E, an AI that generates 3D models
The next breakthrough to take the AI world by storm might be 3D model generators. This week, OpenAI open sourced Point-E, a machine learning system that creates a 3D object given a text prompt. According to a paper published alongside the code base, Point…
Nvidia научила ИИ генерировать видео по текстовому описанию с высоким разрешением
ИИ-модель VideoLDM, разработанную в сотрудничестве с Корнельским университетом, американская компания представила на конференции IEEE по компьютерному зрению и распознаванию образов.
Видео генерируется в разрешении до 1280x2048 и состоит из 113 кадров, длина которых чуть менее пяти секунд. Главные ее преимущества – создание разнообразных и согласованных во времени видео высокого разрешения с высоким качеством.
На демонстрационных роликах можно увидеть, например, как играет на гитаре лягушка по текстовому запросу: «лягушка, играющая на гитаре в группе». Или кадры волн, разбивающихся о маяк, в ответ на запрос: «волны разбиваются об одинокий маяк, зловещее освещение».
Кроме того, модель способна генерировать видео сцен вождения – с различными сценариями и окружающей обстановкой. Но пока разработка является лишь исследовательским проектом – NVIDIA не анонсирует, когда модель появится в открытом доступе.
#Nvidia #ИИ #генерация
https://research.nvidia.com/labs/toronto-ai/VideoLDM/
ИИ-модель VideoLDM, разработанную в сотрудничестве с Корнельским университетом, американская компания представила на конференции IEEE по компьютерному зрению и распознаванию образов.
Видео генерируется в разрешении до 1280x2048 и состоит из 113 кадров, длина которых чуть менее пяти секунд. Главные ее преимущества – создание разнообразных и согласованных во времени видео высокого разрешения с высоким качеством.
На демонстрационных роликах можно увидеть, например, как играет на гитаре лягушка по текстовому запросу: «лягушка, играющая на гитаре в группе». Или кадры волн, разбивающихся о маяк, в ответ на запрос: «волны разбиваются об одинокий маяк, зловещее освещение».
Кроме того, модель способна генерировать видео сцен вождения – с различными сценариями и окружающей обстановкой. Но пока разработка является лишь исследовательским проектом – NVIDIA не анонсирует, когда модель появится в открытом доступе.
#Nvidia #ИИ #генерация
https://research.nvidia.com/labs/toronto-ai/VideoLDM/
Nvidia
Align your Latents: High-Resolution Video Synthesis with Latent Diffusion Models
We develop Video Latent Diffusion Models (Video LDMs) for computationally efficient high-resolution video synthesis. We first pre-train an LDM on images only; then, we turn the image generator
into a video generator by introducing a temporal…
into a video generator by introducing a temporal…