#unrealneural
MV-RAG: Retrieval Augmented Multiview Diffusion

TextTo3D генерация продвинулась вперед. MV-RAG – новый конвейер преобразования текста в 3D, который сначала извлекает релевантные двумерные изображения из большой базы данных 2D-данных, а затем обуславливает на этих изображениях многоракурсную модель диффузии для синтеза согласованных и точных многоракурсных результатов.
MV-RAG совершенствует генерацию многоракурсных изображений, объединяя внутренние знания предобученной многоракурсной модели с внешними визуальными сигналами, полученными из большой базы данных изображений. На этапе вывода полученные двумерные изображения кодируются в токены с помощью кодировщика изображений, а затем обучаемого ресемплера. В многоракурсной модели диффузии трёхмерные слои собственного внимания обеспечивают согласованность между сгенерированными представлениями. Каждый слой перекрёстного внимания затем работает в двух параллельных ветвях: одна обусловлена ​​текстовыми токенами, а другая — полученными токенами изображений. Их выходные данные объединяются с использованием коэффициента слияния, прогнозируемого модулем Prior-Guided Attention.
https://yosefdayani.github.io/MV-RAG/