Привет, Друзья!

Вот вам немного хлебушка, сгенеренного с помощью Guided Diffusion.

Нажав на картинку снизу, можно листать. Там четыре булки.

NPBG++: Accelerating Neural Point-Based Graphics
Статья из Сколтеча!

Это альтернатива мейнстримному нейронному рендерингу, где учится неявная репрезентация плотности либо поверхность. В этом методе новые картинки рендерятся из облака точек.

Авторы прокачали предыдующую статью, где дескрипторы точек учились для каждой сцены отдельно. Тут дескрипторы для каждой точки в облаке предсказываются нейронкой за один прогон, то есть одна и таже нейронка может работать на многих сценах.

Метод коротко: запускаем COLMAP, получаем облако точек + позиции камер, далее прогоняем входные картинки через CNN, получаем дескрипторы для каждой точки в облаке. Затем мы растеризуем 3D точки вместе с их дескрипторами и прогоняем это все через U-Net, который рендерит итоговую картинку.


>> Сайт проекта >> АрХив

Примерно вот так выглядит пайплайн NPBG++.

Друзья, увидел прикольную вариацию нерфа "Neural RGB-D Surface Reconstruction". Нерф обучили на RGBD сканах и таким образом могут достойно восстанавливать поверхности,а не только рендерить сцену с новых углов. Обычно neural radiance fields очень плохо восстанавливают именно форму предметов, но это не мешает им получать качественный рендеринг.

Киберпанк по-русски: бабушка помогает роверу перейти через дорогу. Как мило!

Вы, кстати, знали про nvitop? Это просто красиво, да еще и утилизациию видюшек показывает.

Тут есть целый блогпост про разные варианты мониторинга ваших GPU.

Задача сортировки маленьких массивов данных примитивных типов является частой операцией во многих алгоритмах. Для скорости важно уметь компилировать алгоритм сортировки в наименьшее количество ассемблерных инструкций и без ветвлений. Так вот, парни из DeepMind натравили сетку MuZero на эту задачу, чтобы она с помощью Reinforcement Learning поискала, как улучшить существующие алгоритмы сортировки.

До этого:
Sort3 компилировалася в 18 инструкций (3 элемента за 3 сравнения)
Sort4 - в 28 (4 элемента за 5 сравнений)
Sort5 - в 46 (5 элементов за 9 сравнений).

MuZero:
Нашла как сделать sort3 за 17 инструкций, sort5 за 43!!! Это прям круто и очень неожиданно! Тут пожно посмотерть патч в llvm.

Подробнее в посте у experimentalchill.

Вышло обновление Disco Diffusion 5.1 для генерации картинок и видео.

Телега шакалит качество 😢

-> Ссылка на колаб

Вы читаете о множестве продвинутых алгоритмов и чувствуете, как синдром самозванца кусает вас в этот самый момент? Не волнуйтесь, это нормально, особенно если вы Дата Саентист или специалист по AI.

Надеюсь, вы понимаете, о чем я говорю — бывают моменты, когда вы хотите погрузиться по шею в конкретный алгоритм, прочитать о том, как эксперты использовали его для решения бесчисленных проблем, и вы также хотите внести свой вклад, набравшись опыта. А в следующий момент вы видите, как ваши коллеги обсуждают новый алгоритм/технологию, и вы тоже хотите ее изучить. Но наше время ограничено, и мы можем успеть сделать не так много. Мы должны выбирать между широкими поверхностными знаниями или узкими глубинными знаниями.

Подробнее о том, как не потеряться в потоке проф. информации и не чувствовать себя глупцом можно почитать тут.

Хитрая Латентная Диффузия после обучения на гигантском датасете впервые почти научилась генерировать почти нормальный текст. Подробности про модель в следующем посте.

Го тестить колаб.

⚡️Latent Diffusion

Парни из моей научной группы (Heidelberg Uni + LMU) запилили соту в text-to-image генерации!

Новая моедель - Latent Diffusion умеет генерить картинки из воздуха, так же как и по классовому лейблу, семантической сегментации или по текстовому описанию. Более того она может и в super-resolution, и зарисовывать дыры в картинках.

Классические диффузионные модели довольно громоздкие и медленные. Главный трюк нового метода - это запуск дифуззионного процесса на скрытых векторах в ботленеке автоэнкодера, вместо сырых пикселей, как это делалось раньше. За счет этого стало возможным найти сладкий баланс между экспрессивностью модели и ее громоздкостью. То есть такую диффузию можно обучить (и тестировать) за адекватное время на умеренных вычислительных ресурсах. Парни тренили на одной NVIDIA A100.

Потыкать можно в код или в колаб. А подробнее про метод - в статье

​​Тут еще пара примеров генерации по тексту.

Тренится Latent Diffusion от 6 до 32 дней на одной V100, либо от 3 до 14 на одной A100 GPU*.

*A100 примерно в 2.2 раза быстрее V100 на этой задаче.

Я просто оставлю это здесь.
Киберпанк небоскреб от Ван Гога.