3D Gaussian Splatting of the collapsed Baltimore Key Bridge.

Вот и гауссианы пригодились в деле.

Твит
Реддит
Покрутить самим тут

@derplearning

Совершенно невероятный экспириенс получаю в последнее время, когда просматриваю разнообразные эксперименты с видеогенерацией.

Я совершенно точно понимаю и чувствую, что это новый инструмент, ретроспективно сравнивая его с инструментами прошлого, такими как появление кисти и цвета в искусстве.

Его нельзя взять в руки, и он не оставит характерный штрих, как мастихин, потому что не является продолжением механики рук; на нем нет воздействия антропоморфности человеческого тела.

Этот инструмент рождается и будет развиваться как продолжение мозга, в пластичности и симбиозе машины и сознания человека.

По значимости он превзойдет появление компьютерной графики, как если бы сравнить ее с рисунками на камнях и живописью 15-16 веков.

И да, эти мысли оформились в текст после просмотра Шрека в стилистике голливуда 50-х, 60-х годов.

В рамках GTC показали новые алгоритмы для Splat'ов. Lixel CyberColor (LCC) поделились новыми алгоритмами сжатия; по сравнению с конкурентами, до 90% уменьшили размеры финальных файлов.

И что самое интересное, показали работу нового алгоритма, который убирает артефакты и шум, которые обычно появляются в сплатах. Очень надеюсь, что это не очередная армия индийцев, очищающих облака точек. Ветки деревьев все еще создают проблемы -_-.

Какие же у Маска ахиренные презентации. Эта — про ближайший 4-й запуск.

На мероприятии в SpaceX Маск рассказал про то, как планирует колонизировать Марс, о строительстве марсианской базы, планах переселить на планету до миллиона человек. И примерно столько же тонн груза необходимо будет доставить на планету.

Но сначала база должна быть построена на Луне (Moonbase Alpha). Также он планирует организовать космическую бензоколонку и дозаправлять ракеты на пути к Марсу и Луне. Слайды в комментариях.

Ну правда очень же красиво! Жаль только билд ранний(

Marigold — наверное, лучший Depth Estimator из тех, что я встречал. Кроме того, что он детальнее остальных работает с объектами, он также может вытаскивать глубину из видео.

Детализация лучшая, но для моих задач не подходит все равно. Местами ему очень сложно работать с ровными поверхностями, и диапазон глубины определяет с довольно большими погрешностями, но для постэффектов подойдет вполне.

Есть версия турбо, есть более медленная и детальная.
Линк

Страница проекта

Как я вижу себе ближайшее изменение пайплайнов.

На вход подаешь либо блокаут, либо статичную картинку сгенерированную чем либо.
Дальше получаешь с этого всю необходимую информацию по поводу ракурсов, в случае с 3D блокаутом информацию конечно же получить проще.

На следующем этапе генерируешь текстуру в скомбайненом виде, если все устраивает, вытаскиваешь все необходимые мапы, в виде глубины, нормалей и альбедо и рафнеса с металиком и т.д.

Потом отправляешь все это в доработку для финального полиша.
Вы великолепны, вот вам следующий ассет, уровень, персонаж, оружие, техника и т.д.

Пайплайн, 3D софт -> krea.ai -> tripoSR

Смотрите и запоминайте, вот эти приемы с ними точно работать не будут!
#Урок самообороны №17, год 2034.

Во время солнечного затмения, кроме прочих, можно наблюдать интересные эффекты от перекрывающих друг друга листьев.

Эффект камеры-обскуры иногда может возникать естественным путем. Небольшие «отверстия», образованные промежутками между перекрывающимися листьями деревьев, будут создавать копии изображений солнца на плоских поверхностях. Во время затмения образуются небольшие полумесяцы в случае частичного затмения или полые кольца в случае кольцевого затмения. Диско-шары также могут функционировать как естественные отражающие камеры-обскуры.

Сан-Францисское муниципальное транспортное агентство (SFMTA) до сих пор использует флоппи-диски в своей железнодорожной системе, несмотря на то что технология устарела более чем на два десятилетия. Эта система, установленная в 1998 году как что то супер технологичное, все еще остается в эксплуатации, подчеркивая необычный симбиоз древней технологии и современного транспорта.

SFMTA было первым в США, кто внедрил использование флоппи-дисков в эпоху, когда компьютеры еще не имели жестких дисков, что требовало загрузки программного обеспечения непосредственно с дискет. Сегодня сотрудники каждое утро продолжают загружать на компьютеры данные для автоматики управления поездами метро с этих дисков.

Несмотря на исправную работу системы, в SFMTA осознают риски и предвидят, что модернизация займет около десяти лет и обойдется в сотни миллионов долларов.

Ближайшее по интересности событие по теме генерации трехмерных объектов начнется 28 июля на Scigraph.

На нем, в частности, покажут Clay (Controllable Large-scale Generative Model). Очень надеюсь, не зря они ее назвали controllable. На видео видно, что там появится какой-то намек на настройки, симметрия, как минимум.

И если посмотреть на модель шлема, то, может быть, можно понадеяться на то, что генерации будут нормально работать с хардсерфейсными объектами, а не превращать их в обмылки. Типичная проблема всех трехмерных генераций.

Надеяться на то, что он вам качественно сделает газообразные грибы с крыльями, не стоит, но на что-то, что есть в реальном мире, хотелось бы верить, что сможет.

Информации пока очень мало, статья готовится, а пока вот пустая страница проекта.

Какая-то невероятная тяга в последнее время появилась к ретро. Это наблюдается на разных уровнях, от социальных до политических. Возможно, для баланса технологической сингулярности, люди пытаются укрыться во всем старом, понятном и прогнозируемом.

Это, видимо, и произошло с фильтром, пародирующим консольную графику нулевых.

TikTok (и не только он) тут же подхватывает новый тренд и делает AI-фильтр, который переделывает тебя в стилистику древних игр на PlayStation.

История началась в уютном уголке сабреддита Midjourney еще в ноябре, а до всего интернета дошла в марте, благодаря парню, чей тикток взорвал просмотры, перевалив за миллион. Теперь вот эти кадры везде: и на обложках альбомов крутятся, и в фотосессии для Balenciaga и на аватарках и много где еще.

Молодой 32-летний Ян ЛеКун в 1989 году впервые демонстрирует свою сверточную нейросеть по распознаванию цифр в различном написании. В 88-м году он впервые предлагает концепцию работы таких сетей. С более интересными фактами мы вернемся к вам еще через 36 лет.

Только что Tencent выкатил модель Instant Mesh, попробовать уже можно тут.

В отличие от остальных моделей, которых я, наверное, тонну перепробовал, в этой показан процесс генерации дополнительных ракурсов, т. к. модель на входе работает только с одним ракурсом и на основе дополнительных видов достраивает геометрию. Вполне неплохо держит контекст исходной картинки.

Прекрасно, дайте нам возможность управлять этими ракурсами, пусть мы сможем догенерировать с каждого вида то, что нам нужно. И раз геометрия почти на лету просчитывается, дайте возможность примитивами ее достраивать.

То, что сетка и текстуры такие мыльные, это вообще не проблема для демки, у нее задача другая. В целом это вообще не проблема, как вы понимаете.

Мало кто пока знает, что в Unreal 5.5 появится поддержка Nanite skeletal mesh. Сейчас это можно попробовать из кастомной сборки на GitHub, но фича скоро появится для всех.

На видео дракон с включённой тесселяцией в 1.8 миллиона полигонов, и чувствует себя нормально. То же самое нам обещают и для частиц; уже есть успешные кейсы.

Пайплайны подстраиваются под маски и vertex color. А на персонажах пока ограничиваются включённым дисплейсментом.

Нетерпится уже увидеть Gears 6, со всеми фишечками UE5.

небольшой тизер-анонс двух долгожданных инструментов для 3DGS. видео выше сделано с их помощью.

первый - плагин для AE. чтобы импортировать сплаты в афтер, использовать по классике параллельно с текстом и любыми 3д слоями, а еще лихо навешивать на сплаты различные эффекты. считанные часы до релиза!

второй - аддон для Блендера. позволяет "запечь" 3д сцену - со всеми материалами и освещением в формат ply, чтобы дальше отправить это в AE, Unity, UE, Touchdesigner или вообще встроить на сайт. аддон пока дорабатывается но уже показал хорошие результаты.

кстати черепушку из видео можно покрутить по этой ссылке (к сожалению смартфоны пока не тянут). а готовый сплат ищи в комментах

@тоже_моушн

Короткая лекция Джефри Хинтона о природе и сходстве сознания и алгоритмов, использующихся в разработке ИИ, LLM-моделях и трансформерах.

Большой блок посвящен разнице аналоговых и цифровых алгоритмов и способам их эволюции, эффективности и энергоемкости.

Слушая о синтетических галлюцинациях, интуиции и подходе к мышлению человека и алгоритмов, складывалось ощущение, что Хинтон абсолютно не сомневается в превосходстве машин над человеческим мышлением в ближайшем будущем. Это становится абсолютно очевидным, как восход солнца. И тут же он поправляется в сроках экспоненциального роста машинного интеллекта, смещая дату с 40-50-х годов до примерно 30-35-х.

Не нужно думать о том, что алгоритмы принесут исключительно процветание; скорее, это будет похоже, на каком-то этапе, на борьбу самцов шимпанзе за место вожака в стае.

Ну и приятного аппетита!

https://youtu.be/QF9h-DdvEnY?si=h_C_nBz2Jae7e146