Вышел Lens Studio 4.0

Мобильный (и особенно Social) AR развивается семимильными шагами. На днях Снепчат порадовал свежим релизом с кучей новых крутейших фич. Конечно, я это уже несколько месяцев тестировал как Official Lens Creator, так что для меня сюрпризом не стало ;)

Что нового?
— Connected Lenses. Можно передавать инфу между девайсами. Привет мультиплеерные игры!
— Scan. Нейронка умеет находить до 500 типов объектов. К примеру можно проверить, если ли в кадре стул.
— 3D Body Mesh. Как фейсмеш, только для тела (работает криво). Напомню, что в Lens есть трекинг тела в 3D.
— VFX Editor. Сделали наконец нормальную систему частиц, уже почти уровень Spark AR.
— ML Audio. Добавили аудиореактив как в Спарке + распознавание некоторых звуков.
—  Hair/Cloth simulation. Симуляция физики волос и ткани. Топ фича! (Что-то подобное я разрабатываю сейчас под Спарк).

Обязательно попробуйте #LensStudio!

Что круче?
#SparkAR #LensStudio

Многие постоянно сравнивают Spark AR и Lens Studio — мол, посмотрите, какие крутые фичи постоянно завозит Снепчат, а Спарк радует только новыми багами. Сравнивать, конечно, неправильно.

Во-первых, Спарк младше на несколько лет, и то что в Ленз уже давно есть, им приходится реализовывать только сейчас. Тем не менее, они активно догоняют.

Во-вторых, Снепчат — это по сути, только Снепчат. Спарк разрабатывается под Инстаграм, Фейсбук, видеозвонки в Мессенджере и Портале и еще кучу всего (больше сказать не могу, вы знаете правила). Это требует колоссальных усилий по унификации платформ и допиливанию под сотни и тысячи разных устройств.

Кстати, Спарк продвигает совсем иную парадигму разработки для криэйторов. Уникальная система патчей, совмещающая логику и визуал, снизила порог входа в разработку практически до нуля — любой человек может сделать эффект просто по уроку с Ютуба.

Что у нас в Ленз? Да, куча фич. Да, куча шаблонов. Но как только вы захотите сделать шаг в сторону и запилить что-то сложнее скрытия или движения объекта по триггеру, придется окунуться в прекрасный (нет) мир программирования на Javascript. Да, без патчей. Да, писать код. Нет, Script Graph даже рядом не стоял.

И если люди в Спарке даже на патчах с трудом рандом с музыкой делают, что что будет в Ленз?

BODY THIEF
#LensStudio

Когда-то давно я сделал эффект, позволяющий воровать лица у людей и натягивать их на себя. А еще сохранять для последующего использования.

Двигаемся дальше — собрал прототип копирования тела одного человека на другого. Текстура тела копируется в 3D — можно улучшить и делать два скана (спереди и сзади), получая достаточно неплохую 3D-копию.

На живых еще не проверял, но уже понятно, что надо копировать так, чтобы руки были не на теле (иначе отпечатываются). Релиз — когда-нибудь.

Рисовалка
#LensStudio

Snapchat очень любит праздники и события — на каждый из них они делают подборку тематических эффектов. Помимо прочих, сейчас отмечается Back to School.

Специально к ивенту сделал линзу в виде школьной доски, которую можно разместить в пространстве и рисовать разноцветными мелками.

https://www.snapchat.com/unlock/?type=SNAPCODE&uuid=d318f306ba354689877e00267f22489f&metadata=01

Уменьшитель кошачьих морд
#lensstudio

Вы же не думали, что я бы сделал что-то нормальное? https://www.snapchat.com/unlock/?type=SNAPCODE&uuid=cea29e747be44532a2dd512beb2e6498&metadata=01

Дубликатор людей
#LensStudio #Snapchat

Наконец завершил проект, который начал еще очень давно: https://lens.snapchat.com/2b6e883aa5bf4effaf2a09b792847720

Как вы наверняка знаете, в Снепчате есть 3D body reconstruction — алгоритм, который строит трехмерную репрезентацию тела пользователя в реальном времени. Короче, как фейсмеш, только для тела и не очень точно.

В общем, я придумал способ это дело немного стабилизировать и извлекать из него проекцию текстуры так, чтобы ее можно было потом натягивать на других людей.

Итог по ссылке выше. Можно отсканировать человека и натянуть его на другого (с головой или без). Самое веселое, что можно сканить не только живого человека - подойдет даже фотка.

Привязка к объектам реального мира: Landmarks
#Snapchat #LensStudio

Недавно из бета-теста в Снепчате вышла новая фича: можно отсканировать объект (например, скульптуру или кусок входа здания) и научить линзу распознавать, привязывая к нему 3D и эффекты.

Пока работает с небольшими объектами 2-3 метра размером. Сканировать можно только на девайсах с LiDAR: iPhone 12 Pro / 13 Pro / Max, новых айпадах и некоторых топовых андроидах. А вот просмотр должен работать везде!

Это небольшой, но еще один шаг вперед к настоящей дополненной реальности, иммерсивным пространствам и метавселенным, которые пока что маячат где-то далеко в будущем (там же, где и нормальные AR-очки): напишу об этом в следующий раз.

Документация


🔴 @reptiloidnaya × #ar #snapchat