LiDAR в #SparkAR

Совсем скоро в Spark AR будет доступен сенсор глубины, который позволяет определять реальную форму окружающего пространства. В качестве теста сделал Матрицу :) Первый и единственный такой эффект на всех просторах инстаграма: https://www.instagram.com/ar/1766215660236988/

А около года назад делал подобное в Снепчат: https://www.snapchat.com/unlock/?type=SNAPCODE&uuid=482fdcadbcc54c189aa88df162f139c3&metadata=01. Но в Инстаграме, конечно, все оказалось в разы сложнее.

Работает только на iPhone 12 Pro / 13 Pro / Max и в новых iPad.

Пространственный трекинг в #SparkAR

С Plane Tracker в Spark AR знакомы все — кидаете в него объект, и он цепляется к плоским поверхностям, например, к полу. И также все знакомы с тем, насколько он нестабилен.

Это происходит потому, что трекер способен определять плоские поверхности, но не всегда может точно определить, насколько далеко они расположены — именно поэтому объекты часто съезжают при движении камеры. На айфонах 12 про и 13 про помогает включение real world scale (и то не всегда).

Однако, сам телефон знает свое положение в пространстве с очень высокой точностью — и это можно использовать для значительного улучшения качества трекинга.

Работает очень просто: добавьте в сцену Plane Tracker, а сам объект киньте за Device.

Конечно, тут целый риф подводных камней:
- перепутанная система координат: на устройстве все отображается не так, как в Спарке.
- при запуске эффекта объект будет в нулевой точке (в камере) — чтобы его увидеть, нужно отойти в сторону. Задать координаты объекта вручную тоже не получится: масштаб пространства всегда отличается, и объект будет скакать в размерах и положении.
- вы не знаете где пол и не можете ничего к нему прикреплять — все работает только для объектов, висящих в воздухе.

Сейчас работаю над модулем, который решает все вышеперечисленные проблемы:
- фиксит координаты
- всегда показывает объект перед камерой, сохраняя вертикальное положение.
- есть несколько средств для определения пола: от прямого измерения опусканием телефона, до нескольких вариантов предсказаний.

Первое видео: объект всегда перед камерой, и в нужный момент замораживается в пространстве. Кстати, работает с поворотами фронтальной камеры тоже!
Второе видео: измерение пола.

Кстати, уже обновил Multiverse: у задней камеры теперь есть два режима. Эффект запускается в spatial режиме (нужно немного подвигать камерой, прежде чем объект заморозится в пространстве). И также умеет цепляться к полу по тапу классическим способом: https://www.instagram.com/ar/1407297352977657/

Coming soon!

Маленькое, но очень важное обновление в #SparkAR v133

Наконец-то починили систему координат у плейнтрекера — если ранее в Студии ось Y всегда смотрела вверх, то при тестировании на устройстве вверх смотрела ось Z.

Это приводило к ошибкам в коде, шейдерах и даже частицах: то, что на видео, работало в Студии, но перед тестированием или загрузкой реального эффекта требовалось менять оси в настройках эмиттера.

Теперь все и везде работает корректно.

Симуляция глубины в #SparkAR

Как уже писал выше, Spark AR получил доступ к LiDAR (на iPhone 12+ Pro/Max) и вычислению глубины на некоторых Anroid-смартфонах. Фича позволяет делать крутые эффекты с учетом реальной геометрии и формы окружающего пространства.

Однако, нормальную симуляцию в самой студии пока не завезли — разрабатывать очень неудобно. Поэтому я сделал туториал и простой шаблон, который эту задачу решает.

Видос на английском, но думаю, все должно быть понятно. Если нет, пишите вопросы в каменты.

https://www.youtube.com/watch?v=g_QYjv5eKHg

Мониторинг изменений API в Spark AR
#SparkAR #AR

Скорее всего, из моей аудитории под Спарк кодят полтора человека, но дать им полезность все равно хочется.

Я сделал репозиторий на гитхабе, который отслеживает изменения в API. О которых почти не пишут в чейнджлоге.

Причем не только публично доступные, но и некоторые внутренние, которые станут доступны в будущем. По ним можно узнать о некоторых новых будущих фичах ;)

А по коммитам удобно отслеживать изменения.

Подписывайтесь: https://github.com/Enuriru/spark-ar-types

Инстаграм опять сломал все
#SparkAR

Ну почти. В новой версии не работают все AR-эффекты, использующие трекинг лица.

Команда уже в курсе и работает над фиксом, не паникуйте.

Инверсная кинематика / симуляция ткани в Spark AR
#AR

Давно ничего не писал про наш любимый #SparkAR. Для той части моей аудитории, которая не в курсе — это движок для разработки AR-эффектов в Instagram и Facebook.

Так вот. Физические симуляции я начал разрабатывать еще год назад. Пару месяцев назад удалось увеличить производительность примерно в 30 раз.

Если ранее даже одна цепочка костей ложила FPS до 20, то теперь можно сделать 20-30 цепочек костей без падения FPS вообще на большинстве телефонов.

И теперь, кажется, наконец удалось сделать внятные коллайдеры: т.е. ваши серьги, волосы и прочие щупальца не будут проваливаться в голову.

Один из эффектов с физикой: https://www.instagram.com/ar/574299360686698/

Релиз — когда-нибудь 🤡