Media is too big
VIEW IN TELEGRAM
LiDAR в #SparkAR
Совсем скоро в Spark AR будет доступен сенсор глубины, который позволяет определять реальную форму окружающего пространства. В качестве теста сделал Матрицу :) Первый и единственный такой эффект на всех просторах инстаграма: https://www.instagram.com/ar/1766215660236988/
А около года назад делал подобное в Снепчат: https://www.snapchat.com/unlock/?type=SNAPCODE&uuid=482fdcadbcc54c189aa88df162f139c3&metadata=01. Но в Инстаграме, конечно, все оказалось в разы сложнее.
Работает только на iPhone 12 Pro / 13 Pro / Max и в новых iPad.
Совсем скоро в Spark AR будет доступен сенсор глубины, который позволяет определять реальную форму окружающего пространства. В качестве теста сделал Матрицу :) Первый и единственный такой эффект на всех просторах инстаграма: https://www.instagram.com/ar/1766215660236988/
А около года назад делал подобное в Снепчат: https://www.snapchat.com/unlock/?type=SNAPCODE&uuid=482fdcadbcc54c189aa88df162f139c3&metadata=01. Но в Инстаграме, конечно, все оказалось в разы сложнее.
Работает только на iPhone 12 Pro / 13 Pro / Max и в новых iPad.
РЕПТИЛОИДНАЯ
LiDAR в #SparkAR Совсем скоро в Spark AR будет доступен сенсор глубины, который позволяет определять реальную форму окружающего пространства. В качестве теста сделал Матрицу :) Первый и единственный такой эффект на всех просторах инстаграма: https://www.…
А теперь хорошая новость.
#SparkAR
В снепчате оно практически готовое: он сам восстанавливает геометрию (форму) окружающего мира, остается только накинуть текстуры.
А вот в инстаграме есть только карта глубины (вот эта ч/б текстура) и больше ничего.
Но как уже писал, я придумал способ достаточно неплохо восстанавливать геометрию мира в реальном времени.
А хорошая новость заключается в том, что для релиза этой новой фичи Spark AR я готовлю официальный шаблон, в котором вам нужно будет просто подключить текстуры — и все будет работать ;)
#SparkAR
В снепчате оно практически готовое: он сам восстанавливает геометрию (форму) окружающего мира, остается только накинуть текстуры.
А вот в инстаграме есть только карта глубины (вот эта ч/б текстура) и больше ничего.
Но как уже писал, я придумал способ достаточно неплохо восстанавливать геометрию мира в реальном времени.
А хорошая новость заключается в том, что для релиза этой новой фичи Spark AR я готовлю официальный шаблон, в котором вам нужно будет просто подключить текстуры — и все будет работать ;)
Пространственный трекинг в #SparkAR
С Plane Tracker в Spark AR знакомы все — кидаете в него объект, и он цепляется к плоским поверхностям, например, к полу. И также все знакомы с тем, насколько он нестабилен.
Это происходит потому, что трекер способен определять плоские поверхности, но не всегда может точно определить, насколько далеко они расположены — именно поэтому объекты часто съезжают при движении камеры. На айфонах 12 про и 13 про помогает включение real world scale (и то не всегда).
Однако, сам телефон знает свое положение в пространстве с очень высокой точностью — и это можно использовать для значительного улучшения качества трекинга.
Работает очень просто: добавьте в сцену Plane Tracker, а сам объект киньте за Device.
Конечно, тут целый риф подводных камней:
- перепутанная система координат: на устройстве все отображается не так, как в Спарке.
- при запуске эффекта объект будет в нулевой точке (в камере) — чтобы его увидеть, нужно отойти в сторону. Задать координаты объекта вручную тоже не получится: масштаб пространства всегда отличается, и объект будет скакать в размерах и положении.
- вы не знаете где пол и не можете ничего к нему прикреплять — все работает только для объектов, висящих в воздухе.
Сейчас работаю над модулем, который решает все вышеперечисленные проблемы:
- фиксит координаты
- всегда показывает объект перед камерой, сохраняя вертикальное положение.
- есть несколько средств для определения пола: от прямого измерения опусканием телефона, до нескольких вариантов предсказаний.
Первое видео: объект всегда перед камерой, и в нужный момент замораживается в пространстве. Кстати, работает с поворотами фронтальной камеры тоже!
Второе видео: измерение пола.
Кстати, уже обновил Multiverse: у задней камеры теперь есть два режима. Эффект запускается в spatial режиме (нужно немного подвигать камерой, прежде чем объект заморозится в пространстве). И также умеет цепляться к полу по тапу классическим способом: https://www.instagram.com/ar/1407297352977657/
Coming soon!
С Plane Tracker в Spark AR знакомы все — кидаете в него объект, и он цепляется к плоским поверхностям, например, к полу. И также все знакомы с тем, насколько он нестабилен.
Это происходит потому, что трекер способен определять плоские поверхности, но не всегда может точно определить, насколько далеко они расположены — именно поэтому объекты часто съезжают при движении камеры. На айфонах 12 про и 13 про помогает включение real world scale (и то не всегда).
Однако, сам телефон знает свое положение в пространстве с очень высокой точностью — и это можно использовать для значительного улучшения качества трекинга.
Работает очень просто: добавьте в сцену Plane Tracker, а сам объект киньте за Device.
Конечно, тут целый риф подводных камней:
- перепутанная система координат: на устройстве все отображается не так, как в Спарке.
- при запуске эффекта объект будет в нулевой точке (в камере) — чтобы его увидеть, нужно отойти в сторону. Задать координаты объекта вручную тоже не получится: масштаб пространства всегда отличается, и объект будет скакать в размерах и положении.
- вы не знаете где пол и не можете ничего к нему прикреплять — все работает только для объектов, висящих в воздухе.
Сейчас работаю над модулем, который решает все вышеперечисленные проблемы:
- фиксит координаты
- всегда показывает объект перед камерой, сохраняя вертикальное положение.
- есть несколько средств для определения пола: от прямого измерения опусканием телефона, до нескольких вариантов предсказаний.
Первое видео: объект всегда перед камерой, и в нужный момент замораживается в пространстве. Кстати, работает с поворотами фронтальной камеры тоже!
Второе видео: измерение пола.
Кстати, уже обновил Multiverse: у задней камеры теперь есть два режима. Эффект запускается в spatial режиме (нужно немного подвигать камерой, прежде чем объект заморозится в пространстве). И также умеет цепляться к полу по тапу классическим способом: https://www.instagram.com/ar/1407297352977657/
Coming soon!
This media is not supported in your browser
VIEW IN TELEGRAM
Маленькое, но очень важное обновление в #SparkAR v133
Наконец-то починили систему координат у плейнтрекера — если ранее в Студии ось Y всегда смотрела вверх, то при тестировании на устройстве вверх смотрела ось Z.
Это приводило к ошибкам в коде, шейдерах и даже частицах: то, что на видео, работало в Студии, но перед тестированием или загрузкой реального эффекта требовалось менять оси в настройках эмиттера.
Теперь все и везде работает корректно.
Наконец-то починили систему координат у плейнтрекера — если ранее в Студии ось Y всегда смотрела вверх, то при тестировании на устройстве вверх смотрела ось Z.
Это приводило к ошибкам в коде, шейдерах и даже частицах: то, что на видео, работало в Студии, но перед тестированием или загрузкой реального эффекта требовалось менять оси в настройках эмиттера.
Теперь все и везде работает корректно.
#SparkAR получил поддержку данных глубины
Одна из важнейших фич для настоящего AR и будущего метаверса — возможность анализировать и работать не только с плоской картинкой с камеры, но и с реальной геометрией пространства.
136 версия Spark AR получила долгожданную (но пока частичную) поддержку в виде карты глубины, которая все же открывает огромное количество новых возможностей.
Работает на iPhone 12-13 Pro / Max и некоторых андроидах с Depth API.
Обо всем еще напишу в деталях — а пока попробуйте пару эффектов, которые я сделал во время бета-тестирования новой фичи:
The Matrix: https://www.instagram.com/ar/1766215660236988/
Organica: https://www.instagram.com/ar/490763366050704/
Одна из важнейших фич для настоящего AR и будущего метаверса — возможность анализировать и работать не только с плоской картинкой с камеры, но и с реальной геометрией пространства.
136 версия Spark AR получила долгожданную (но пока частичную) поддержку в виде карты глубины, которая все же открывает огромное количество новых возможностей.
Работает на iPhone 12-13 Pro / Max и некоторых андроидах с Depth API.
Обо всем еще напишу в деталях — а пока попробуйте пару эффектов, которые я сделал во время бета-тестирования новой фичи:
The Matrix: https://www.instagram.com/ar/1766215660236988/
Organica: https://www.instagram.com/ar/490763366050704/
Симуляция глубины в #SparkAR
Как уже писал выше, Spark AR получил доступ к LiDAR (на iPhone 12+ Pro/Max) и вычислению глубины на некоторых Anroid-смартфонах. Фича позволяет делать крутые эффекты с учетом реальной геометрии и формы окружающего пространства.
Однако, нормальную симуляцию в самой студии пока не завезли — разрабатывать очень неудобно. Поэтому я сделал туториал и простой шаблон, который эту задачу решает.
Видос на английском, но думаю, все должно быть понятно. Если нет, пишите вопросы в каменты.
https://www.youtube.com/watch?v=g_QYjv5eKHg
Как уже писал выше, Spark AR получил доступ к LiDAR (на iPhone 12+ Pro/Max) и вычислению глубины на некоторых Anroid-смартфонах. Фича позволяет делать крутые эффекты с учетом реальной геометрии и формы окружающего пространства.
Однако, нормальную симуляцию в самой студии пока не завезли — разрабатывать очень неудобно. Поэтому я сделал туториал и простой шаблон, который эту задачу решает.
Видос на английском, но думаю, все должно быть понятно. Если нет, пишите вопросы в каменты.
https://www.youtube.com/watch?v=g_QYjv5eKHg
YouTube
Depth Simulation in Spark AR Studio v136
Spark AR doesn't have a depth simulation right now, so I made a simple and free block to make your life a bit easier. Download here: https://github.com/Enuriru/spark-ar-depth-simulation
Follow me on Instagram! https://instagram.com/enuriru/
Follow me on Instagram! https://instagram.com/enuriru/
Мониторинг изменений API в Spark AR
#SparkAR #AR
Скорее всего, из моей аудитории под Спарк кодят полтора человека, но дать им полезность все равно хочется.
Я сделал репозиторий на гитхабе, который отслеживает изменения в API. О которых почти не пишут в чейнджлоге.
Причем не только публично доступные, но и некоторые внутренние, которые станут доступны в будущем. По ним можно узнать о некоторых новых будущих фичах ;)
А по коммитам удобно отслеживать изменения.
Подписывайтесь: https://github.com/Enuriru/spark-ar-types
#SparkAR #AR
Скорее всего, из моей аудитории под Спарк кодят полтора человека, но дать им полезность все равно хочется.
Я сделал репозиторий на гитхабе, который отслеживает изменения в API. О которых почти не пишут в чейнджлоге.
Причем не только публично доступные, но и некоторые внутренние, которые станут доступны в будущем. По ним можно узнать о некоторых новых будущих фичах ;)
А по коммитам удобно отслеживать изменения.
Подписывайтесь: https://github.com/Enuriru/spark-ar-types
GitHub
GitHub - Enuriru/spark-ar-types: Tracks changes in Spark AR Studio API
Tracks changes in Spark AR Studio API. Contribute to Enuriru/spark-ar-types development by creating an account on GitHub.
Инстаграм опять сломал все
#SparkAR
Ну почти. В новой версии не работают все AR-эффекты, использующие трекинг лица.
Команда уже в курсе и работает над фиксом, не паникуйте.
#SparkAR
Ну почти. В новой версии не работают все AR-эффекты, использующие трекинг лица.
Команда уже в курсе и работает над фиксом, не паникуйте.
НЕЙРОМЕЙКАПЫ
#SparkAR #AR #ML #Art
Продолжаю эксперименты по синтезу нейрогенеративного контента и AR.
На этот раз пробуем нейромейкапы.
Исходные картинки сгенерированы нейросетью DALLE-2 по запросам типа «светлое лицо с цветным/золотым макияжем».
Если с цифровой одеждой все получалось интереснее и проще (арт → модель → небольшая ручная чистка), то сгенерированные мейки без серьезного редактирования смотрятся плохо — в первую очередь потому, что генерируются сразу с кожей/чертами лица, которые уже просто так не убрать.
Однако, в качестве вдохновения для мейкап-артистов могут послужить отлично.
Выше в посте пара текстур лиц — можете попробовать надеть их на себя с помощью моего фильтра FACE THIEF (сохраните текстуру в галерею телефона, откройте фильтр и нажмите Добавить медиа).
#SparkAR #AR #ML #Art
Продолжаю эксперименты по синтезу нейрогенеративного контента и AR.
На этот раз пробуем нейромейкапы.
Исходные картинки сгенерированы нейросетью DALLE-2 по запросам типа «светлое лицо с цветным/золотым макияжем».
Если с цифровой одеждой все получалось интереснее и проще (арт → модель → небольшая ручная чистка), то сгенерированные мейки без серьезного редактирования смотрятся плохо — в первую очередь потому, что генерируются сразу с кожей/чертами лица, которые уже просто так не убрать.
Однако, в качестве вдохновения для мейкап-артистов могут послужить отлично.
Выше в посте пара текстур лиц — можете попробовать надеть их на себя с помощью моего фильтра FACE THIEF (сохраните текстуру в галерею телефона, откройте фильтр и нажмите Добавить медиа).
Media is too big
VIEW IN TELEGRAM
Инверсная кинематика / симуляция ткани в Spark AR
#AR
Давно ничего не писал про наш любимый #SparkAR. Для той части моей аудитории, которая не в курсе — это движок для разработки AR-эффектов в Instagram и Facebook.
Так вот. Физические симуляции я начал разрабатывать еще год назад. Пару месяцев назад удалось увеличить производительность примерно в 30 раз.
Если ранее даже одна цепочка костей ложила FPS до 20, то теперь можно сделать 20-30 цепочек костей без падения FPS вообще на большинстве телефонов.
И теперь, кажется, наконец удалось сделать внятные коллайдеры: т.е. ваши серьги, волосы и прочие щупальца не будут проваливаться в голову.
Один из эффектов с физикой: https://www.instagram.com/ar/574299360686698/
Релиз — когда-нибудь 🤡
#AR
Давно ничего не писал про наш любимый #SparkAR. Для той части моей аудитории, которая не в курсе — это движок для разработки AR-эффектов в Instagram и Facebook.
Так вот. Физические симуляции я начал разрабатывать еще год назад. Пару месяцев назад удалось увеличить производительность примерно в 30 раз.
Если ранее даже одна цепочка костей ложила FPS до 20, то теперь можно сделать 20-30 цепочек костей без падения FPS вообще на большинстве телефонов.
И теперь, кажется, наконец удалось сделать внятные коллайдеры: т.е. ваши серьги, волосы и прочие щупальца не будут проваливаться в голову.
Один из эффектов с физикой: https://www.instagram.com/ar/574299360686698/
Релиз — когда-нибудь 🤡