РЕПТИЛОИДНАЯ
2.28K subscribers
427 photos
380 videos
4 files
304 links
О будущем, которое мы заслужили: AR/VR, AI, роботы, трансгуманизм.
Авторский блог Дениса Россиева. Для связи: @enuriru
Чат: @reptiloidnaya_chat
 
instagram.com/enuriru/
awesome-ar.com
Download Telegram
This media is not supported in your browser
VIEW IN TELEGRAM
Свежая демка от Meta Reality Labs — распознавание и реконструкция окружения в реальном времени. Работает на Quest 3.

Выглядит хорошо — трушный AR, понимающий все вокруг, все ближе и ближе.

Apple показывали подобное (Room Plan) 2 года назад — это уже работает на Vision Pro и используется в куче приложений-сканеров на iPhone.


🔴 @reptiloidnaya × #ar #augmentedreality #meta
Индустрии Social AR уже лет так 6, но у брендов все равно все плохо.

Вот, полюбуйтесь.

Раз — официальный фильтр для сериала «Задача Трех Тел» от Нетфликса, по знаменитой трилогии Лю Цысиня. Плохая 3D-модель, не совпадает с размером головы, плохой окклюжн (торчит задник), плохие отражения (виден шов панорамы). Сериал, кстати, тоже такой себе — рекомендую смотреть китайскую версию 2023 года.

Два — официальный фильтр для «Дюны-2» Дени Вильнева. Тут вообще даже комментировать нечего.

Как мне написали, первый фильтр, скорее всего, делала студия, которая ВООБЩЕ не работает с AR.

Также мне сообщили, что агентства часто предлагают брендам фильтры как бесплатный бонус к роликам и прочим билбордам. Качество продакшена, естественно, как на видео.

А потом все удивляются, почему бренды не хотят делать AR.

Мы, кстати, умеем делать очень хорошо.


🔴 @reptiloidnaya × #ar #augmentedreality
Давно не делился своими проектами — пора это исправить!

Совсем скоро состоится Coachella — один из крупнейших в мире фестивалей музыки и искусств. Рассказываю, что мы с Ольгой сделали для фестиваля в прошлом году.

Клиент хотел image tracking AR для Welcome Box — такой красивой коробки, в которой гости фестиваля получают различные ништяки. А задача стояла сделать так, чтобы было очень КРАСИВО.

Мы представили 3 креативных концепции — был выбран портал в солнечную локацию фестиваля, с известнейшим зданием-инсталляцией — Spectra.

Как всегда, нужно было запихать качественную реалтайм графику в 4Mb и сделать работоспособной не только на последних айфонах.

Вот, что вышло! Первый видос — демка, второй — making of.


🔴 @reptiloidnaya × #ar #augmentedreality #instagram #metaspark #meta
Тестирую тут рендеринг в Apple Vision Pro — не сразу, но реагирует на изменение освещения (видно на краях «металлической сферы».

Отражения в сфере — тоже моя реальная комната, а не какой-то рандомный скайбокс. И не заранее подготовленный скан, а все в реальном времени.

Что круто:
1) Работает из коробки. Вообще ничего делать не надо.
2) Слева у меня выведен виртуальный дисплей с Reality Composer Pro — можно настраивать там 3D-модель и в 1 клик видеть предпросмотр в очках.

Второй видос — собирал что-то подобное в Meta Spark, но там, конечно, таких красивых отражений добиться не выйдет.


🔴 @reptiloidnaya × #ar #augmentedreality #visionpro #apple
Свежие конкурсы для AR-креаторов

Давно ничего не было, а тут аж два!

TikTok Effect House: AI Art Image Challenge

Задача: создать эффект с AI-генерацией.
Дедлайн: 8 мая
Призы: $5000, $1000 (6), $100 (25).

Обратите внимание на доступные регионы (их количество значительно расширили, там теперь не только США и пара стран Европы).


Snap AR × LensList: The Spring Into Action Lensathon

Задача: смотрите примеры
Дедлайн: 12 мая
Призы: $2500, $1500, $1000, $250 (25).

Также смотрите список регионов, доступны вообще все кроме подсанкционных.


🔴 @reptiloidnaya × #ar #augmentedreality #snapchat #tiktok #конкурсы
Snapchat-линзы на Vision Pro

Это видос в последнее время разлетелся по интернету и телеграм-каналам — все пишут, что Снепчат интегрировал свои линзы с Эппл и теперь они работают на Вижне.

Это не совсем так. Точнее, совсем не так.

Есть такая штука — Snap Camera Kit. Это технология, позволяющая создавать эффекты в Lens Studio (с некоторыми ограничениями) и запускать их в обычном браузере на телефоне или компьютере. Короче, Web AR.

Именно это и происходит на видео — просто линза, запущенная в браузере, открытом на Vision Pro. И работает она точно также, как и в браузере на телефоне. Все это работает «из коробки» и ничего специально для этого делать не нужно — потому особенно смешно слышать в видео фразу «we did the impossible».

Что интересно:
— персона (виртуальный аватар) работает как виртуальная камера, поэтому работает и трекинг лица.
— World AR, Target Tracking и прочее недоступны, т.к. Vision Pro не дает доступа к внешним камерам.

Короче, никакой интеграции нет — персону с фильтром нельзя использовать в звонках или как-то еще, все что можно сделать — это просто на нее посмотреть.

На втором видео показываю, как это работает на самом деле.


🔴 @reptiloidnaya × #ar #augmentedreality #snapchat #visionpro #apple
This media is not supported in your browser
VIEW IN TELEGRAM
AR без AR в Снепчате

Некоторое время назад мне пришел запрос на интересный проект в Снепчат — нужно было сделать линзу для Chivas (такого известного бренда виски).

Не обошлось без подводных камней — политики Снепчата запрещают использовать AR в линзах, продвигающих алкоголь. Точнее, нельзя использовать изображение с камеры — вообще никак. То есть, никаких фейс-фильтров, и даже World AR с условной виртуальной бутылкой, которую можно поставить на реальный стол, тоже нельзя.

В тот момент я вспомнил про один из своих недавних экспериментов с 🔴 3D-иллюзиями — и вот, что получилось!

Алгоритм отслеживает положение лица относительно экрана телефона и адаптирует картинку, создавая эффект глубины.

Важно — это не image/target tracker и не съемка через другой фильтр. 3D-эффект виден невооруженным глазом, просто с экрана телефона.

Сама рекламная кампания (где нужно было продвигать новую коллекционную бутылку) работает так: Снепчат пушит линзу в трей (кружочки внизу экрана) нужной аудитории, люди видят новую иконку, запускают, играют с линзой, переходят на сайт.

Попробовать можно здесь (это organic-версия, без перехода на сайт — он виден только если на вас стартегирована реклама).


🔴 @reptiloidnaya × #ar #augmentedreality #snapchat
Media is too big
VIEW IN TELEGRAM
Раскрашиваем тачку с помощью Vision Pro.

Еще один видос, который разлетелся по соцсетям и требует комментария.

На самом деле, никакая тачка тут не раскрашивается — используемое в видосе приложение AirDraw рисует просто в воздухе.

Если тачка уедет, все нарисованное останется на месте.

Привязывать контент к объектам реального мира с помощью VPS (визуального позиционирования) или геолокации, а также трекать кастомные объекты на Vision Pro пока нельзя.

Но для арт-перфомансов — прикольно!


🔴 @reptiloidnaya × #ar #augmentedreality #visionpro #apple
This media is not supported in your browser
VIEW IN TELEGRAM
Воровство одежды в Web AR

Наткнулся на прикольный эксперимент — захват одежды нейронкой ibm-vton (про нее 🔴 тут) и натягивание одежды на 3D модель в AR. Работает все в 8thwall.

Ссылку на попробовать автор не дает, но почти наверняка устроено так:

Автор подготовил 3D модель аватара и его рендер, причем он сделал так, что UV модельки является плоской проекцией на рендер.

Далее ibm-vton натягивает шмотку на рендер аватара, и полученная текстура просто применяется к модели. Все!

Кстати, автор не просто так показывает модельку только спереди — при использовании проекции на спине не будет ничего (точнее, будут шакалы).


🔴 @reptiloidnaya × #ar #augmentedreality #webar #fashion
VFX для народа!

Вы наверняка видели популярные сейчас видосы с огромными сумками на зданиях, кроссовками, ездящими по дорогам и прочими визуальными эффектами — FOOH (Fake Out-Of-Home) реклама все больше набирает тренд.

Уже примерно год я наблюдаю за стартапом Simulon, цель которого — демократизировать VFX и который наконец вышел в закрытую бету. Как оно работает?

1. Вы снимаете обычным телефоном сферическую панораму вашего окружения — она используется для правильного расчета освещения и теней.

2. Сканируете пространство LiDAR'ом телефона, чтобы оттрекать поверхности.

3. Размещаете 3D-объект и снимаете видео.

После этого видос уходит в облако, где происходит рендеринг с рейтрейсингом и прочими приколами.

На выходе — качественная, фотореалистичная картинка. Результат, на который пришлось бы потратить немало времени, трекая и композя все это в Blender и After Effects.

Сравните первый и второй видос: первый — рендер, второй — превью. Ждем релиз, в общем.


🔴 @reptiloidnaya × #ar #augmentedreality #vfx
This media is not supported in your browser
VIEW IN TELEGRAM
Будущее шопинга с Apple Vision Pro

Красивый концепт шопинга не выходя из дома, в котором не хватило одной важной вещи.

Аватара. Аватара!

Пользователю нужно видеть как он выглядит с этой сумкой, в этом платье или пальто!

Да, пока на Vision Pro нет аватаров в полный рост и с правильными пропорциями — но для концепта это стоило добавить, иначе обычный человек просто не поймет, зачем это все.

🔴 @reptiloidnaya × #ar #augmentedreality #visionpro #apple
This media is not supported in your browser
VIEW IN TELEGRAM
Крутая коллаборация Snapchat × Disney к релизу нового фильма «Королевство Планеты Обезъян».

Известные локации зарастают травой и деревьями, подчеркивая падение цивилизации людей.

Выглядит очень хорошо (и можно было, конечно, еще лучше).

И самое главное — это AR и реалтайм, который можно попробовать и снимать кучу UGC-контента, а не эти ваши вылизанные VFX-видосы в единственном экземпляре.

Впрочем, во многих случаях и при прямых руках можно создать AR, практически неотличимый по качеству от VFX, но мало кто из креаторов это может, а бренды вообще не готовы к этому разговору.


🔴 @reptiloidnaya × #ar #augmentedreality #snapchat
This media is not supported in your browser
VIEW IN TELEGRAM
Прикольный AR-эксперимент от Артура.

Сделано в Snap Lens Studio. Используется встроенная система физики.

🔴 @reptiloidnaya × #ar #augmentedreality #snapchat
This media is not supported in your browser
VIEW IN TELEGRAM
Воруем одежду в AR!

Дропнул новую линзу в Снепчат, вы знаете что делать.

Работает, конечно, не так круто как idm-vton — но так и это реалтайм 30 кадров в секунду, а не процессинг всего лишь одной картинки за 1-2 минуты.

https://www.snapchat.com/unlock/?type=SNAPCODE&uuid=63a1a7600a8e43f6932fbf134144cc00&metadata=01


🔴 @reptiloidnaya × #ar #snapchat #augmentedreality
Media is too big
VIEW IN TELEGRAM
AR в Google Maps

Google Maps становится AR-платформой — на конференции I/O 2024 был анонсирован запуск AR в картах.

Новость намного круче, чем кажется — ведь только у Гугла есть сканы практически всех городов планеты и система VPS Geospatial, позволяющая привязывать контент к гео-координатам или даже зданиям. У ближайших VPS-конкурентов Snapchat и Niantic — лишь центры нескольких городов.

На данный момент Geospatial работает в Unity (сложно, надо делать приложение, а пользователям его скачивать), AR Core под Android (то же самое), либо в Adobe Aero (работает отвратительно, хоть и без скачивания).

Теперь же все это будет работать в приложении и веб-версии гугл карт на всех платформах (iOS и Android) — достаточно находиться рядом с нужной локацией, и карты предложат активировать AR.

Пока что программа будет запущена в тестовом режиме на полгода в Сингапуре и Париже, позже — по всему миру.

Остается большое количество вопросов касательно контента и его модерации — если загрузить 100 экспириенсов на Эйфелеву башню, который из них будет активироваться? Предлагаться все? В каком порядке? А Пятерочку в провинциальном городе кто и как модерировать будет?

Тем не менее, ждем — это очень круто.


🔴 @reptiloidnaya × #ar #geospatial #xr #google #augmentedreality
Крутейшие новости от Снепчата

Для начала хочу напомнить, что Снепчат — одна из ведущих компаний, создающих AR-продукты и технологии, а не просто какая-то там соцсеть.

Так вот. Две новости.

1. Снепчат выпустил приложение Snap Camera в виде расширения для Google Chrome.

Теперь вы можете использовать AR-линзы (включая свои собственные) в звонках. Для этого нужно установить расширение, зайти в Google Meet, запустить расширение и выбрать Snap Camera в списке доступных камер.


2. Hosted Web AR Lenses.

Мало кто знает, но у Снепчата есть Web AR (это AR, который работает просто в браузере). Он все еще в полу-бете, но уже работает достаточно хорошо — и, самое главное, линзы можно разрабатывать в том же самом, удобном и привычном Lens Studio.

Так вот — если ранее Snap Web AR требовал поднимать собственный сайт с кодом для загрузки линзы, то теперь Снепчат хостит линзы у себя — ссылку можно сгенерировать в один клик в разделе My Lenses.

Моя линза из прошлого поста, которая ворует одежду, просто РАБОТАЕТ В БРАУЗЕРЕ вместе с НЕЙРОНКОЙ (ЧЕГО??? они даже ML туда подвезли???), причем хостинг бесплатный.

Лица разрабов под 8thwall с коммерческой лицензией за $3000 в месяц представили?


🔴 @reptiloidnaya × #ar #augmentedreality #snapchat #webar
Media is too big
VIEW IN TELEGRAM
А вот как работает в Web AR еще одна моя снепчатовская линза.

Что важно — это не просто 3д-моделька в пространстве или на картинке.

Тут тоже работает нейронка (для выделения объектов), причем в реальном времени — и работает весьма неплохо.
До качества работы внутри приложения, конечно, еще далеко — но работает же!

Оригинальный пост про линзу.
Попробовать в Web AR


🔴 @reptiloidnaya × #ar #augmentedreality #snapchat #webar
This media is not supported in your browser
VIEW IN TELEGRAM
Еще один хороший концепт, в котором забыли самое главное.

Порой возникает ощущение, что у людей, которые делают концепты под AR/VR гарнитуры, вообще никогда не было никакого шлема.

Вот концепт AirBnb. Все, конечно, красиво, но что это за кривая панорама в конце?

1) Где 360° обзор квартиры? Это буквально то, что клиенту продаст аренду. Открываем сочный 360°, листаем апартаменты (карта продолжает висеть в воздухе), со сменой апартов меняется и панорама. Это то, для чего нужна гарнитура, плоские окошки у меня и на мобиле есть.

2) И еще вдогонку вопрос к UI в целом — где общая сумма аренды за весь срок со всеми таксами и клинингом? На настоящем AirBnb она есть.

В общем, прежде чем концептить под AR/MR — думайте.


🔴 @reptiloidnaya × #ar #augmentedreality #visionpro #apple
This media is not supported in your browser
VIEW IN TELEGRAM
Staged AR / Постановочный AR

FOOH / CGI / VFX видосы с огромными кроссовками в городе и прочими приколами взрывают тренды социальных медиа, что меня, как евангелиста дополненной реальности, несказанно радует — люди все больше проникаются цифровым контентом в реальном мире.

Однако, AR не хватает реализма CGI роликов с пост-обработкой. Как можно было бы его достичь?

Идею подкинул стартап Simulon, о котором я уже писал — но хоть съемка там идет и в AR, все равно потом требуется облачная постобработка.

Так появилась концепция Staged AR — это почти как обычный AR, но с дополнительным сетапом, повышающим реализм. Область применения — съемка брендового или даже UGC-контента в медиумах web или social AR с лучшим качеством.

На днях реализовал первый прототип — захват панорамы и использование ее в качестве карты окружения для металлических материалов. Все в реальном времени — никакой постобработки!

Буду писать по этой теме еще — появилась куча идей, как улучшить AR.

🔴 @reptiloidnaya × #ar #augmentedreality