РЕПТИЛОИДНАЯ
2.28K subscribers
427 photos
380 videos
4 files
304 links
О будущем, которое мы заслужили: AR/VR, AI, роботы, трансгуманизм.
Авторский блог Дениса Россиева. Для связи: @enuriru
Чат: @reptiloidnaya_chat
 
instagram.com/enuriru/
awesome-ar.com
Download Telegram
This media is not supported in your browser
VIEW IN TELEGRAM
Привязка к объектам реального мира: Landmarks
#Snapchat #LensStudio

Недавно из бета-теста в Снепчате вышла новая фича: можно отсканировать объект (например, скульптуру или кусок входа здания) и научить линзу распознавать, привязывая к нему 3D и эффекты.

Пока работает с небольшими объектами 2-3 метра размером. Сканировать можно только на девайсах с LiDAR: iPhone 12 Pro / 13 Pro / Max, новых айпадах и некоторых топовых андроидах. А вот просмотр должен работать везде!

Это небольшой, но еще один шаг вперед к настоящей дополненной реальности, иммерсивным пространствам и метавселенным, которые пока что маячат где-то далеко в будущем (там же, где и нормальные AR-очки): напишу об этом в следующий раз.

Документация


🔴 @reptiloidnaya × #ar #snapchat
РЕПТИЛОИДНАЯ
Привязка к объектам реального мира: Landmarks #Snapchat #LensStudio Недавно из бета-теста в Снепчате вышла новая фича: можно отсканировать объект (например, скульптуру или кусок входа здания) и научить линзу распознавать, привязывая к нему 3D и эффекты. …
Провел небольшой тест.
#Snapchat #LensStudio

На первой картинке — скан обычной кухонной плиты в Lens Studio.

На второй — тест в Снепчате. Плита действительно распознается с разных ракурсов. Можно выключить отображение отсканированной поверхности или использовать ее как окклюдер.

Просмотр заработал с iPhone 11 Pro БЕЗ LiDAR!

И главное — все невероятно просто. Работает из коробки. Сканируете объект с помощью специальной линзы от Snap, закидываете в проект. Цепляете любое 3D / анимации / эффекты. Загружаете. Все.

Документация


🔴 @reptiloidnaya × #ar #snapchat
Иногда мне кажется, что ниша Social AR стухает (особенно судя по активности чатов — где все эти сотни людей, которые еще год назад с горящими глазами делали фильтры?)

А потом выходит вот такая статья в VOGUE и я в который раз убеждаюсь, что все еще даже толком не началось.

https://youtu.be/i1NaIITVriw

https://www.vogue.co.uk/fashion/bc/snapchat-redefining-the-body

🔴 @reptiloidnaya × #ar #snapchat
Цифровая одежда в AR за 5 минут

Сегодня снова пинаем кожаных, на этот раз под раздачу попадут дизайнеры цифровой одежды.
И на этот раз — не какие-то там исследования или сложные гугл колабы с кучей кода, а работающий инструмент. Буквально однокнопочный.

Снепчат выкатил новый ML-компонент для Lens Studio (среды разработки AR-эффектов), который из любой фотки человека в худи достает этот самый худи и натягивает в реальном времени на человека в камере. Настраивать ничего не надо вообще. Просто импортировать фотку в готовый шаблон.

А чтобы стало еще веселее, эту самую фотку можно сгенерировать в DALLE, Stable Diffusion или Midjourney — выбирайте, что больше нравится. Единственное правило — на фотке должен быть именно человек в одежде, а не просто одежда.

Да, пока картинка немного нестабильна и «кипит». Но вы же понимаете, что это только пока?


🔴 @reptiloidnaya × #ar #augmentedreality #snapchat
Если вы не хотите быть аниме, можно стать девочкой

Снепчат продолжает разносить все и вся своими новыми нейронками, которые прямо на глазах становятся все лучше и лучше с каждым релизом. На днях показали создание AR-одежды из одной картинки. Теперь вот очередной дипфейк.

И, надо заметить, это все работает в реальном времени. В AR. На телефонах.

Да, волосы пока нестабильны. Но посмотрите на лицо! Насколько качественно оно обрабатывается и насколько хорошо передается вся мимика. Пару лет назад, чтобы получить результат в разы хуже, приходилось несколько минут ждать обработки, а в реалтайме была вообще полная каша.

Кстати, многие из этих моделей доступны в Lens Studio — вы можете в два клика интегрировать их в свои AR-линзы.

Попробовать: https://t.snapchat.com/mlzXJFuv


🔴 @reptiloidnaya × #ar #augmentedreality #snapchat
This media is not supported in your browser
VIEW IN TELEGRAM
Прикольный AR-эксперимент, снято через очки Snap Spectacles (писал про них: 1, 2, 3).

Что следует знать про Spectacles?

- В отличие от Vision Pro, Quest, и прочих таких гарнитур, в которых избражение полностью цифровое снятое через камеры, Spectacles — настоящие, прозрачные очки и накладывают изображение прямо на реальный мир.

- Изображение в очках выглядит не так, как на видео: в очках оно полупрозрачное, голографическое.

- Проекты под Spectacles делаются в известном многим Lens Studio.

- Устройство не продается открыто, но присылается разработчикам.

- Очки работают либо 15 минут пока не сядет батарейка, либо 5 минут пока не перегреются 💀


🔴 @reptiloidnaya × #ar #augmentedreality #snapchat #spectacles
Свежие конкурсы для AR-креаторов

Давно ничего не было, а тут аж два!

TikTok Effect House: AI Art Image Challenge

Задача: создать эффект с AI-генерацией.
Дедлайн: 8 мая
Призы: $5000, $1000 (6), $100 (25).

Обратите внимание на доступные регионы (их количество значительно расширили, там теперь не только США и пара стран Европы).


Snap AR × LensList: The Spring Into Action Lensathon

Задача: смотрите примеры
Дедлайн: 12 мая
Призы: $2500, $1500, $1000, $250 (25).

Также смотрите список регионов, доступны вообще все кроме подсанкционных.


🔴 @reptiloidnaya × #ar #augmentedreality #snapchat #tiktok #конкурсы
Snapchat-линзы на Vision Pro

Это видос в последнее время разлетелся по интернету и телеграм-каналам — все пишут, что Снепчат интегрировал свои линзы с Эппл и теперь они работают на Вижне.

Это не совсем так. Точнее, совсем не так.

Есть такая штука — Snap Camera Kit. Это технология, позволяющая создавать эффекты в Lens Studio (с некоторыми ограничениями) и запускать их в обычном браузере на телефоне или компьютере. Короче, Web AR.

Именно это и происходит на видео — просто линза, запущенная в браузере, открытом на Vision Pro. И работает она точно также, как и в браузере на телефоне. Все это работает «из коробки» и ничего специально для этого делать не нужно — потому особенно смешно слышать в видео фразу «we did the impossible».

Что интересно:
— персона (виртуальный аватар) работает как виртуальная камера, поэтому работает и трекинг лица.
— World AR, Target Tracking и прочее недоступны, т.к. Vision Pro не дает доступа к внешним камерам.

Короче, никакой интеграции нет — персону с фильтром нельзя использовать в звонках или как-то еще, все что можно сделать — это просто на нее посмотреть.

На втором видео показываю, как это работает на самом деле.


🔴 @reptiloidnaya × #ar #augmentedreality #snapchat #visionpro #apple
This media is not supported in your browser
VIEW IN TELEGRAM
AR без AR в Снепчате

Некоторое время назад мне пришел запрос на интересный проект в Снепчат — нужно было сделать линзу для Chivas (такого известного бренда виски).

Не обошлось без подводных камней — политики Снепчата запрещают использовать AR в линзах, продвигающих алкоголь. Точнее, нельзя использовать изображение с камеры — вообще никак. То есть, никаких фейс-фильтров, и даже World AR с условной виртуальной бутылкой, которую можно поставить на реальный стол, тоже нельзя.

В тот момент я вспомнил про один из своих недавних экспериментов с 🔴 3D-иллюзиями — и вот, что получилось!

Алгоритм отслеживает положение лица относительно экрана телефона и адаптирует картинку, создавая эффект глубины.

Важно — это не image/target tracker и не съемка через другой фильтр. 3D-эффект виден невооруженным глазом, просто с экрана телефона.

Сама рекламная кампания (где нужно было продвигать новую коллекционную бутылку) работает так: Снепчат пушит линзу в трей (кружочки внизу экрана) нужной аудитории, люди видят новую иконку, запускают, играют с линзой, переходят на сайт.

Попробовать можно здесь (это organic-версия, без перехода на сайт — он виден только если на вас стартегирована реклама).


🔴 @reptiloidnaya × #ar #augmentedreality #snapchat
This media is not supported in your browser
VIEW IN TELEGRAM
Крутая коллаборация Snapchat × Disney к релизу нового фильма «Королевство Планеты Обезъян».

Известные локации зарастают травой и деревьями, подчеркивая падение цивилизации людей.

Выглядит очень хорошо (и можно было, конечно, еще лучше).

И самое главное — это AR и реалтайм, который можно попробовать и снимать кучу UGC-контента, а не эти ваши вылизанные VFX-видосы в единственном экземпляре.

Впрочем, во многих случаях и при прямых руках можно создать AR, практически неотличимый по качеству от VFX, но мало кто из креаторов это может, а бренды вообще не готовы к этому разговору.


🔴 @reptiloidnaya × #ar #augmentedreality #snapchat
This media is not supported in your browser
VIEW IN TELEGRAM
Прикольный AR-эксперимент от Артура.

Сделано в Snap Lens Studio. Используется встроенная система физики.

🔴 @reptiloidnaya × #ar #augmentedreality #snapchat
This media is not supported in your browser
VIEW IN TELEGRAM
Воруем одежду в AR!

Дропнул новую линзу в Снепчат, вы знаете что делать.

Работает, конечно, не так круто как idm-vton — но так и это реалтайм 30 кадров в секунду, а не процессинг всего лишь одной картинки за 1-2 минуты.

https://www.snapchat.com/unlock/?type=SNAPCODE&uuid=63a1a7600a8e43f6932fbf134144cc00&metadata=01


🔴 @reptiloidnaya × #ar #snapchat #augmentedreality
Крутейшие новости от Снепчата

Для начала хочу напомнить, что Снепчат — одна из ведущих компаний, создающих AR-продукты и технологии, а не просто какая-то там соцсеть.

Так вот. Две новости.

1. Снепчат выпустил приложение Snap Camera в виде расширения для Google Chrome.

Теперь вы можете использовать AR-линзы (включая свои собственные) в звонках. Для этого нужно установить расширение, зайти в Google Meet, запустить расширение и выбрать Snap Camera в списке доступных камер.


2. Hosted Web AR Lenses.

Мало кто знает, но у Снепчата есть Web AR (это AR, который работает просто в браузере). Он все еще в полу-бете, но уже работает достаточно хорошо — и, самое главное, линзы можно разрабатывать в том же самом, удобном и привычном Lens Studio.

Так вот — если ранее Snap Web AR требовал поднимать собственный сайт с кодом для загрузки линзы, то теперь Снепчат хостит линзы у себя — ссылку можно сгенерировать в один клик в разделе My Lenses.

Моя линза из прошлого поста, которая ворует одежду, просто РАБОТАЕТ В БРАУЗЕРЕ вместе с НЕЙРОНКОЙ (ЧЕГО??? они даже ML туда подвезли???), причем хостинг бесплатный.

Лица разрабов под 8thwall с коммерческой лицензией за $3000 в месяц представили?


🔴 @reptiloidnaya × #ar #augmentedreality #snapchat #webar
Media is too big
VIEW IN TELEGRAM
А вот как работает в Web AR еще одна моя снепчатовская линза.

Что важно — это не просто 3д-моделька в пространстве или на картинке.

Тут тоже работает нейронка (для выделения объектов), причем в реальном времени — и работает весьма неплохо.
До качества работы внутри приложения, конечно, еще далеко — но работает же!

Оригинальный пост про линзу.
Попробовать в Web AR


🔴 @reptiloidnaya × #ar #augmentedreality #snapchat #webar
Снепчат качает мобильный AR

Оставляя конкурентов на годы позади (Instagram, TikTok, WebAR, приложения).

На днях Lens Studio (инструмент для создания AR) версии 5.0 вышел из беты. Напомню, что это полноценный 3D движок (почти как Unity): со скриптами, нодами, шейдерами, где можно делать все: от простых фейс-фильтров до сложных мультиплеерных игр.

Что добавили:
ML Face Effect — можно создавать простые ИИ-фильтры для всей головы, используя промты или референсые изображения.
Immersive ML — фильтры применяются ко всему изображению (да, это все реалтайм!)
3D Asset Generation — генерация 3D объектов прямо внутри Lens Studio. Используется Meshy.
Head Morph — заменяет голову пользователя на сгенерированный 3D-объект.
Генерация текстур для 3D-моделей. Тоже Meshy.
Возможность импортировать 2D-дизайны из Figma
Поддержку рендеринга Gaussian Splats (Карл!)

А сотни других фичей: улучшение производительности, мультиоконный режим, новые API и прочее.

Качаем тут и делаем AR.

🔴 @reptiloidnaya × #snapchat #ar
Snapchat выкатил прозрачные AR-очки

Дождались! Кусочек будущего уже сегодня.

Snap, которых по праву можно называть одной из ведущих компаний в области AR и AI (особенно компьютерного зрения), выкатили новые AR-очки. И, самое главное — они прозрачные. Это значит, что вы видите реальный мир, а не шакальную проекцию через камеры, как в Quest или Vision. Но, конечно, у всего своя цена.

Итак, что внутри?
— Удвоили угол обзора по сравнению с предыдущей версией — стало 46° против 26°. Как это выглядит у предыдущей версии можно посмотреть тут — как разработчик, я получил и активно тестировал устройство.
— Улучшили автономность, 45 минут вместо 15.
— По-прежнему аддитивные дисплеи (очки не могут рисовать черный цвет, все выглядит как голограмма)
— При этом линзы в целом могут затемняться в зависимости от условий.
— Есть управление жестами и голосом.
— Куча встроенных приложений (о них напишу отдельно).
— Можно разрабатывать свои приложения используя Lens Studio (да-да, та самая среда разработки для масочек)
— Есть мультиплеер, если находитесь в одной локации!

Snap стремится к форм-фактору именно очков, а не шлема/гарнитуры (и рофлит над ними в видео) — но пока с этим сложно, физику не обманешь (особенно элементы питания).

Выглядят очки, на мой взгляд, так себе. Предыдущая версия (на последней фотке) — куда более стильная.

Ну и наконец, это по-прежнему devkit, устройство для разработчиков. Если предыдущую версию вообще рассылали только избранным (но хотя бы бесплатно 🇮🇱), эта будет доступна почти открыто за $99 в месяц.


🔴 @reptiloidnaya × #AR #snapchat #spectacles
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
AI в AR очках генерирует 3D-объекты.

Кусочек того самого, простите, метаверса. На 1:30.

🔴 @reptiloidnaya × #AR #snapchat #spectacles