РЕПТИЛОИДНАЯ
2.28K subscribers
427 photos
380 videos
4 files
304 links
О будущем, которое мы заслужили: AR/VR, AI, роботы, трансгуманизм.
Авторский блог Дениса Россиева. Для связи: @enuriru
Чат: @reptiloidnaya_chat
 
instagram.com/enuriru/
awesome-ar.com
Download Telegram
Media is too big
VIEW IN TELEGRAM
AR в Google Maps

Google Maps становится AR-платформой — на конференции I/O 2024 был анонсирован запуск AR в картах.

Новость намного круче, чем кажется — ведь только у Гугла есть сканы практически всех городов планеты и система VPS Geospatial, позволяющая привязывать контент к гео-координатам или даже зданиям. У ближайших VPS-конкурентов Snapchat и Niantic — лишь центры нескольких городов.

На данный момент Geospatial работает в Unity (сложно, надо делать приложение, а пользователям его скачивать), AR Core под Android (то же самое), либо в Adobe Aero (работает отвратительно, хоть и без скачивания).

Теперь же все это будет работать в приложении и веб-версии гугл карт на всех платформах (iOS и Android) — достаточно находиться рядом с нужной локацией, и карты предложат активировать AR.

Пока что программа будет запущена в тестовом режиме на полгода в Сингапуре и Париже, позже — по всему миру.

Остается большое количество вопросов касательно контента и его модерации — если загрузить 100 экспириенсов на Эйфелеву башню, который из них будет активироваться? Предлагаться все? В каком порядке? А Пятерочку в провинциальном городе кто и как модерировать будет?

Тем не менее, ждем — это очень круто.


🔴 @reptiloidnaya × #ar #geospatial #xr #google #augmentedreality
Крутейшие новости от Снепчата

Для начала хочу напомнить, что Снепчат — одна из ведущих компаний, создающих AR-продукты и технологии, а не просто какая-то там соцсеть.

Так вот. Две новости.

1. Снепчат выпустил приложение Snap Camera в виде расширения для Google Chrome.

Теперь вы можете использовать AR-линзы (включая свои собственные) в звонках. Для этого нужно установить расширение, зайти в Google Meet, запустить расширение и выбрать Snap Camera в списке доступных камер.


2. Hosted Web AR Lenses.

Мало кто знает, но у Снепчата есть Web AR (это AR, который работает просто в браузере). Он все еще в полу-бете, но уже работает достаточно хорошо — и, самое главное, линзы можно разрабатывать в том же самом, удобном и привычном Lens Studio.

Так вот — если ранее Snap Web AR требовал поднимать собственный сайт с кодом для загрузки линзы, то теперь Снепчат хостит линзы у себя — ссылку можно сгенерировать в один клик в разделе My Lenses.

Моя линза из прошлого поста, которая ворует одежду, просто РАБОТАЕТ В БРАУЗЕРЕ вместе с НЕЙРОНКОЙ (ЧЕГО??? они даже ML туда подвезли???), причем хостинг бесплатный.

Лица разрабов под 8thwall с коммерческой лицензией за $3000 в месяц представили?


🔴 @reptiloidnaya × #ar #augmentedreality #snapchat #webar
Media is too big
VIEW IN TELEGRAM
А вот как работает в Web AR еще одна моя снепчатовская линза.

Что важно — это не просто 3д-моделька в пространстве или на картинке.

Тут тоже работает нейронка (для выделения объектов), причем в реальном времени — и работает весьма неплохо.
До качества работы внутри приложения, конечно, еще далеко — но работает же!

Оригинальный пост про линзу.
Попробовать в Web AR


🔴 @reptiloidnaya × #ar #augmentedreality #snapchat #webar
This media is not supported in your browser
VIEW IN TELEGRAM
Еще один хороший концепт, в котором забыли самое главное.

Порой возникает ощущение, что у людей, которые делают концепты под AR/VR гарнитуры, вообще никогда не было никакого шлема.

Вот концепт AirBnb. Все, конечно, красиво, но что это за кривая панорама в конце?

1) Где 360° обзор квартиры? Это буквально то, что клиенту продаст аренду. Открываем сочный 360°, листаем апартаменты (карта продолжает висеть в воздухе), со сменой апартов меняется и панорама. Это то, для чего нужна гарнитура, плоские окошки у меня и на мобиле есть.

2) И еще вдогонку вопрос к UI в целом — где общая сумма аренды за весь срок со всеми таксами и клинингом? На настоящем AirBnb она есть.

В общем, прежде чем концептить под AR/MR — думайте.


🔴 @reptiloidnaya × #ar #augmentedreality #visionpro #apple
This media is not supported in your browser
VIEW IN TELEGRAM
Staged AR / Постановочный AR

FOOH / CGI / VFX видосы с огромными кроссовками в городе и прочими приколами взрывают тренды социальных медиа, что меня, как евангелиста дополненной реальности, несказанно радует — люди все больше проникаются цифровым контентом в реальном мире.

Однако, AR не хватает реализма CGI роликов с пост-обработкой. Как можно было бы его достичь?

Идею подкинул стартап Simulon, о котором я уже писал — но хоть съемка там идет и в AR, все равно потом требуется облачная постобработка.

Так появилась концепция Staged AR — это почти как обычный AR, но с дополнительным сетапом, повышающим реализм. Область применения — съемка брендового или даже UGC-контента в медиумах web или social AR с лучшим качеством.

На днях реализовал первый прототип — захват панорамы и использование ее в качестве карты окружения для металлических материалов. Все в реальном времени — никакой постобработки!

Буду писать по этой теме еще — появилась куча идей, как улучшить AR.

🔴 @reptiloidnaya × #ar #augmentedreality
This media is not supported in your browser
VIEW IN TELEGRAM
Очередной дегенератский концепт с дополненной реальностью

Который обсуждают на Линкедине, брызграя слюнями от восторга.

Привожу перевод комментария, от которого я чуть не умер:

При ношении устройства AR, кредитная карта с поддержкой AR будет гораздо более удобным способом проверить ее баланс перед транзакцией, чем брать мобильный телефон, открывать банковское приложение, входить в систему и проверять баланс.

У автора комента в био написано «специализируюсь на интеграции XR & AI» 🤡

Ладно, давайте по-порядку.

1. Половина мира уже не носит с собой карты. Запад пользуется Apple Pay, Google Pay, Samsung Pay и прочими платежками на телефонах (а особо прогрессивные страны наличкой), в России куаркоды и стикеры, в Китае куаркоды и Вичат. Внедряется оплата по лицу.

К каким картам вы собираетесь интерфейс трекать через 10 лет, когда массовые AR-очки появятся?

2. «Карта c AR это удобнее чем открыть банковское приложение на телефоне». Ну, когда IQ на уровне комнатной температуры, сложно додуматься, что на AR-очках тоже будет стоять банковское приложение — как иначе это будет работать?

А если там приложение, зачем что-то трекать к карте, если его можно просто запустить в любое время? Или вообще иметь постоянно активный виджет с балансом (для самых нервных)?

Вы скажете: критикуешь — предлагай.

Предлагаю: кибер-будущее, все в очках. Приходишь в магазин, настало время оплаты. Робо-кошко-девка-продавец посылает тебе сигнал на очки, всплывает виджет оплаты, сканируется сетчатка глаза, видишь свой баланс, подтверждаешь транзакцию, готово.

Думайте. Рептидоидная. Подписаться.


🔴 @reptiloidnaya × #ar #augmentedreality
Media is too big
VIEW IN TELEGRAM
AR-бот и мини-конкурс для креаторов.

Тут мои друзья из W3rlds сделали прикольного 🤖 бота — кидаешь туда картинку, получаешь ссылку на AR-рамку с ней.

Работает через Native AR на iOS и Android. На айфонах, кстати, еще и к стенам приклеивается, можно мемный контент снимать с фотками других людей на стенах.

Суть конкурса: Сделать футуристичную рамку для квадратной картинки.
Дедлайн: 10 июня
Призовой фонд: $500

Подать заявку
Условия конкурса


🔴 @reptiloidnaya × #ar #augmentedreality #конкурсы
This media is not supported in your browser
VIEW IN TELEGRAM
Привет! Это Duo.

Кажется, ты забыл про свой урок английского.

В общем, я тут сову сделал. Попробовать: https://vm.tiktok.com/ZMrenhWYN/

Из интересного:

— Я сделал простой, но в то же время важный интерфейс. Во-первых, есть стрелочка-подсказка, где находится сова. А так же подсказка посмотреть на небо — это снизит количество отказов у людей, которые запустили эффект дома, либо запустили на улице, но не увидели сову сразу.

— Во-вторых, сову можно двигать: поставить за горизонт или над собой. Это повышает вариативность UGC (большинство sky-эффектов не имеют UI). А при начале записи включается анимация полета (найдете пасхалку?)

— В TikTok Effect House достаточно неплохо работает сегментация неба (хотя на топ-устройствах могла бы быть и поточнее)

— На забудьте лайк, комент и шер на ➡️ рилс в инстаграме — буду благодарен!


🔴 @reptiloidnaya × #ar #augmentedreality
Apple Vision Pro потерял одно из своих преимуществ

Кажется, Ящерберг запер своих сотрудников в подвале и приковал кандалами — обновления на Meta Quest выходят с какой-то космической скоростью.

В недавнем апдейте практически исчез варпинг — искажение пространства под руками.
Вот, записал вам, смотрите видео: 1 — Quest v65 (было), 2 — Quest v66 (стало), 3 — Apple Vision Pro.

Искажения на квесте хоть и остались, но они почти незаметны: такого уровня качества уже достаточно.
Но, к сожалению, видимо, за все надо платить: теперь визуальное отображение рук не совпадает с трекингом, что неприятно (последние картинки).

На AVP, для сравнения, все идеально, и с отсутствием варпинга, и с трекингом рук.


🔴 @reptiloidnaya × #ar #vr #meta #apple #visionpro #quest
Снепчат качает мобильный AR

Оставляя конкурентов на годы позади (Instagram, TikTok, WebAR, приложения).

На днях Lens Studio (инструмент для создания AR) версии 5.0 вышел из беты. Напомню, что это полноценный 3D движок (почти как Unity): со скриптами, нодами, шейдерами, где можно делать все: от простых фейс-фильтров до сложных мультиплеерных игр.

Что добавили:
ML Face Effect — можно создавать простые ИИ-фильтры для всей головы, используя промты или референсые изображения.
Immersive ML — фильтры применяются ко всему изображению (да, это все реалтайм!)
3D Asset Generation — генерация 3D объектов прямо внутри Lens Studio. Используется Meshy.
Head Morph — заменяет голову пользователя на сгенерированный 3D-объект.
Генерация текстур для 3D-моделей. Тоже Meshy.
Возможность импортировать 2D-дизайны из Figma
Поддержку рендеринга Gaussian Splats (Карл!)

А сотни других фичей: улучшение производительности, мультиоконный режим, новые API и прочее.

Качаем тут и делаем AR.

🔴 @reptiloidnaya × #snapchat #ar
Media is too big
VIEW IN TELEGRAM
Копи-паст объектов из реального мира все ближе.

1. Распознавание объектов в реалтайме (я тоже такое делал пару лет назад)
2. Генерация меша.
3. Генерация текстур.
4. AR.

Под капотом моделька 3D-генерации Rodin (уже доступна, можно поиграться).


🔴 @reptiloidnaya × #ai #generativeai #ar
Media is too big
VIEW IN TELEGRAM
Симуляция ткани с коллизиями с реальным миром на Apple Vision Pro.

Мой коллега по AR Лаки из Zero10 опять разносит.

Я игрался с этой цифровой тряпкой минут 30, и хочется еще.

Будущее медитативно прекрасно.


🔴 @reptiloidnaya × #ar #apple #visionpro
This media is not supported in your browser
VIEW IN TELEGRAM
Когда хочется потрогать траву, но нет ничего кроме MR

Наткнутся на такой вот очень красивый эксперимент. Сделано в Unity, работает на Quest 3.

Источник

🔴 @reptiloidnaya × #ar #meta #quest3
РЕПТИЛОИДНАЯ
AR в Telegram Давно ничего не писал в канал, возвращаемся! Последние пару недель я активно прототипировал различные AR/AI пайплайны, делюсь одним из них: бот с мини-аппом в Телеграме. Представьте канал магазина, где можно примерять одежду c помощью AR (на…
Продолжаю эксперименты

Веб-приложение (может быть отдельным, или ботом в Телеграме, или интегрировано на сайт) теперь поддерживает консистентный AI-процессинг, как поверх обычной камеры, так и поверх AR.

AR может обрабатываться как напрямую, так и в скрытом режиме (в камере может быть невидимым, но использоваться как ControlNet для AI, «помогая» нейронке рисовать нужное).

AI-пайплайн полностью кастомный, крутится в облаке, стоимость генерации пока что в районе $0.01 — думаю, должно получиться снизить раза в два.


🔴 @reptiloidnaya × #ar #ai #generativeai
Media is too big
VIEW IN TELEGRAM
Диджитал-зеркала

Продолжая тему с AR/AI приколами, перехожу к следующему этапу будущей контент-платформы — диджитал-зеркала для ивентов и выставок. Само зеркало представляет собой экран, камеру, комп и специализированный софт.

Для начала, покажу AR — все также, основанный на CameraKit.

Поверх — мой собственный софт с трекингом рук и лица для управления зеркалом (независящий от Snap-линз, что позволяет использовать любые готовые линзы).

Плюс готовая инфраструктура доставки контента — после того, как зеркало запишет фото или видео, оно генерирует куаркод, по которому гости ивента могут скачать контент.

И самое вкусное — все разворачивается за 5 минут на простейшем оборудовании (mac mini, камера, телек) в виде легковесного macOS приложения или вообще в виде веб-версии (для винды/линукса), а загрузка AR-контента и выгрузка записей работает с моим облаком.

Позже расскажу еще про несколько интересных фич с подобными девайсами, которые, кажется, еще никто не делал.

Пишите в лс, если интересно установить такое на вашем ивенте.

🔴 @reptiloidnaya × #ar
This media is not supported in your browser
VIEW IN TELEGRAM
Прикольный эксперимент в Mixed Reality на Meta Quest 3

Захват цвета объекта и рисование с помощью Logitech MX Stylus pen.

Знающие люди удивятся и спросят — А КАК? Ведь Meta не дает доступа к камерам?

А нам и не надо. Включаем стриминг с Квеста в браузер, открываем невидимый браузер на Квесте, и снимаем с него картинку 😂


🔴 @reptiloidnaya × #ar #mr #meta #quest
Please open Telegram to view this post
VIEW IN TELEGRAM
Snapchat выкатил прозрачные AR-очки

Дождались! Кусочек будущего уже сегодня.

Snap, которых по праву можно называть одной из ведущих компаний в области AR и AI (особенно компьютерного зрения), выкатили новые AR-очки. И, самое главное — они прозрачные. Это значит, что вы видите реальный мир, а не шакальную проекцию через камеры, как в Quest или Vision. Но, конечно, у всего своя цена.

Итак, что внутри?
— Удвоили угол обзора по сравнению с предыдущей версией — стало 46° против 26°. Как это выглядит у предыдущей версии можно посмотреть тут — как разработчик, я получил и активно тестировал устройство.
— Улучшили автономность, 45 минут вместо 15.
— По-прежнему аддитивные дисплеи (очки не могут рисовать черный цвет, все выглядит как голограмма)
— При этом линзы в целом могут затемняться в зависимости от условий.
— Есть управление жестами и голосом.
— Куча встроенных приложений (о них напишу отдельно).
— Можно разрабатывать свои приложения используя Lens Studio (да-да, та самая среда разработки для масочек)
— Есть мультиплеер, если находитесь в одной локации!

Snap стремится к форм-фактору именно очков, а не шлема/гарнитуры (и рофлит над ними в видео) — но пока с этим сложно, физику не обманешь (особенно элементы питания).

Выглядят очки, на мой взгляд, так себе. Предыдущая версия (на последней фотке) — куда более стильная.

Ну и наконец, это по-прежнему devkit, устройство для разработчиков. Если предыдущую версию вообще рассылали только избранным (но хотя бы бесплатно 🇮🇱), эта будет доступна почти открыто за $99 в месяц.


🔴 @reptiloidnaya × #AR #snapchat #spectacles
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
AI в AR очках генерирует 3D-объекты.

Кусочек того самого, простите, метаверса. На 1:30.

🔴 @reptiloidnaya × #AR #snapchat #spectacles
Meta показала AR-очки "Orion"

Про которые уже написали все крупные каналы — как обычно, ошибившись практически во всем. Итак, что мы имеем.

- Очки не продаются. Прототип только для внутреннего использования, и стоимость только производства на данный момент составляет в районе $10,000.

- Также see-through (т.е. прозрачные), как и свежие Spectacles от Снепчата. Дисплеи такие же аддитивные (голографические) — т.е. не могут отображать цвет темнее чем окружение. В общем, кино не посмотришь.

- Выглядят получше и легче (<100 грамм) — все благодаря тому, что тяжелый вычислительный модуль — внешний (но спасибо, что хотя бы беспроводной), и врядли ситуация значительно улучшится в ближайшие годы. Либо придется носить в кармане/рюкзаке еще одну штуку размером и весом со средний павербанк, либо довольствоваться 45 минутами автономной работы, как в случае Spectacles.

- Неплохие углы обзора — 70° против 46° у снепчата. Все еще мало, но уже лучше. Для сравнения, у Quest 3 и Vision Pro больше 100°)

- Работает AR — размещение объектов и приложений в пространстве, трекинг рук и глаз.

- В комплекте идет браслет который помогает распознавать жесты — его уже обозвали НЕЙРО браслетом. Конечно, никакой он не нейро — там используется электромиография (распознавание примитивных электрических сигналов под кожей), которую показывали Thalmic Labs и другие стартапы еще в 2017-2019-х годах — наконец, продукт довели до ума.

- Твиттер орет про iPhone Moment. С точки зрения полезности — что Orion, что Spectacles нельзя сравнить даже с первым айфоном. Только самые примитивные приложения — мессенджер, звонилка со среднего качества аватарами. Есть мультиплеерный пинг-понг. Еще рилсы посмотреть можно, да — но в отличие от айфона, это не то устройство которое ты будешь носить весь день (не говоря уже про автономность).

- Зато внутри есть Meta AI, с которым можно разговаривать и даже задавать вопросы относительно того, что ты видишь. Правда, не сказали, работает ли оно локально на устройстве или в облаке.

- Из интересного: в вычислительном модуле есть камеры. Вероятно, он может использоваться как контроллер, либо для 3D-трекинга тела.

- Ничего не сказано про мощность и время автономной работы (скорее всего в районе 2-3 часов) — а от такого устройства ожидаешь автономности, как от смартфона.

- Также не сказали, откуда устройство берет интернет — со смартфона или имеет свой беспроводной модуль?

- Кто-то из авторов сравнивает в целом с Vision Pro — но тут даже комментировать не буду 🤡


В общем, хоть это и прототип — это очень круто. С нетерпением ждем эволюции технологии.

🔴 @reptiloidnaya × #meta #rayban #ar
This media is not supported in your browser
VIEW IN TELEGRAM
Еще один прикольный эксперимент на Quest3

Выполняешь жест руками, делается фотка, остается в пространстве. Я делал подобную штуку еще года 4 назад в виде инстаграм-фильтра — но в mixed reality это, конечно, смотрится намного круче.

Meta все еще не дает доступа к камерам — но знающие люди за нас уже все хакнули. В прошлый раз там запускали стриминг изображения, открывали ссылку на самом квесте, и захватывали картинку. Новый метод проще и эффективнее, если вы разработчик, можно почитать тут.

Источник

🔴 @reptiloidnaya × #ar #mr #meta #quest