Тестирую гауссиан сплаты на Vision Pro.

В очках, в 3D, выглядит просто отвал башки.

Все сканы сделаны в Luma.


🔴 @reptiloidnaya × #visionpro #apple #gaussiansplats

Тестирую тут рендеринг в Apple Vision Pro — не сразу, но реагирует на изменение освещения (видно на краях «металлической сферы».

Отражения в сфере — тоже моя реальная комната, а не какой-то рандомный скайбокс. И не заранее подготовленный скан, а все в реальном времени.

Что круто:
1) Работает из коробки. Вообще ничего делать не надо.
2) Слева у меня выведен виртуальный дисплей с Reality Composer Pro — можно настраивать там 3D-модель и в 1 клик видеть предпросмотр в очках.

Второй видос — собирал что-то подобное в Meta Spark, но там, конечно, таких красивых отражений добиться не выйдет.


🔴 @reptiloidnaya × #ar #augmentedreality #visionpro #apple

Snapchat-линзы на Vision Pro

Это видос в последнее время разлетелся по интернету и телеграм-каналам — все пишут, что Снепчат интегрировал свои линзы с Эппл и теперь они работают на Вижне.

Это не совсем так. Точнее, совсем не так.

Есть такая штука — Snap Camera Kit. Это технология, позволяющая создавать эффекты в Lens Studio (с некоторыми ограничениями) и запускать их в обычном браузере на телефоне или компьютере. Короче, Web AR.

Именно это и происходит на видео — просто линза, запущенная в браузере, открытом на Vision Pro. И работает она точно также, как и в браузере на телефоне. Все это работает «из коробки» и ничего специально для этого делать не нужно — потому особенно смешно слышать в видео фразу «we did the impossible».

Что интересно:
— персона (виртуальный аватар) работает как виртуальная камера, поэтому работает и трекинг лица.
— World AR, Target Tracking и прочее недоступны, т.к. Vision Pro не дает доступа к внешним камерам.

Короче, никакой интеграции нет — персону с фильтром нельзя использовать в звонках или как-то еще, все что можно сделать — это просто на нее посмотреть.

На втором видео показываю, как это работает на самом деле.


🔴 @reptiloidnaya × #ar #augmentedreality #snapchat #visionpro #apple

Киберпанк, который мы заслужили. Хорошей пятницы!


🔴 @reptiloidnaya × #киберпанк #apple #visionpro

Apple очень жирно навалили ИИ.

Так, как это не умеет никто, кроме Apple — в виде красивых, удобных, человеческих интерфейсов.
Все что описано в посте работает на уровне всей системы, а не в виде какого-то отдельного приложения или костыля.

Настоятельно рекомендую прям посмотреть эту часть презентации: https://youtu.be/RXeOiIDNNek?t=4031

А вот краткая сводка.

В айфон, айпад и мак на уровне системы интегрирована собственная мультимодальная модель (как ChatGPT, только маленькая) от Apple. Модель работает без интернета, прямо на устройстве, и делает огромное количество всего:

Тексты:
— Саммарайз (выделение ключевых смыслов из текста): из смс, емейлов, документов и даже сайтов прямо в браузере.
— Проверка грамматики, орфографии.
— Переписывание текстов (смс, емейлов, etc) в нужном стиле — профессиональном, неформальном, и так далее.
— Генерация текстов.
— Улучшенное распознание рукописного текста на iPad.
— Автоматические исправление почерка — он становится более красивым.
— Рукописный текст можно редактировать — удалять или дописывать фрагменты, буквы и строчки будут двигаться автоматически.
— Smart reply — например, вас спросили, придет ли ваш друг на встречу — система автоматически генерирует интерфейс с кнопками выбора ответов на вопросы из сообщения, а затем составит текстовый ответ.
— В калькуляторе на iPad можно стилусом писать формулы и выражения, ИИ автоматически их вычислит.

Фото:
— Плоские фото на Vision Pro автоматически становятся объемными.
— Можно использовать естественный язык для поиска по галерее, например «фото где Настя на пляже в красном платье».
— Поиск по видео перебрасывает в нужный момент в видео(!)
— Удаление объектов с фото, улучшение цвета.
— Генерация картинок (тоже без интернета!)
— Генерация эмоджи.

Система
— ИИ-выделение важного из пуш-уведомлений и их группировка по контексту.
— Глобальный ИИ-поиск по всему — емейлам, смс, фото, видео, приложениям, заметкам, календарям.
— С Siri можно чатиться голосом или текстом. Все также без интернета! Но модель маленькая, и может предложить напрямую обратиться к более-мощной ChatGPT в облаке (причем аккаунт в ChatGPT для этого не нужен, а платные подписчики могут линкануть свой и открыть доступ ко всем фичам).
— Siri видит что у вас на экране, понимает это, и может управлять системой(!)
— Siri может управлять сторонними приложениями, используя их публичные API — заказать еду, вызвать такси, что угодно еще (зависит от того, что разрешат разработчики).
— Siri помнит контекст диалога — например, вы спросили адрес ресторана, можно теперь просто сказать — построй маршрут.

В общем, смотрите презентацию. Это то, как должен работать ИИ — интегрировано во всех частях системы, а не просто в формате какого-то там чатбота.


🔴 @reptiloidnaya × #ai #generativeai #llm #chatgpt #apple

🏞️ Объемные фото на Apple Vision Pro

Сначала даже не хотел писать этот пост. Сейчас поймете почему.

В общем, то что Apple Vision Pro умеет снимать 3D-фото было известно. А в новой версии visionOS 2.0 добавили конвертер, который из плоских фоток делает объемные, используя ИИ-карту глубины. Да, работает это все нереально круто.

Однако, записав видео, я обнаружил, что на записи эффекта НЕ ВИДНО ВООБЩЕ. Я думал, что 3D-фото устроены примерно так — т.е. плоская фотка как бы «выдавливается» в пространстве, используя карту глубины, и при движении головы будет виден параллакс. Оказалось, Apple Vision Pro создает нейронкой версию для второго глаза (итого две плоские фотки — что логично, фоткает-то он также).

Чтобы хоть как-то показать вам эффект, я сделал две стереограммы. Первая — параллельная (приятнее картинка: для тех, кто умеет), вторая — перекрестная (проще научиться).

Как посмотреть перекрестную стереограмму (вторая картинка):

1) Откройте фото на телефоне.
2) Отодвиньте телефон от лица, на вытянутой руке.
3) Поднесите палец второй руки к носу и сфокусируйтесь на нем.
4) Двигайте палец от лица к экрану, пока две фотки не сойдутся в одну.
5) Не меняя положения глаз, переведите фокус на экран. Уберите палец.
6) Вы увидите объемную картинку.
7) Удерживая положение глаз и фокус, поднесите телефон ближе к лицу.

Вот примерно так объемные фото ощущаются внутри Apple Vision Pro, только без косоглазия и можно развернуть прямо перед собой. Фото, которые были сняты, а не сконвертированы, конечно, выглядят намного объемнее и создают мощный эффект присутствия.

Зачем оно все надо? Сложно объяснить тем, кто не пробовал. В общем, это просто круче. Почти как скачок в качестве — из пикселей, квадратиков и шакалов в четкое и яркое изображение.

Получилось увидеть объем?


🔴 @reptiloidnaya × #apple #visionpro #3d

Apple Vision Pro потерял одно из своих преимуществ

Кажется, Ящерберг запер своих сотрудников в подвале и приковал кандалами — обновления на Meta Quest выходят с какой-то космической скоростью.

В недавнем апдейте практически исчез варпинг — искажение пространства под руками.
Вот, записал вам, смотрите видео: 1 — Quest v65 (было), 2 — Quest v66 (стало), 3 — Apple Vision Pro.

Искажения на квесте хоть и остались, но они почти незаметны: такого уровня качества уже достаточно.
Но, к сожалению, видимо, за все надо платить: теперь визуальное отображение рук не совпадает с трекингом, что неприятно (последние картинки).

На AVP, для сравнения, все идеально, и с отсутствием варпинга, и с трекингом рук.


🔴 @reptiloidnaya × #ar #vr #meta #apple #visionpro #quest