Тестирую тут рендеринг в Apple Vision Pro — не сразу, но реагирует на изменение освещения (видно на краях «металлической сферы».
Отражения в сфере — тоже моя реальная комната, а не какой-то рандомный скайбокс. И не заранее подготовленный скан, а все в реальном времени.
Что круто:
1) Работает из коробки. Вообще ничего делать не надо.
2) Слева у меня выведен виртуальный дисплей с Reality Composer Pro — можно настраивать там 3D-модель и в 1 клик видеть предпросмотр в очках.
Второй видос — собирал что-то подобное в Meta Spark, но там, конечно, таких красивых отражений добиться не выйдет.
🔴 @reptiloidnaya × #ar #augmentedreality #visionpro #apple
Отражения в сфере — тоже моя реальная комната, а не какой-то рандомный скайбокс. И не заранее подготовленный скан, а все в реальном времени.
Что круто:
1) Работает из коробки. Вообще ничего делать не надо.
2) Слева у меня выведен виртуальный дисплей с Reality Composer Pro — можно настраивать там 3D-модель и в 1 клик видеть предпросмотр в очках.
Второй видос — собирал что-то подобное в Meta Spark, но там, конечно, таких красивых отражений добиться не выйдет.
🔴 @reptiloidnaya × #ar #augmentedreality #visionpro #apple
Snapchat-линзы на Vision Pro
Это видос в последнее время разлетелся по интернету и телеграм-каналам — все пишут, что Снепчат интегрировал свои линзы с Эппл и теперь они работают на Вижне.
Это не совсем так. Точнее, совсем не так.
Есть такая штука — Snap Camera Kit. Это технология, позволяющая создавать эффекты в Lens Studio (с некоторыми ограничениями) и запускать их в обычном браузере на телефоне или компьютере. Короче, Web AR.
Именно это и происходит на видео — просто линза, запущенная в браузере, открытом на Vision Pro. И работает она точно также, как и в браузере на телефоне. Все это работает «из коробки» и ничего специально для этого делать не нужно — потому особенно смешно слышать в видео фразу «we did the impossible».
Что интересно:
— персона (виртуальный аватар) работает как виртуальная камера, поэтому работает и трекинг лица.
— World AR, Target Tracking и прочее недоступны, т.к. Vision Pro не дает доступа к внешним камерам.
Короче, никакой интеграции нет — персону с фильтром нельзя использовать в звонках или как-то еще, все что можно сделать — это просто на нее посмотреть.
На втором видео показываю, как это работает на самом деле.
🔴 @reptiloidnaya × #ar #augmentedreality #snapchat #visionpro #apple
Это видос в последнее время разлетелся по интернету и телеграм-каналам — все пишут, что Снепчат интегрировал свои линзы с Эппл и теперь они работают на Вижне.
Это не совсем так. Точнее, совсем не так.
Есть такая штука — Snap Camera Kit. Это технология, позволяющая создавать эффекты в Lens Studio (с некоторыми ограничениями) и запускать их в обычном браузере на телефоне или компьютере. Короче, Web AR.
Именно это и происходит на видео — просто линза, запущенная в браузере, открытом на Vision Pro. И работает она точно также, как и в браузере на телефоне. Все это работает «из коробки» и ничего специально для этого делать не нужно — потому особенно смешно слышать в видео фразу «we did the impossible».
Что интересно:
— персона (виртуальный аватар) работает как виртуальная камера, поэтому работает и трекинг лица.
— World AR, Target Tracking и прочее недоступны, т.к. Vision Pro не дает доступа к внешним камерам.
Короче, никакой интеграции нет — персону с фильтром нельзя использовать в звонках или как-то еще, все что можно сделать — это просто на нее посмотреть.
На втором видео показываю, как это работает на самом деле.
🔴 @reptiloidnaya × #ar #augmentedreality #snapchat #visionpro #apple
Media is too big
VIEW IN TELEGRAM
Раскрашиваем тачку с помощью Vision Pro.
Еще один видос, который разлетелся по соцсетям и требует комментария.
На самом деле, никакая тачка тут не раскрашивается — используемое в видосе приложение AirDraw рисует просто в воздухе.
Если тачка уедет, все нарисованное останется на месте.
Привязывать контент к объектам реального мира с помощью VPS (визуального позиционирования) или геолокации, а также трекать кастомные объекты на Vision Pro пока нельзя.
Но для арт-перфомансов — прикольно!
🔴 @reptiloidnaya × #ar #augmentedreality #visionpro #apple
Еще один видос, который разлетелся по соцсетям и требует комментария.
На самом деле, никакая тачка тут не раскрашивается — используемое в видосе приложение AirDraw рисует просто в воздухе.
Если тачка уедет, все нарисованное останется на месте.
Привязывать контент к объектам реального мира с помощью VPS (визуального позиционирования) или геолокации, а также трекать кастомные объекты на Vision Pro пока нельзя.
Но для арт-перфомансов — прикольно!
🔴 @reptiloidnaya × #ar #augmentedreality #visionpro #apple
This media is not supported in your browser
VIEW IN TELEGRAM
Будущее шопинга с Apple Vision Pro
Красивый концепт шопинга не выходя из дома, в котором не хватило одной важной вещи.
Аватара. Аватара!
Пользователю нужно видеть как он выглядит с этой сумкой, в этом платье или пальто!
Да, пока на Vision Pro нет аватаров в полный рост и с правильными пропорциями — но для концепта это стоило добавить, иначе обычный человек просто не поймет, зачем это все.
🔴 @reptiloidnaya × #ar #augmentedreality #visionpro #apple
Красивый концепт шопинга не выходя из дома, в котором не хватило одной важной вещи.
Аватара. Аватара!
Пользователю нужно видеть как он выглядит с этой сумкой, в этом платье или пальто!
Да, пока на Vision Pro нет аватаров в полный рост и с правильными пропорциями — но для концепта это стоило добавить, иначе обычный человек просто не поймет, зачем это все.
🔴 @reptiloidnaya × #ar #augmentedreality #visionpro #apple
This media is not supported in your browser
VIEW IN TELEGRAM
Еще один хороший концепт, в котором забыли самое главное.
Порой возникает ощущение, что у людей, которые делают концепты под AR/VR гарнитуры, вообще никогда не было никакого шлема.
Вот концепт AirBnb. Все, конечно, красиво, но что это за кривая панорама в конце?
1) Где 360° обзор квартиры? Это буквально то, что клиенту продаст аренду. Открываем сочный 360°, листаем апартаменты (карта продолжает висеть в воздухе), со сменой апартов меняется и панорама. Это то, для чего нужна гарнитура, плоские окошки у меня и на мобиле есть.
2) И еще вдогонку вопрос к UI в целом — где общая сумма аренды за весь срок со всеми таксами и клинингом? На настоящем AirBnb она есть.
В общем, прежде чем концептить под AR/MR — думайте.
🔴 @reptiloidnaya × #ar #augmentedreality #visionpro #apple
Порой возникает ощущение, что у людей, которые делают концепты под AR/VR гарнитуры, вообще никогда не было никакого шлема.
Вот концепт AirBnb. Все, конечно, красиво, но что это за кривая панорама в конце?
1) Где 360° обзор квартиры? Это буквально то, что клиенту продаст аренду. Открываем сочный 360°, листаем апартаменты (карта продолжает висеть в воздухе), со сменой апартов меняется и панорама. Это то, для чего нужна гарнитура, плоские окошки у меня и на мобиле есть.
2) И еще вдогонку вопрос к UI в целом — где общая сумма аренды за весь срок со всеми таксами и клинингом? На настоящем AirBnb она есть.
В общем, прежде чем концептить под AR/MR — думайте.
🔴 @reptiloidnaya × #ar #augmentedreality #visionpro #apple
Apple очень жирно навалили ИИ.
Так, как это не умеет никто, кроме Apple — в виде красивых, удобных, человеческих интерфейсов.
Все что описано в посте работает на уровне всей системы, а не в виде какого-то отдельного приложения или костыля.
Настоятельно рекомендую прям посмотреть эту часть презентации: https://youtu.be/RXeOiIDNNek?t=4031
А вот краткая сводка.
В айфон, айпад и мак на уровне системы интегрирована собственная мультимодальная модель (как ChatGPT, только маленькая) от Apple. Модель работает без интернета, прямо на устройстве, и делает огромное количество всего:
Тексты:
— Саммарайз (выделение ключевых смыслов из текста): из смс, емейлов, документов и даже сайтов прямо в браузере.
— Проверка грамматики, орфографии.
— Переписывание текстов (смс, емейлов, etc) в нужном стиле — профессиональном, неформальном, и так далее.
— Генерация текстов.
— Улучшенное распознание рукописного текста на iPad.
— Автоматические исправление почерка — он становится более красивым.
— Рукописный текст можно редактировать — удалять или дописывать фрагменты, буквы и строчки будут двигаться автоматически.
— Smart reply — например, вас спросили, придет ли ваш друг на встречу — система автоматически генерирует интерфейс с кнопками выбора ответов на вопросы из сообщения, а затем составит текстовый ответ.
— В калькуляторе на iPad можно стилусом писать формулы и выражения, ИИ автоматически их вычислит.
Фото:
— Плоские фото на Vision Pro автоматически становятся объемными.
— Можно использовать естественный язык для поиска по галерее, например «фото где Настя на пляже в красном платье».
— Поиск по видео перебрасывает в нужный момент в видео(!)
— Удаление объектов с фото, улучшение цвета.
— Генерация картинок (тоже без интернета!)
— Генерация эмоджи.
Система
— ИИ-выделение важного из пуш-уведомлений и их группировка по контексту.
— Глобальный ИИ-поиск по всему — емейлам, смс, фото, видео, приложениям, заметкам, календарям.
— С Siri можно чатиться голосом или текстом. Все также без интернета! Но модель маленькая, и может предложить напрямую обратиться к более-мощной ChatGPT в облаке (причем аккаунт в ChatGPT для этого не нужен, а платные подписчики могут линкануть свой и открыть доступ ко всем фичам).
— Siri видит что у вас на экране, понимает это, и может управлять системой(!)
— Siri может управлять сторонними приложениями, используя их публичные API — заказать еду, вызвать такси, что угодно еще (зависит от того, что разрешат разработчики).
— Siri помнит контекст диалога — например, вы спросили адрес ресторана, можно теперь просто сказать — построй маршрут.
В общем, смотрите презентацию. Это то, как должен работать ИИ — интегрировано во всех частях системы, а не просто в формате какого-то там чатбота.
🔴 @reptiloidnaya × #ai #generativeai #llm #chatgpt #apple
Так, как это не умеет никто, кроме Apple — в виде красивых, удобных, человеческих интерфейсов.
Все что описано в посте работает на уровне всей системы, а не в виде какого-то отдельного приложения или костыля.
Настоятельно рекомендую прям посмотреть эту часть презентации: https://youtu.be/RXeOiIDNNek?t=4031
А вот краткая сводка.
В айфон, айпад и мак на уровне системы интегрирована собственная мультимодальная модель (как ChatGPT, только маленькая) от Apple. Модель работает без интернета, прямо на устройстве, и делает огромное количество всего:
Тексты:
— Саммарайз (выделение ключевых смыслов из текста): из смс, емейлов, документов и даже сайтов прямо в браузере.
— Проверка грамматики, орфографии.
— Переписывание текстов (смс, емейлов, etc) в нужном стиле — профессиональном, неформальном, и так далее.
— Генерация текстов.
— Улучшенное распознание рукописного текста на iPad.
— Автоматические исправление почерка — он становится более красивым.
— Рукописный текст можно редактировать — удалять или дописывать фрагменты, буквы и строчки будут двигаться автоматически.
— Smart reply — например, вас спросили, придет ли ваш друг на встречу — система автоматически генерирует интерфейс с кнопками выбора ответов на вопросы из сообщения, а затем составит текстовый ответ.
— В калькуляторе на iPad можно стилусом писать формулы и выражения, ИИ автоматически их вычислит.
Фото:
— Плоские фото на Vision Pro автоматически становятся объемными.
— Можно использовать естественный язык для поиска по галерее, например «фото где Настя на пляже в красном платье».
— Поиск по видео перебрасывает в нужный момент в видео(!)
— Удаление объектов с фото, улучшение цвета.
— Генерация картинок (тоже без интернета!)
— Генерация эмоджи.
Система
— ИИ-выделение важного из пуш-уведомлений и их группировка по контексту.
— Глобальный ИИ-поиск по всему — емейлам, смс, фото, видео, приложениям, заметкам, календарям.
— С Siri можно чатиться голосом или текстом. Все также без интернета! Но модель маленькая, и может предложить напрямую обратиться к более-мощной ChatGPT в облаке (причем аккаунт в ChatGPT для этого не нужен, а платные подписчики могут линкануть свой и открыть доступ ко всем фичам).
— Siri видит что у вас на экране, понимает это, и может управлять системой(!)
— Siri может управлять сторонними приложениями, используя их публичные API — заказать еду, вызвать такси, что угодно еще (зависит от того, что разрешат разработчики).
— Siri помнит контекст диалога — например, вы спросили адрес ресторана, можно теперь просто сказать — построй маршрут.
В общем, смотрите презентацию. Это то, как должен работать ИИ — интегрировано во всех частях системы, а не просто в формате какого-то там чатбота.
🔴 @reptiloidnaya × #ai #generativeai #llm #chatgpt #apple
🏞️ Объемные фото на Apple Vision Pro
Сначала даже не хотел писать этот пост. Сейчас поймете почему.
В общем, то что Apple Vision Pro умеет снимать 3D-фото было известно. А в новой версии visionOS 2.0 добавили конвертер, который из плоских фоток делает объемные, используя ИИ-карту глубины. Да, работает это все нереально круто.
Однако, записав видео, я обнаружил, что на записи эффекта НЕ ВИДНО ВООБЩЕ. Я думал, что 3D-фото устроены примерно так — т.е. плоская фотка как бы «выдавливается» в пространстве, используя карту глубины, и при движении головы будет виден параллакс. Оказалось, Apple Vision Pro создает нейронкой версию для второго глаза (итого две плоские фотки — что логично, фоткает-то он также).
Чтобы хоть как-то показать вам эффект, я сделал две стереограммы. Первая — параллельная (приятнее картинка: для тех, кто умеет), вторая — перекрестная (проще научиться).
Как посмотреть перекрестную стереограмму (вторая картинка):
1) Откройте фото на телефоне.
2) Отодвиньте телефон от лица, на вытянутой руке.
3) Поднесите палец второй руки к носу и сфокусируйтесь на нем.
4) Двигайте палец от лица к экрану, пока две фотки не сойдутся в одну.
5) Не меняя положения глаз, переведите фокус на экран. Уберите палец.
6) Вы увидите объемную картинку.
7) Удерживая положение глаз и фокус, поднесите телефон ближе к лицу.
Вот примерно так объемные фото ощущаются внутри Apple Vision Pro, только без косоглазия и можно развернуть прямо перед собой. Фото, которые были сняты, а не сконвертированы, конечно, выглядят намного объемнее и создают мощный эффект присутствия.
Зачем оно все надо? Сложно объяснить тем, кто не пробовал. В общем, это просто круче. Почти как скачок в качестве — из пикселей, квадратиков и шакалов в четкое и яркое изображение.
Получилось увидеть объем?
🔴 @reptiloidnaya × #apple #visionpro #3d
Сначала даже не хотел писать этот пост. Сейчас поймете почему.
В общем, то что Apple Vision Pro умеет снимать 3D-фото было известно. А в новой версии visionOS 2.0 добавили конвертер, который из плоских фоток делает объемные, используя ИИ-карту глубины. Да, работает это все нереально круто.
Однако, записав видео, я обнаружил, что на записи эффекта НЕ ВИДНО ВООБЩЕ. Я думал, что 3D-фото устроены примерно так — т.е. плоская фотка как бы «выдавливается» в пространстве, используя карту глубины, и при движении головы будет виден параллакс. Оказалось, Apple Vision Pro создает нейронкой версию для второго глаза (итого две плоские фотки — что логично, фоткает-то он также).
Чтобы хоть как-то показать вам эффект, я сделал две стереограммы. Первая — параллельная (приятнее картинка: для тех, кто умеет), вторая — перекрестная (проще научиться).
Как посмотреть перекрестную стереограмму (вторая картинка):
1) Откройте фото на телефоне.
2) Отодвиньте телефон от лица, на вытянутой руке.
3) Поднесите палец второй руки к носу и сфокусируйтесь на нем.
4) Двигайте палец от лица к экрану, пока две фотки не сойдутся в одну.
5) Не меняя положения глаз, переведите фокус на экран. Уберите палец.
6) Вы увидите объемную картинку.
7) Удерживая положение глаз и фокус, поднесите телефон ближе к лицу.
Вот примерно так объемные фото ощущаются внутри Apple Vision Pro, только без косоглазия и можно развернуть прямо перед собой. Фото, которые были сняты, а не сконвертированы, конечно, выглядят намного объемнее и создают мощный эффект присутствия.
Зачем оно все надо? Сложно объяснить тем, кто не пробовал. В общем, это просто круче. Почти как скачок в качестве — из пикселей, квадратиков и шакалов в четкое и яркое изображение.
Получилось увидеть объем?
🔴 @reptiloidnaya × #apple #visionpro #3d
Apple Vision Pro потерял одно из своих преимуществ
Кажется, Ящерберг запер своих сотрудников в подвале и приковал кандалами — обновления на Meta Quest выходят с какой-то космической скоростью.
В недавнем апдейте практически исчез варпинг — искажение пространства под руками.
Вот, записал вам, смотрите видео: 1 — Quest v65 (было), 2 — Quest v66 (стало), 3 — Apple Vision Pro.
Искажения на квесте хоть и остались, но они почти незаметны: такого уровня качества уже достаточно.
Но, к сожалению, видимо, за все надо платить: теперь визуальное отображение рук не совпадает с трекингом, что неприятно (последние картинки).
На AVP, для сравнения, все идеально, и с отсутствием варпинга, и с трекингом рук.
🔴 @reptiloidnaya × #ar #vr #meta #apple #visionpro #quest
Кажется, Ящерберг запер своих сотрудников в подвале и приковал кандалами — обновления на Meta Quest выходят с какой-то космической скоростью.
В недавнем апдейте практически исчез варпинг — искажение пространства под руками.
Вот, записал вам, смотрите видео: 1 — Quest v65 (было), 2 — Quest v66 (стало), 3 — Apple Vision Pro.
Искажения на квесте хоть и остались, но они почти незаметны: такого уровня качества уже достаточно.
Но, к сожалению, видимо, за все надо платить: теперь визуальное отображение рук не совпадает с трекингом, что неприятно (последние картинки).
На AVP, для сравнения, все идеально, и с отсутствием варпинга, и с трекингом рук.
🔴 @reptiloidnaya × #ar #vr #meta #apple #visionpro #quest
Media is too big
VIEW IN TELEGRAM
Симуляция ткани с коллизиями с реальным миром на Apple Vision Pro.
Мой коллега по AR Лаки из Zero10 опять разносит.
Я игрался с этой цифровой тряпкой минут 30, и хочется еще.
Будущее медитативно прекрасно.
🔴 @reptiloidnaya × #ar #apple #visionpro
Мой коллега по AR Лаки из Zero10 опять разносит.
Я игрался с этой цифровой тряпкой минут 30, и хочется еще.
Будущее медитативно прекрасно.
🔴 @reptiloidnaya × #ar #apple #visionpro
This media is not supported in your browser
VIEW IN TELEGRAM
Играюсь тут с синхронизацией пространств между Apple Vision Pro и iPhone.
Работает, конечно, пока что так себе.
🔴 @reptiloidnaya × #apple #visionpro
Работает, конечно, пока что так себе.
🔴 @reptiloidnaya × #apple #visionpro