Цифровой аватар с помощью звуковых волн

Инженеры из Корнеллского университета разработали новое носимое устройство — наушники EarlO, которое использует гидролокатор для считывания выражения лица пользователя и воссоздания его на цифровом аватаре. Устройство, состоящее из наушников, микрофона и динамика, можно подключить к любой гарнитуре. Каждый динамик испускает в сторону лица звуковые импульсы, которые находятся за пределами слышимости человеческого уха, поэтому не слышно никаких посторонних звуков. После этого микрофон улавливает отражённые эхо-сигналы. Затем на основе полученных данных на экране воспроизводится выражение лица в виде аватара. EarIO может передавать движения лица на мобильное устройство в реальном времени, а аватар можно использовать в видеозвонках.
#электроника #XR

https://news.cornell.edu/stories/2022/07/earable-uses-sonar-reconstruct-facial-expressions

Google приступит к тестированию своих AR-очков в августе

Google не отстаёт от других крупных корпораций в разработке AR-гарнитур. Компания объявила, что с августа планирует тестировать прототипы очков виртуальной реальности в реальных условиях. Это позволит разработчикам учесть факторы, которые проблематично создать в помещении — например, погоду и оживлённые перекрестки. Тестирование ограничат несколькими десятками сотрудников компании и доверенными партнерами. Прототипы будут оснащены камерами, микрофонами и встроенными в объектив дисплеями. Однако возможности прототипа будут ограничены в целях конфиденциальности тестировщика и окружающих — он не будет поддерживать фото- и видеосъёмку, хотя изображения будут преобразовываться в данные и использоваться для, например, перевода надписей.
#XR

https://blog.google/products/google-ar-vr/building-and-testing-helpful-ar-experiences/

Доходы Meta* снижаются, а развитие метавселенной съедает прибыль

Meta* сообщила, что во втором квартале 2022 года выручка впервые за время существования корпорации снизилась на 1% и составила $28,82 млрд (ожидалось $28,94 млрд). Чистая прибыль упала на 36%, а рекламные доходы уменьшились на 1,5% из-за растущей конкуренции со стороны TikTok, в ответ компания пытается переманить пользователей китайского сервиса на Reels. Кроме того, компания тратит большие средства на технологии и гарнитуры виртуальной реальности, которые ещё не готовы к массовому производству — за квартал было потрачено $2,81 млрд на подразделение виртуальной реальности Reality Labs. При этом масштабные планы по созданию метавселенной не смогут принести компании прибыль в краткосрочном периоде и потребуют миллиарды долларов на развитие. Компания также обвинила в падении выручки снижение курса евро и как следствие девальвацию денежного потока с европейского рынка. Если бы этого не случилось, выручка выросла бы на 3%.
*организация запрещена в России как экстремистская
#метавселенная #XR #бигтехи

https://www.wsj.com/articles/meta-facebook-q2-earnings-report-2022-11658883684

Реалистичные аватары по фото от Epic Games

Создание реалистичных аватаров остаётся сложной задачей. С одной стороны, сложно добиться фотографического сходства и выйти за пределы «мультяшности». С другой, по мере роста реализма, приближается «долина отвращения» — психологический эффект неприятия, когда человекоподобный образ, робот или аватар, выглядит почти как живой человек, и это «почти» поднимает в мозге зрителя тревогу.

Производитель средств разработки игр Epic Games предлагает инструмент, способный преодолеть эти ограничения, — Mesh to MetaHuman, фреймворк для создания реалистичных образов людей. Создание реалистичных персонажей для крупнобюджетных игр требует много месяцев, а новый инструмент позволяет сделать аватар за считанные часы. Для этого потребуется порядка 40 фотографий лица на смартфон с разных ракурсов — по этим снимкам программа построит 3D-модель. Затем её можно будет покрасить в нужные цвета — процесс похож на генерацию персонажа в игре. Инструмент автоматически делает анимацию, и здесь для получения совершенного результата уже потребуется знание 3D-моделирования и анимирования, но в целом порог освоения системы минимален.

MetaHuman ориентирован на независимых разработчиков игр и создателей короткометражных фильмов, однако в дальнейшем очевидно будет полезен и для метавселенной.
#метавселенная #XR

https://www.unrealengine.com/en-US/blog/new-release-brings-mesh-to-metahuman-to-unreal-engine-and-much-more

Впервые голограмма человека телепортирована в другую страну

Исследователи Западного института космических исследований (Канада) объявили о первой международной голопортации. При помощи 3D-камер голограмма человека передаётся в пункт назначения, где его принимает человек в очках смешанной реальности, который видит голограмму гостя, как будто тот находится с ним в одной комнате. Связь двухсторонняя: если оба участника используют такие устройства, то они могут взаимодействовать с окружающей средой так, как если бы они были там на самом деле. Исследователи отмечают, что интересна не столько новизна ощущений «путешествий», для которых не нужно покупать билеты, сколько практическое применение технологии, например, поведение медицинских осмотров или сдачи экзаменов в удаленной местности. Цена комплекта для голографической связи сейчас — $5000.
#XR #метавселенная

https://news.westernu.ca/2022/08/western-team-achieves-worlds-first-international-holographic-teleportation/

Цены на новые VR-гарнитуры могут отпугнуть покупателей

Apple и Meta* до конца года должны выпустить свои новые устройства виртуальной реальности. Ожидается, что устройство Cambria от Meta будет стоить 800 (при том, что Meta Quest 2 стоит 400), а гарнитура от Apple обойдётся в несколько тысяч долларов. Участники рынка полагают, что такая цена может отпугнуть даже энтузиастов, и, конечно, помешает быстро сделать VR новым стандартом пользовательского интерфейса нового поколения, каким, например, в своё время стал смартфон.

Корпорации будут стараться обогатить пользовательский опыт функцией «проницаемости» шлема — устройство будет иметь внешние камеры и проецировать на экран перед глазами пользователя картинку окружающего реального мира. Такая AR-функциональность расширит спектр применения гарнитуры, но при этом усложнит устройство, что тоже скажется на цене. В общем, пока похоже, что будущее широкого применения VR будет сильно ограничено платёжеспособным спросом. Даже в США.
*признана экстремистской организацией
#XR #метавселенная

https://www.cnbc.com/2022/08/16/apple-and-meta-mixed-reality-headsets-sticker-shock.html

Новая генеративная нейросеть от Apple

Apple разработала нейронную сеть NeuMan, способную сделать достаточно реалистичный дипфейк на основе всего лишь 10-секундного видео. Исходный код программы опубликован в репозитории GitHub. NeuMan распознаёт фон и человека на видео, снятом с движущейся камеры, после чего алгоритм синтезирует новое видео с разных ракурсов — с таким же фоном (размытым и с меньшей детализацией) и человеком, выполняющем теперь любые действия (прыгающим, танцующим и т.д). Как указывает разработчик, такая технология необходима для улучшения приложений дополненной реальности.
#XR #метавселенная

https://arxiv.org/abs/2203.12575

Meta и Qualcomm подписали соглашение о совместной разработке чипсетов для VR-устройств

На конференции по бытовой электронике в Берлине Meta (запрещена в России как экстремистская) и Qualcomm подписали соглашение о создании специальных пользовательских чипсетов, предназначенных для VR-гарнитур серии Quest. Специалисты обеих компаний будут совместно работать над созданием чипсетов на платформе Snapdragon XR7. Чипсеты, выпущенные в результате сотрудничества, не будут эксклюзивными для Meta, но будут специально настроены для системных спецификаций Quest. Соглашение распространяется только на устройства виртуальной реальности. Финансовые условия сделки не разглашаются.
#чипы #XR #метавселенная

https://www.reuters.com/technology/meta-qualcomm-strike-agreement-custom-virtual-reality-chips-2022-09-02/

Disney выпустил первый AR-фильм

Disney+ представил короткометражный фильм с поддержкой AR «Remembering» («Воспоминание»). Чтобы его посмотреть, зрителям необходимо подключиться к телевизору с помощью созданного компаний AR-приложения. Развлечение доступно с устройств iOS. Фильм призван выяснить, может ли AR улучшить качество просмотра в домашних условиях.
Продюсером картины стала Бри Ларсон. Она также сыграла главную роль — писательницы, которая забывает о своей идее. Вспомнить ход мыслей ей помогает внутренний ребенок, который живет в «Мире Воображения», куда и приглашают зрителей.
#XR #медиа #метавселенная

https://techcrunch.com/2022/09/08/disney-plus-new-ar-short-film-starring-brie-larson/

Meta профинансирует разработки стратапов Индии для метавселенной

Meta Platforms (запрещена в России как экстремистская) запустила в Индии акселератор, цель которого — увеличить число инноваций в новых технологиях, в том числе в сфере дополненной и виртуальной реальности. Стоимость программы составила $50 млн. Инициатива стала еще одним примером растущего участия Meta в повышении уровня образования и квалификации жителей Южной Азии. В компании заявили, что Индия будет играть основную роль в определении будущего технологий. Поэтому важно помочь в создании экосистемы, которая позволит индийским стартапам заложить основы метавсленной.
#XR #Meta #метавселенная

https://techcrunch.com/2022/09/13/facebook-parent-meta-launches-startup-accelerator-with-indias-it-ministry-in-metaverse-push/

Рады вас видеть на нашем канале про исследования и инновации в мире💡

Рассказываем о новостях и достижениях:
#кванты
#метавселенная
#чипы
#бигтехи
#роботы
#XR
#AI
#блокчейн
#sbernews
#связь
#космос
#вычисления
#нейронаука
#лонгрид

P.S. Для ознакомления с предыдущими публикациями перейдите по интересующему вас тегу.

Хотите предложить другие направления? Смело обращайтесь к @lyubovmatich

#Дайджест за 31 октября — 3 ноября 2022 г.

#бигтехи #XR #VR #инвестиции

📌Крупнейший производитель дисплеев идёт в VR

BOE Technology Group, один из ведущих мировых производителей телевизионных дисплеев, инвестирует $4 млрд в завод по производству LED-панелей для VR-гарнитур.

Мощность предприятия по предварительным данным составит 600 тыс. ед. в год, это примерно 4% от текущего мирового рынка новых устройств.

Пуск производства ожидается в 2025 году, выход на проектную мощность — годом позже.

https://asia.nikkei.com/Business/Electronics/Chinese-display-maker-BOE-eyes-VR-market-with-new-4bn-factory

Чипы Qualcomm для AR-очков

Это совершенно новая линейка чипов, оптимизированная для AR-очков. Процессоры особо энергоэффективны, поддерживают Wi-Fi 7 и ряд специфических функций — включая отслеживание взгляда, распознавание жестов и беспроводную потоковую передачу видеосигнала на телефоны или из облака.

Ожидается, что они появятся в устройствах в 2023-25 гг.
Эти чипы не подходят для обычных VR-гарнитур, т.к. ориентированы на экономию энергии и скорее на взаимодействие с внешним устройством, чем на самостоятельное воспроизведение качественной картинки.

Таким образом, AR-очки, судя по всему, превратятся в периферийное устройство для смартфона.
#чипы #XR #электроника

https://www.qualcomm.com/products/application/xr-vr-ar/snapdragon-ar2-gen-1-platform

Устройства от OPPO

Производитель электроники представил ряд новинок. Первая — OHealth H1 — аппарат для мониторинга жизненных показателей.

Он представляет собой небольшой овальный предмет со сглаженными гранями и может считывать содержание кислорода в крови, синусоиды сердечных ритмов, пульс, частоту дыхания, температуру тела и глубину сна.

Предполагается, что аппарат достаточно точен для использования не только в быту, но и в медучреждениях.

Вторая новинка — AR-очки. Линзы многослойные и их можно будет подбирать, как в обычных очках, по диоптриям.

AR-составляющая представлена тонким встроенным в линзу дисплеем. На него могут выводиться трансляции, подсказки навигатора и текст, преобразованный из речи, — функция рассчитана на слабослышащих пользователей.

В очках есть микрофоны и динамики, разработчики обещают, что очки можно будет использовать для мгновенного перевода устной речи.

Будут ли эти функции работать прямо на очках, или им нужен внешний процессинг (например, на смартфоне) — не сообщается.

#ARочки #здоровье #показатели #XR

https://www.oppo.com/en/newsroom/press/oppo-inno-day-2022-ohealth-h1-marisilicon-y/

NVIDIA создала нейросеть с 1,5 млн параметров для управления человекоподобными роботами

HOVER обучалась в NVIDIA Isaac, среде для моделирования на базе GPU, которая в 10 тыс. раз ускоряет физические симуляции. Модель прошла год виртуального обучения в смоделированной среде, затратив всего около 50 минут реального времени на одном GPU. Такая эффективность позволяет нейронной сети легко переноситься в реальные приложения без необходимости тонкой настройки.

HOVER — универсальный контроллер гуманоидного робота. Он представляет собой фреймворк, который объединяет различные режимы управления (control modes) в единую политику, и позволяет бесшовно переключаться между ними, сохраняя положительные черты каждого. Смена режимов также не требует переобучения модели, что, по замыслу авторов, должно повысить эффективность и существенно облегчить масштабирование.

HOVER позволяет управлять роботом при помощи устройств дополненной реальности, в том числе Apple Vision Pro, движений человека, получаемых через специальные видеокамеры, с помощью экзоскелетов, джойстиков и др. Андроид соответственно реагирует на получаемые инструкции.

Контроллер совместим с любым гуманоидом, которого можно смоделировать в Isaac, и позволит легко управлять роботами.

#news #роботы #XR

https://hover-versatile-humanoid.github.io/

OpenAI нанимает бывшего главу Orion для руководства робототехническими разработками

Кейтлин Калиновски (Caitlin Kalinowski) ранее возглавляла инициативу Марка Цукерберга по созданию очков дополненной реальности. До этого она также работала над VR-гарнитурой в компании Oculus, и почти 6 лет — в Apple над проектированием MacBook, включая модели Pro и Air. В OpenAI она возглавит направление робототехники и потребительского оборудования и будет работать над внедрением AI в физический мир.

OpenAI ведёт разработки AI-моделей для роботов и контролирует стартапы Figure AI и 1X Technologies, создающие различные модели гуманоидов.

#news #роботы #XR

https://www.cnbc.com/2024/11/05/openai-hires-metas-former-orion-head-to-lead-its-robotics-efforts.html

Amazon разрабатывает «умные» очки для курьеров

Устройство под кодовым называнием Amelia будет применяться для упрощения навигации работников службы доставки.

Сейчас курьеры пользуются GPS-устройствами, которые приходится держать в руках, как следствие работник может нести меньше груза. AR-очки с навигацией призваны упростить перемещения и повысить продуктивность сотрудников.

При этом представители корпорации отмечают, что проект пока на ранней стадии и может быть отложен в любой момент по техническим или финансовым причинам. Сроки разработки не раскрываются, но ясно, что, чтобы довести модель до зрелого состояния, потребуются годы, а не месяцы.

Также компания работает над новым поколением потребительских смарт-очков Echo Frames, их выход на рынок ожидается в 2026 г.

#news #бигтехи #XR

https://www.reuters.com/technology/amazon-developing-driver-eyeglasses-shave-seconds-off-deliveries-sources-say-2024-11-11/