Stable Diffusion перенесли в VR

Один разработчик объединил Stable Diffusion с программой Touchdesigner и назвал свой результат «иммерсивным скрытым пространством в реальном времени».

Объекты в видео постоянно перерисовываются, когда ты смотришь на них длительное время и это все без какого-либо 3D. Чистая проекция двухмерной графики!

Демонстрация была создана на Nvidia 2080 Ti с 11 ГБ 💥💥💥

Quest Pro – новый VR-шлем от Меты* за $1500 💥

Мета* заявила, что новые очки – самая легкая гарнитура, которая вышла на рынок. Ни Oculus, ни HoloLens не сравнятся с ними по весу. В Quest Pro поместили линзы, которые на 40% тоньше и 75% контрастнее предыдущей версии. А управляет всем новый процессор Snapdragon, который мощнее на 50% чем Quest 2.

Джойстики тоже абсолютно новые, у них исчезла арка и появилось несколько сенсорных датчиков, Цукерберг обещал, что они станут скорее продолжением рук, чем пультами управления 🙃

Официально Quest Pro представили вчера, но в продажу они поступят только 25 октября.

* — запрещенная на территории РФ организация

В метавселенные заходят меньше тысячи пользователей в день при миллиардных инвестициях 😱

Данные DappRadar говорят о том, что у платформ Decentraland и The Sandbox менее 1 000 ежедневно активных пользователей, несмотря на их общую оценку в 1,5 млрд. долларов!!! Там пусто прямо как на фотографии!

Правда платформы утверждают, что эти цифры не отражают полной картины и говорят, что оценивать нужно не по «активным» пользователям, а по «уникальным». Разница между этими пользователями заключается в том, что «активные» – те, которые совершили действие с уникального кошелька со смарт-контрактом платформы, а «уникальные» – те, которые посетили платформу хотя бы 1 раз.

«Уникальных» пользователей, разумеется, больше 1 000 в день, но это несопоставимо с общей рыночной капитализации обоих платформ.

Новая продвинутая AR-линза 🥸

Швейцарский стартап Creal разрабатывает оптику для гарнитуры, которая объединяет естественный и цифровой свет для создания правдоподобной дополненной реальности. Сама линза представляет из себя абсолютно прозрачную пленку толщиной с человеческий волос, которая пропускает через себя почти весь видимый свет без каких-либо эффектов.

Такая технология была опробована крупными компаниями, но уникальность Creal заключается в том, что они увеличили площадь, на которою проецируется голографическое изображение!

Microsoft добавит DALL-E 2 в приложение для графического дизайна 🥳

Приложение, получившее супер оригинальное название «Microsoft Designer», будет доступно в пакете Microsoft 365 и будет использовать как Microsoft AI, так и DALL-E 2, чтобы помочь творческим людям сэкономить время и улучшить результаты их работы. Схема работы проста: Microsoft Designer генерирует изображения по текстовым подсказкам.

В дальнейшем этот функционал Microsoft планируют интегрировать в Microsoft Edge и Bing.

Партнерство Microsoft и OpenAI идет уже давно: еще в 2019 году Microsoft инвестировал в них 1 млрд долларов 💰

Сентябрьский дайджест ON AIR 🔊

Из него вы узнаете, что:

🟣 VK разрабатывает аналог игрового маркетплейса Steam

🟣 Яндекс за лето удалил на 42% больше пиратских ссылок

🟣 Instagram*, YouTube и Яндекс тестирует новые способы монетизации

🟣 Snapchat проанализировал перспективы использования AR брендами

🟣 Netflix создает собственную игровую студию

И многое другое 🔥

* — запрещенная на территории РФ организация

Студия Demeo превращает квартиру или офис в AR-шутер с помощью приложения Spatial Ops 💥

Шутер Spatial Ops работает на гарнитурах Quest Pro и Quest 2. Он смешивает реальное окружение с компьютерной графикой, создавая интенсивный AR-шутер, прямо как лазертаг!

Gartner представил отчет по технологическим трендам на 2023 год 🔥

Из отчета вы узнаете, как на бизнес могут повлиять такие технологические тренды, как адаптивный ИИ, отраслевые облачные платформы, метавселенные и многое другое!

Остальные тренды и что они означают, можно прочитать в оригинале или в этом отчете на русском языке.

Новое VR-приложение, которое позволяет оказаться внутри видео, снятых на смартфон 📱

Стартап Wist Labs разрабатывает VR-приложение, которое преобразует ваши видеоролики, снятые на смартфон, в 3D-видео! Происходит это с помощью датчиков LiDAR, а само видео можно посмотреть с помощью VR-гарнитур (например, Quest VR) 🥳

Проект находится на стадии альфа-тестирования и доступен только на iOS, но только представьте, что будет, если Wist поженить с нейрорендерингом или с функцией дорисовки от Stable Diffusion 😱

Пять главных Web3 тенденций в 2023 году по версии Forbes

Среди них оказались:

1️⃣ Децентрализованная метавселенная
Над метаверсом работают все крупные игроки рынка, но DecentralandMANA и The Sandbox – самые популярные примеры именно децентрализованных метавселенных. У них данные хранятся на блокчейне EthereumETH и они не имеют одного владельца. По мнению Forbes, именно над разработкой такой метавселенной будут работать остальные Web3 компании.


2️⃣ «Полезные» NFT
Аналитики говорят, что их истинная ценность будет заключаться в токенизации предметов, данных и даже идей в цифровой и физической областях. Акцент будет сделан на «Полезные» NFT, которые будут иметь практическое применение, а не на NFT, которые просто представляют виртуальные произведения искусства.


3️⃣ Децентрализованные соцсети
Сторонники Web3 утверждают, что основным преимуществом децентрализованной соцсети будет то, что она будет устойчива к цензуре. Если это станет реальностью в 2023 году, то это может произойти благодаря не кому иному, как Илону Маску 😏


4️⃣ Тренд на экологичность
Все больше усилий будет приложено к использованию технологии для достижения «зеленых» целей, например, недавно Ethereum уже перешел на более «зеленый» алгоритм работы, что снизило энергозатраты на 98% или «регенеративное финансирование» (ReFi). Оно направлено на развитие проектов, которые занимаются восстановлением или сохранением природных ресурсов.


5️⃣ Усиление присутствие правительств в Web3
В 2023 году государства будут позиционировать себя как «дружественные Web3» и, вероятно, делать они будут это с помощью понижения налоговой ставки для Web3-организаций и создания цифровых валют CBDC (Central bank digital currency). Уже есть примеры таких валют как индийская электронная рупия, китайский цифровой юань (или цифровой рубль, разрабатываемый Банком России). Также в этом году Колорадо стал первым штатом, официально принимающим криптовалюту в качестве оплаты налогов и государственных сборов.

Очередная попытка обмануть большого брата с помощью стрёмных шмоток 🙃

Группа исследователей из Мэрилендского университета, сотрудничающая с Facebook AI, разработала свитер, который делает вас «невидимым» для обычных моделей машинного обучения по обнаружению людей.

Другие интересные новости последних недель:


🟣 Разработчики Stable Diffusion получили от инвесторов $100 млн и после инвестиционного раунда оценочная стоимость компании Stability AI достигла $1 млрд! Деньги пойдут на увеличение вычислительных мощностей для работы нейросети и на поддержку пользовательских версий Stable Diffusion.


🟣 Meta* представит новую VR-гарнитуру уже в следующем году. Это будет Quest Pro за $1499. Одна из главных её особенностей заключается в наличии четырёх наружных камер. За счёт этого пользователь гарнитуры сможет взаимодействовать со смешанной реальностью, когда виртуальные объекты накладываются поверх реальных.


🟣 Apple обновил правила использования NFT и криптовалюты в AppStore. Главные изменения касаются ограничения функционала NFT и криптовалюты внутри приложений, доступных в AppStore. Еще одно ограничение – пользователь может просматривать чужие токены при условии, что они не содержат ссылку, которая ведет на внешний источник.


🟣 Google запустил облачный сервис Blockchain Node Engine, который будет обеспечивать разработчикам Web3 приложений работу так называемых нодов (узлов), которые необходимы для функционирования блокчейна. Так разработчики могут сэкономить время и сразу приступать к созданию приложений.


🟣 Apple запатентовал дипфейки и теперь компания может создавать дипфейк пользователя только из такого изображения, которое он сам предоставил.


🟣 PayPal добавил поддержку «убийцы паролей» – Passkeys. Это функция, которая упрощает систему входа в приложение для пользователя и в тоже время мощнее защищает ее. Благодаря такой функции не нужно придумывать сложносочиненные пароли, а можно зайти через Touch ID, FaceID или пин-код. Google, Microsoft и Apple уже используют Passkeys в некоторых своих сервисах.


🟣 В Photoshop добавили функционал по редактированию части изображения по текстовой подсказке благодаря плагину Flying Dog, где появились возможности Runway, о котором мы писали раньше.


🟣 Shutterstock и OpenAI заключили соглашение о сотрудничестве. Теперь Shutterstock будет продавать изображения, сгенерированные нейросетью DALL-E 2. В компании также пообещали создать фонд, из которого будут отчисляться деньги авторам, работы которых использовали для тренировки нейросети.


🟣 Quest Pro от Meta* будет отслеживать взаимодействие пользователя с рекламой. Она будет следить за взглядом пользователя, чтобы понять, какая реклама его заинтересовала. Технология может стать ключевой для развития метавселенной Horizon, которую разрабатывает компания Цукерберга.


🟣 Рендеринг с помощью Stable Diffusion добавили в Blender. Теперь в популярном ПО для создания 3D-графики можно рендерить изображение с помощью текстовых подсказок.


🟣 В Нью-Джерси автопроизводителям хотят запретить продавать подписку на уже установленные в автомобиле функции: обогрев руля или сидений. Документ находится на стадии законопроекта.


🟣 Стартап Omneky использует нейросеть Dall-E и языковую модель GPT-3 для генерирования изображений и текста для рекламных объявлений в социальных сетях через собственную платформу. ПО совместимо с Linkedin, Google, Facebook* и Snapchat, откуда Omneky берет информацию о предыдущих рекламных кампаниях пользователя для создания новых.


🟣 Разработчик представил AR-приложение, дублирующее футбольные матчи при поддержке немецкого стриминг-сервиса Sporttotal. При просмотре футбольного матча на стол, стоящий перед ТВ, проецируется видео футбольного поля с игроками с высоты птичьего полета.


🟣 Энтони Хопкинс рекордно быстро продал свои NFT. Актер продал около тысячи токенов, связанных с его карьерой менее чем за 10 минут. OpenSea объявила, что это стало самой быстро продажей в истории платформы.


🟣 Исследователи из Китая закрепили на голубе небольшую солнечную батарею, подсоединенную к устройству, которое находится на голове у птицы и подключили к нему стимулирующие сигналы. С помощью устройства, как утверждают исследователи, им удалось два часа контролировать птицу в полете!

#теперьтызнаешьвсё

* — запрещенная на территории РФ организация

Stable Diffusion + Quest Pro = я у мамы художник 80lvl

На видео Stable Diffusion, который работает в режиме реального времени с Meta* Quest Pro в Gravity Sketch 😱

* — запрещенная на территории РФ организация

Image-to-music? Почему бы и нет 🙃

Недавно на гитхабе выложили версию отечественного стартапа Mubert – инструмент для ИИ-генерации музыки, в основе которого лежит Stable Diffusion. Вот первые интересные результаты работы сообщества 🙄

Работает это так: пользователь загружает изображение в CLIP Interrogator, которое трансформируется в текстовую подсказку. Затем эту подсказку обрабатывает нейросеть Mubert, которая генерирует из текста музыкальный трек!

Не знаем, зачем вам это, но поиграться с этой штукой можно здесь 👍

А как насчет Text-to-music-video?

Также на Github появилась ссылка на коллаб Mubert + Stable Diffusion + Deforum, который может из текста создавать не только музыку, но и делать из них такие психоделические видосы 😱

Изобрели крошечный LiDAR, который может создавать 3D-карту помещения

Исследователи из Южной Кореи разработали супермаленький LiDAR, который разделяет лазерный луч на 10 000 точек, благодаря тому, что свет проходит через сверхплоские линзы с так называемой метаповерхностью. Именно она позволяет охватывать окружающее пространство на 180 градусов и создавать его 3D-версию!

Исследователи считают, что это устройство имеет огромный потенциал в развитии робототехники и VR/AR-устройств.

Holokit X превратит ваш iPhone в AR-гарнитуру 🔥

Holokit X – это недорогая AR-гарнитура для iPhone, который крепится к ней спереди и подает изображение на линзы устройства под углом 60 градусов. Таким образом создается AR-эффект.

Благодаря функции AirDrop для iOS можно проводить локальные игры и рубиться со своими друзьями/коллегами в AR-пространстве 💥

Гарнитуру уже можно купить за $127, но приложение, через которое она работает, пока находится на стадии бета-тестирования.

Больше не нужно надевать картонную коробку на голову 🙃

«Создание и проверка решения для бизнеса за 1 день». Приглашаем принять участие в живой встрече 17 ноября 2022 в 10:30 мск.

Экспертом выступит Вадим Трубицын – спикер Деловой Среды Сбербанк, предприниматель, ресторатор с 15-летним опытом.

Встреча пройдет в формате групповой сессии и это уникальная возможность разобраться, почему при разработке успешных продуктов в центре всегда клиент, создать и проверить решение для бизнеса за один день.

а также это отличный способ:

🟣 увидеть для себя новые горизонты в роли руководителя продукта;

🟣 познакомиться с коллегами из других подразделений и обрести крутой нетворкинг в среде единомышленников;

🟣 вместе с коллегами решить бизнес-задачу и применить на практике основные подходы дизайн-мышления.

❗️Количество участников ограничено. Оставить заявку до 10 ноября 2022 г. можно здесь

Генеративные сети на службе Инстаграма 💪

Создатели Facetune анонсировали новое приложение YOUniverse, которое позволяет создать ИИ-изображение в разных стилях на основе селфи пользователя и его простых текстовых подсказках. Выглядит это как реальное произведение искусства!

Дата релиза YOUniverse неизвестна, но можно записаться в очередь тут 🙃

Приложение объясняет научные статьи простыми словами 😱

Нейросеть «Explainpaper» работает на базе GPT-3 и из больших и сложных научных статей выдает краткое содержание, которое поймет любой человек, а если у него остались какие-то вопросы, то он может задать их Explainpaper.

Ну наконец-то! Теперь будет кому объяснять зумерам отчеты Гартнера 🥳

Nvidia запустила новую генеративную модель – eDiffi 💪

NVIDIA утверждает, что их генеративная модель eDiffi работает намного лучше других моделей (DALL-E 2 или Stable Diffusion). Она четче передает детали, описанные в текстовой подсказке и корректно генерирует текст внутри изображения (например логотипы или принты на одежде)!