Новое VR-приложение, которое позволяет оказаться внутри видео, снятых на смартфон 📱

Стартап Wist Labs разрабатывает VR-приложение, которое преобразует ваши видеоролики, снятые на смартфон, в 3D-видео! Происходит это с помощью датчиков LiDAR, а само видео можно посмотреть с помощью VR-гарнитур (например, Quest VR) 🥳

Проект находится на стадии альфа-тестирования и доступен только на iOS, но только представьте, что будет, если Wist поженить с нейрорендерингом или с функцией дорисовки от Stable Diffusion 😱

Пять главных Web3 тенденций в 2023 году по версии Forbes

Среди них оказались:

1️⃣ Децентрализованная метавселенная
Над метаверсом работают все крупные игроки рынка, но DecentralandMANA и The Sandbox – самые популярные примеры именно децентрализованных метавселенных. У них данные хранятся на блокчейне EthereumETH и они не имеют одного владельца. По мнению Forbes, именно над разработкой такой метавселенной будут работать остальные Web3 компании.


2️⃣ «Полезные» NFT
Аналитики говорят, что их истинная ценность будет заключаться в токенизации предметов, данных и даже идей в цифровой и физической областях. Акцент будет сделан на «Полезные» NFT, которые будут иметь практическое применение, а не на NFT, которые просто представляют виртуальные произведения искусства.


3️⃣ Децентрализованные соцсети
Сторонники Web3 утверждают, что основным преимуществом децентрализованной соцсети будет то, что она будет устойчива к цензуре. Если это станет реальностью в 2023 году, то это может произойти благодаря не кому иному, как Илону Маску 😏


4️⃣ Тренд на экологичность
Все больше усилий будет приложено к использованию технологии для достижения «зеленых» целей, например, недавно Ethereum уже перешел на более «зеленый» алгоритм работы, что снизило энергозатраты на 98% или «регенеративное финансирование» (ReFi). Оно направлено на развитие проектов, которые занимаются восстановлением или сохранением природных ресурсов.


5️⃣ Усиление присутствие правительств в Web3
В 2023 году государства будут позиционировать себя как «дружественные Web3» и, вероятно, делать они будут это с помощью понижения налоговой ставки для Web3-организаций и создания цифровых валют CBDC (Central bank digital currency). Уже есть примеры таких валют как индийская электронная рупия, китайский цифровой юань (или цифровой рубль, разрабатываемый Банком России). Также в этом году Колорадо стал первым штатом, официально принимающим криптовалюту в качестве оплаты налогов и государственных сборов.

Очередная попытка обмануть большого брата с помощью стрёмных шмоток 🙃

Группа исследователей из Мэрилендского университета, сотрудничающая с Facebook AI, разработала свитер, который делает вас «невидимым» для обычных моделей машинного обучения по обнаружению людей.

Другие интересные новости последних недель:


🟣 Разработчики Stable Diffusion получили от инвесторов $100 млн и после инвестиционного раунда оценочная стоимость компании Stability AI достигла $1 млрд! Деньги пойдут на увеличение вычислительных мощностей для работы нейросети и на поддержку пользовательских версий Stable Diffusion.


🟣 Meta* представит новую VR-гарнитуру уже в следующем году. Это будет Quest Pro за $1499. Одна из главных её особенностей заключается в наличии четырёх наружных камер. За счёт этого пользователь гарнитуры сможет взаимодействовать со смешанной реальностью, когда виртуальные объекты накладываются поверх реальных.


🟣 Apple обновил правила использования NFT и криптовалюты в AppStore. Главные изменения касаются ограничения функционала NFT и криптовалюты внутри приложений, доступных в AppStore. Еще одно ограничение – пользователь может просматривать чужие токены при условии, что они не содержат ссылку, которая ведет на внешний источник.


🟣 Google запустил облачный сервис Blockchain Node Engine, который будет обеспечивать разработчикам Web3 приложений работу так называемых нодов (узлов), которые необходимы для функционирования блокчейна. Так разработчики могут сэкономить время и сразу приступать к созданию приложений.


🟣 Apple запатентовал дипфейки и теперь компания может создавать дипфейк пользователя только из такого изображения, которое он сам предоставил.


🟣 PayPal добавил поддержку «убийцы паролей» – Passkeys. Это функция, которая упрощает систему входа в приложение для пользователя и в тоже время мощнее защищает ее. Благодаря такой функции не нужно придумывать сложносочиненные пароли, а можно зайти через Touch ID, FaceID или пин-код. Google, Microsoft и Apple уже используют Passkeys в некоторых своих сервисах.


🟣 В Photoshop добавили функционал по редактированию части изображения по текстовой подсказке благодаря плагину Flying Dog, где появились возможности Runway, о котором мы писали раньше.


🟣 Shutterstock и OpenAI заключили соглашение о сотрудничестве. Теперь Shutterstock будет продавать изображения, сгенерированные нейросетью DALL-E 2. В компании также пообещали создать фонд, из которого будут отчисляться деньги авторам, работы которых использовали для тренировки нейросети.


🟣 Quest Pro от Meta* будет отслеживать взаимодействие пользователя с рекламой. Она будет следить за взглядом пользователя, чтобы понять, какая реклама его заинтересовала. Технология может стать ключевой для развития метавселенной Horizon, которую разрабатывает компания Цукерберга.


🟣 Рендеринг с помощью Stable Diffusion добавили в Blender. Теперь в популярном ПО для создания 3D-графики можно рендерить изображение с помощью текстовых подсказок.


🟣 В Нью-Джерси автопроизводителям хотят запретить продавать подписку на уже установленные в автомобиле функции: обогрев руля или сидений. Документ находится на стадии законопроекта.


🟣 Стартап Omneky использует нейросеть Dall-E и языковую модель GPT-3 для генерирования изображений и текста для рекламных объявлений в социальных сетях через собственную платформу. ПО совместимо с Linkedin, Google, Facebook* и Snapchat, откуда Omneky берет информацию о предыдущих рекламных кампаниях пользователя для создания новых.


🟣 Разработчик представил AR-приложение, дублирующее футбольные матчи при поддержке немецкого стриминг-сервиса Sporttotal. При просмотре футбольного матча на стол, стоящий перед ТВ, проецируется видео футбольного поля с игроками с высоты птичьего полета.


🟣 Энтони Хопкинс рекордно быстро продал свои NFT. Актер продал около тысячи токенов, связанных с его карьерой менее чем за 10 минут. OpenSea объявила, что это стало самой быстро продажей в истории платформы.


🟣 Исследователи из Китая закрепили на голубе небольшую солнечную батарею, подсоединенную к устройству, которое находится на голове у птицы и подключили к нему стимулирующие сигналы. С помощью устройства, как утверждают исследователи, им удалось два часа контролировать птицу в полете!

#теперьтызнаешьвсё

* — запрещенная на территории РФ организация

Stable Diffusion + Quest Pro = я у мамы художник 80lvl

На видео Stable Diffusion, который работает в режиме реального времени с Meta* Quest Pro в Gravity Sketch 😱

* — запрещенная на территории РФ организация

Image-to-music? Почему бы и нет 🙃

Недавно на гитхабе выложили версию отечественного стартапа Mubert – инструмент для ИИ-генерации музыки, в основе которого лежит Stable Diffusion. Вот первые интересные результаты работы сообщества 🙄

Работает это так: пользователь загружает изображение в CLIP Interrogator, которое трансформируется в текстовую подсказку. Затем эту подсказку обрабатывает нейросеть Mubert, которая генерирует из текста музыкальный трек!

Не знаем, зачем вам это, но поиграться с этой штукой можно здесь 👍

А как насчет Text-to-music-video?

Также на Github появилась ссылка на коллаб Mubert + Stable Diffusion + Deforum, который может из текста создавать не только музыку, но и делать из них такие психоделические видосы 😱

Изобрели крошечный LiDAR, который может создавать 3D-карту помещения

Исследователи из Южной Кореи разработали супермаленький LiDAR, который разделяет лазерный луч на 10 000 точек, благодаря тому, что свет проходит через сверхплоские линзы с так называемой метаповерхностью. Именно она позволяет охватывать окружающее пространство на 180 градусов и создавать его 3D-версию!

Исследователи считают, что это устройство имеет огромный потенциал в развитии робототехники и VR/AR-устройств.

Holokit X превратит ваш iPhone в AR-гарнитуру 🔥

Holokit X – это недорогая AR-гарнитура для iPhone, который крепится к ней спереди и подает изображение на линзы устройства под углом 60 градусов. Таким образом создается AR-эффект.

Благодаря функции AirDrop для iOS можно проводить локальные игры и рубиться со своими друзьями/коллегами в AR-пространстве 💥

Гарнитуру уже можно купить за $127, но приложение, через которое она работает, пока находится на стадии бета-тестирования.

Больше не нужно надевать картонную коробку на голову 🙃

«Создание и проверка решения для бизнеса за 1 день». Приглашаем принять участие в живой встрече 17 ноября 2022 в 10:30 мск.

Экспертом выступит Вадим Трубицын – спикер Деловой Среды Сбербанк, предприниматель, ресторатор с 15-летним опытом.

Встреча пройдет в формате групповой сессии и это уникальная возможность разобраться, почему при разработке успешных продуктов в центре всегда клиент, создать и проверить решение для бизнеса за один день.

а также это отличный способ:

🟣 увидеть для себя новые горизонты в роли руководителя продукта;

🟣 познакомиться с коллегами из других подразделений и обрести крутой нетворкинг в среде единомышленников;

🟣 вместе с коллегами решить бизнес-задачу и применить на практике основные подходы дизайн-мышления.

❗️Количество участников ограничено. Оставить заявку до 10 ноября 2022 г. можно здесь

Генеративные сети на службе Инстаграма 💪

Создатели Facetune анонсировали новое приложение YOUniverse, которое позволяет создать ИИ-изображение в разных стилях на основе селфи пользователя и его простых текстовых подсказках. Выглядит это как реальное произведение искусства!

Дата релиза YOUniverse неизвестна, но можно записаться в очередь тут 🙃

Приложение объясняет научные статьи простыми словами 😱

Нейросеть «Explainpaper» работает на базе GPT-3 и из больших и сложных научных статей выдает краткое содержание, которое поймет любой человек, а если у него остались какие-то вопросы, то он может задать их Explainpaper.

Ну наконец-то! Теперь будет кому объяснять зумерам отчеты Гартнера 🥳

Nvidia запустила новую генеративную модель – eDiffi 💪

NVIDIA утверждает, что их генеративная модель eDiffi работает намного лучше других моделей (DALL-E 2 или Stable Diffusion). Она четче передает детали, описанные в текстовой подсказке и корректно генерирует текст внутри изображения (например логотипы или принты на одежде)!

LG показал первый в мире растягивающийся дисплей с высоким разрешеним 🧐

12-дюймовый дисплей высокого разрешения, оснащенный технологией Stretchable, которая позволяет растягивать, складывать и скручивать его без искажений и повреждений. Дисплей выдерживает больше 10 тыс изменений формы и может растягиваться до 14-дюймового размера.

Компания утверждает, что дисплей легко прикреплять к изогнутым поверхностям, таким как кожа, одежда, мебель, автомобили и самолеты.

На Microsoft подали коллективный иск, который может переписать правила авторского права ИИ 😱

В иске утверждается, что ИИ-алгоритм GitHub Copilot (принадлежит Microsoft) тренировался на дата-сетах, которые содержали чужой код: «пиратство программного обеспечения в беспрецедентных масштабах». Это кража интеллектуальной собственности.

В конечном счете, такой иск может стать концом лицензий с открытым исходным кодом.

Внедрение генеративных сетей в производство набирает обороты 🚀

Многие уже наверняка видели клип Jah Khalib, который был полностью сгенерирован нейронкой по методу аутпейтинг (сегодня он набрал уже 1,5 млн просмотров!), а вот еще один пример выпущенный чуть раньше – клип от LeTai. Авторы использовали такую же технику, что и создатель короткометражки, победившей в Каннах, о которой мы писали ранее – стилизация исходного видео с помощью сетей.

И это только начало – изощрённые способы приспособить генерацию изображений к производству видео. Генерация видео ещё впереди.

На подходе, например, вот такая штука от Google AI – новое решение, способное генерировать отдельные видео-сцены и монтировать их между собой. Это, в обозримом будущем, позволит генерировать видео по сценарию 😏

Другие интересные новости за последнее время:

🟣 Для улучшения поиска на Яндекс.Картах добавили нейросеть. Алгоритм помогает в более точном поиске организаций — анализирует сайт компании, отзывы, фото, цены и другие параметры. Например, сервис выдаст ответ по запросу «где готовят борщ» или «кафе с десертами».


🟣 CrunchBase обратил внимание, что инвестиции в стартапы, связанные с виртуальной реальностью (VR,AR,MR) снижаются: если в четвертом квартале прошлого года они превышали $2,1 млрд, то в третьем квартале текущего года сократились до $759 млн.


🟣 Meta* представила аудиокодек, который оказался в 10 раз эффективнее mp3 – EnCodec. Он позволяет добиться размера файлов в 10 раз меньше mp3 с битрейтом 64кб/с без потери качества.


🟣 Phenaki – новый алгоритм для создания видео из текста от Google. Он может не только генерировать видео сразу из нескольких текстовых подсказок, но и создать ролик длинной до двух минут, генерируя отдельные сцены и монтируя их между собой.


🟣 Nvidia анонсировала собственную ИИ-систему распознавания языка. Компания работает над ней совместно с краудсорсинговым проектом Mozilla Common Voice. Цель – ускорить создание универсальных моделей распознавания языка, которые будут работать для носителя любого языка в мире, даже самого редкого.


🟣 Нейросеть Midjourney обновилась до четвертой версии. Разработчики обещают абсолютно новую архитектуру ИИ-алгоритма, что позволит нейросети создавать более детальные изображения и понимать более сложные текстовые подсказки.


🟣 На конференции Zoomtopia анонсировали, что приложение Zoom в скором времени появится в электромобилях Tesla. Судя по анонсу появится полноценная версия, а не какая-то специальная версия популярной программы.


🟣 Южнокорейская компания iSciLab Corporation разработала ИИ, который может различать собак по ID носа. Отпечаток носа и информация о собаке загружаются в приложение Anipuppy. Технология работает с точностью 99%, а использовать ее предлагают, например, для поиска потерявшихся собак.


🟣 Один из основателей Oculus придумал VR-гарнитуру, которая буквально убивает пользователя за проигрыш в игре. На устройстве размещены несколько зарядов взрывчатки, которые детонируют, когда датчик устройства считывает красные вспышки на экране.

#теперьтызнаешьвсё

* — запрещенная на территории РФ организация

Стартап Anything World – платформа, которая анимирует 3D с помощью ИИ, получил от инвесторов $7,5 млн 💰

Anything World позволяет создавать анимацию для любой 3D-модели. Стартап также объявил, что в декабре их функционал прикрутят к Unreal Engine от Epic Games. Такой шаг означает, что все больше людей получат доступ к их инструментам для создания своих 3D-анимаций.

В будущем разработчики хотят упростить процесс создания анимаций: они добавят возможность голосового управления и создания 3D-контента с низким и нулевым кодом (low code / no code) 👏

OpenAI инвестировал почти $25 млн в ИИ-приложение для заметок под названием Mem 🙃

Это приложение использует ИИ для ускорения рабочего процесса и выступает в качестве ИИ-помощника. Mem может серьезно сократить поиск информации в заметках: вычленить из записи основную мысль, а потом составить отчет на основе заметки!

По словам создателя ИИ-приложения, Mem в будущем должен помочь корпорациям и сотрудникам повысить свою эффективность на работе, выступая в качестве ассистента.

В графический редактор Canva добавили нейросеть, которая генерирует изображения 💥

Как и во многих других генераторах Text-to-Image, нейросеть позволяет пользователям сгенерировать изображение по текстовой подсказке и задать ему стиль. Также пользователи могут улучшить фотографию с помощью встроенных фильтров, а в ближайшее время разработчики обещают добавить целый набор «волшебных» функций, которые упростят работу пользователей 👀

Не так давно, кстати, Microsoft внедрил подобное решение в свой новый продукт Microsoft Designer 😏