D. Lab
1.11K subscribers
503 photos
499 videos
1 file
900 links
Цифровая лаборатория Газпром-Медиа Холдинга — R&D, коллаборация, поиск точек роста.
Download Telegram
Nvidia представит 20 новых технологий использования нейросетей с 3D☝️

Их покажут на конференции SIGGRAPH, которая пройдет в августе 2023 года в Лос-Анджелесе. Пока речь идет не о практическом применении новых моделей — все они находятся на этапе Research Papers.

Кое-что из того, что Nvidia покажет через 3 месяца, можно увидеть уже сейчас.

👩‍🦰 В своем блоге компания показала реалистичную симуляцию человеческих волос с помощью ИИ, который предсказывал — как объект будет вести себя в физическом мире.

🎾 Еще 1 модель обучалась на видео игры в теннис. Движения, выученные нейросетью, затем перенесли на 3D-модели игроков, которые сыграли теннисный матч — без использования дорогостоящего motion capture.

🏋️‍♂️ Следующая разработка позволяет с помощью нейросетей увеличить детализацию 3D-текстур без дополнительной нагрузки на GPU. Еще 1 модель реалистично передает игру светотени на 3D-объектах.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
7
This media is not supported in your browser
VIEW IN TELEGRAM
ИИ восстановил видео, которое смотрели мыши, по их мозговой активности 🐀

🧠 30-секундный фрагмент из черно-белого фильма смогли восстановить, сканируя мозговую активность мышей в момент просмотра.

🍿 В эксперименте участвовали 50 мышей, которым пришлось посмотреть клип 9 раз.

🎞 На полученной информации ученые обучили нейросеть CEBRA, которая сопоставила мозговую активность мыши с конкретным кадром в видео и смогла восстановить его.

🛠 Для удобства ученых, мышей, которые смотрели видео, генетически модифицировали, чтобы их нейроны при передаче информации светились зеленым цветом. Таким образом, мозговую активность грызунов можно было записывать «снаружи», используя электрооптические датчики.

Подробный рассказ об эксперименте можно посмотреть здесь.

🇯🇵 Мы уже рассказывали о похожем эксперименте японских ученых, которые с помощью нейросети и ф-МРТ снимков восстанавливали изображение, которое видел человек.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8🔥1
Meta* представила мультимодальную модель, которая различает текст, видео и температуру

Всего ImageBind может работать с 6 типами информации (модальностями). Помимо вышеперечисленных, это еще и аудио, 3D-глубина, а также движение, которое фиксируется с помощью гиростабилизаторов (они, например, используются в современных смартфонах). Информацию о температуре модель обрабатывает на основе тепловых карт 🌡.

Грубо говоря, ImageBind — это более сложная версия сегодняшних нейросетей, в которой ИИ может установить связь не только между текстовой подсказкой и изображением или видео, но и другими категориями, а затем свести их «воедино». Таким образом, работа алгоритмов становится все ближе к тому, как воспринимает реальность человек 🤯.

⛵️ Предположим, вы хотите, чтобы модель сгенерировала продолжительное морское путешествие. ImageBind создаст не только визуальную составляющую, но и подберет подходящее аудиосопровождение, корректно передаст покачивание судна на волнах, а также смоделирует холодный морской ветер.

🍽 Пока модель находится на этапе разработки. В перспективе ImageBind может стать важным элементом создания метавселенных, на которые Meta все еще делает большую ставку.

👃 В компании утверждают, что в будущем в ИИ-модель можно будет добавить и другую сенсорную информацию: прикосновения, запах, речь и др. ImageBind будет распространяться как OpenSource, код модели уже есть на Hugging Face.

*Организация, запрещенная на территории РФ
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
4🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
🛍 Amazon запустил сервис, который позволяет шопиться на маркетплейсе в AR

Amazon Anywhere — это платформа, которая дает возможность делать покупки не выходя из любимого приложения или игры. Amazon показал, как это работает, на примере новой мобильной AR-игры Peridot от компании Niantic — разработчиков Pokemon GO и Harry Potter AR 🧙‍♂️.

👛 Если привязать свой аккаунт на маркетплейсе к игре, то внутри Peridot можно будет зайти на страничку с мерчем и там же оформить заказ (см. видео). Оплатив покупку, можно продолжать играть.

В Amazon отмечают, что сейчас в играх легко купить внутриигровые предметы. Если же игрок хочет приобрести, скажем, подушку с логотипом любимого тайтла, то ему придется выходить из игры, заходить на сайт продавца и т. д. С Amazon Anywhere эта важная проблема решена 😃.

Разработчики, которые хотят интегрировать Amazon Anywhere в свою игру или приложение, могут оставить заявку на соответствующей страничке.

🏠 Недавно появились слухи, что Amazon работает над новым AR-гаджетом для «умного дома». Компания разместила соответствующие вакансии, а затем быстро удалила, когда они привлекли внимание СМИ. Возможно, Anywhere станет важным экосистемным элементом будущего девайса.
Please open Telegram to view this post
VIEW IN TELEGRAM
4👍2
Spotify борется с нейромузыкой, IBM остановил найм новых сотрудников из-за ИИ, на русском вышел роман, написанный в соавторстве с ChatGPT — и другие важные новости за 2 недели

IBM приостановит найм на должности, с задачами которых может справиться ИИ. В компании подсчитали, что 7,8 тыс. задач, которые сегодня выполняют люди, мог бы заменить искусственный интеллект;

OpenAI собирается предложить бизнесу отдельную версию ChatGPT, которая будет стоить в 10 раз дороже обычной (то есть около $200 в месяц). За эти деньги компании получат повышенный уровень безопасности: OpenAI предоставит им выделенные сервера, не будет сохранять историю переписки с чат-ботом и обучать модель на этой информации;

Amazon работает над большой языковой моделью (LLM) специально для голосового помощника Alexa. Alexa и сейчас использует LLM, но она уже не соответствует стандартам, заданным GPT и ей подобным;

Google ограничит количество публикуемых исследований, связанных с ИИ. Компания опасается, что конкуренты могут что-то подсмотреть и использовать для своих разработок;

Убытки OpenAI за прошлый год достигли $540 млн из-за затрат на разработку и обеспечение работы чат-бота ChatGPT. Ранее стало известно, что стартап может тратить по миллиону долларов каждый день, чтобы ChatGPT продолжал функционировать;

Spotify удалил из каталога десятки тыс. песен, сгенерированных с помощью сервиса Boomy. Треки удалили не за нарушение авторских прав, а из-за подозрений, что боты накручивают прослушивания некоторых нейротреков;

В продолжение музыкальной темы: Google выложил для тестирования модель MusicLM. Чтобы попробовать, придется зарегистрироваться в сервисе AI Test Kitchen, где Google делится экспериментальными ИИ-приложениями;

Литрес опубликовал книгу, написанную авторами-людьми совместно с ChatGPT. Произведение получило название Скайнет в эпоху киберпанка. Теория сверхразума и вызовы перед человечеством в XXI веке. Отрывок можно прочитать здесь;

Stability AI выпустили набор инструментов для создания анимации с помощью Stable Diffusion. Анимацию можно создавать на основе промпта, а также исходного видео или изображения.
👍6
Харрисона Форда омолодили с помощью Stable Diffusion 🤠

Ютубер Джим Деркс омолодил с помощью нейросети Харрисона Форда в фильме «Ковбои против пришельцев» 👶.

Деркс рассказал, что вместе с SD он использовал модели ControlNet (позволяет избежать артефактов при создании дипфейка), EbSynth (отвечает за анимацию) и Fusion (чтобы объединить все воедино) ☝️.

Результат получился не хуже (и уж точно дешевле), чем в грядущем пятом «Индиане Джонсе», где Форду возвращали молодость голливудские специалисты по VFX. Правда, нейросети пока не научились удерживать качество дипфейков на протяжении двух часов .
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥31👍1
🔞 Инфлюенсер запустила ИИ-копию себя на основе GPT–4 и продавала доступ за $1 в минуту — что могло пойти не так?

Snapchat-селебрити Кэрин Марджони запустила собственную виртуальную копию — голосового чат-бота CarynAI. По задумке блогера, CarynAI должна была стать виртуальной подругой для одиноких людей.

🤖 CarynAI работает на базе API GPT-4. Чат-бота обучили на YouTube-роликах с Кэрин, которые сейчас удалены. На разработку чат-бота потратили более 2 тыс. часов. Общение с виртуальной подругой стоило пользователям $1 в минуту.

У самой Кэрин в Snapchat около 2 млн подписчиков. На CarynAI уже подписалось более 1 тыс. человек. Блогерша рассчитывала, что чат-бот будет приносить ей около $5 млн в месяц, но сейчас вынуждена исправлять ошибки в работе ИИ.

💢 Дело в том, что некоторые пользователи начали вести интимные переписки с чат-ботом, и бот отвечал им в том же духе. Виртуальная Кэрин не была запрограммирована давать такие ответы — бот просто вышел из-под контроля.

🆘 Сейчас Кэрин делает все возможное, чтобы сохранить свою репутацию. Инфлюенсеру и ее команде приходится «работать круглосуточно, чтобы это не повторилось».
🔥6
🤖 ИИ-чатбот может стать новой стартовой точкой для шопинга на Amazon

Журналисты Bloomberg обратили внимание на новые вакансии Amazon. Компания ищет разработчиков, которые помогут переосмыслить Amazon Search с помощью интерактивного разговорного опыта и перестроить поиск благодаря технологиям глубокого обучения.

💬 Это может означать, что Amazon планирует добавить поисковик в стиле Bing или Bard в свою ecom-платформу. В разговоре с чат-ботом пользователи смогут задавать вопросы о продукте, сравнивать товары между собой и получать персонализированные предложения.

🛒 Bing при поиске определенного товара сразу выдает список релевантных продуктов. ChatGPT поддерживает плагины, которые позволяют заказывать доставку в Instacart или бронировать рестораны в OpenTable — это тоже можно считать базой для внедрения e-commerce функций.

🔎 На Amazon все пока реализовано в виде поисковой строки, где пользователь тратит много времени на поиск подходящего товара среди множества рекламных предложений. Но более половины покупателей в США начинают искать товар сразу с главной страницы Amazon, а не в Google.

🙋‍♀️ Чат-бот позволит Amazon оставаться страницей, с которой пользователи начинают шопинг. Это изменит и сам процесс шопинга — он перейдет из формата поиска в формат диалога.
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
🎧 K-pop артист с помощью ИИ поет на 6 языках

Медиагигант Hybe (стоит за успехом BTS и других корейских поп-звезд) представил новый музыкальный проект Midnatt — его лицом стал известный K-pop певец Ли Хен. Он выпустил дебютный сингл Masquerade сразу на 6 языках: корейском, английском, испанском, китайском, японском и вьетнамском. 💽

Ли Хен, конечно, не такой полиглот: петь на 6 языках ему помогли технологии голосового ИИ-стартапа Supertone. Hybe ранее приобрел эту компанию за $36 млн. 🎙

Смешивая с помощью Supertone голос певца и других людей, в Hybe сделали так, чтобы Ли Хен звучал как носитель каждого из 6 языков. А еще добавили в трек «женскую» версию голоса певца — ее можно услышать во 2-м куплете. 🔊

В Hybe стремятся больше использовать ИИ для генерации музыки. Основатель компании Бан Ши Хек считает, что в будущем искусственный интеллект потеснит артистов людей. 👨‍🎤

Недавно певица Граймс официально разрешила использовать свой голос для синтеза вокала к новым трекам. А вот лейблы Дрейка и The Weeknd добились удаления со стримингов фейковой песни с их голосами, синтезированными ИИ.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
This media is not supported in your browser
VIEW IN TELEGRAM
🧊 Spline AI помогает создавать 3D-объекты с помощью ИИ прямо в браузере

Spline AI — инструмент для создания 3D-объектов, анимаций и текстур с помощью текстовых промптов. Spline AI создан при помощи Open AI API и работает на базе сервиса 3D-дизайна Spline, который доступен в веб-версии 🖥.

Пользователь вбивает в строку описание объекта, который он хочет создать, а алгоритмы генерируют этот объект или редактируют уже созданный. Также ИИ может по промпту задать объектам нужную текстуру, анимацию, расположение или физику.

🗂 В Spline AI также можно редактировать объекты, загружать свои изображения и видео и работать в командах, создавая 3D-модели одновременно в режиме реального времени.

Пока инструмент доступен в альфа-версии, поэтому использовать его можно бесплатно. Но чтобы начать работать со Spline AI, нужно встать в лист ожидания📑.
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
🤖 Tesla показала обновленных человекоподобных роботов

Tesla представила человекоподобных роботов в октябре прошлого года, но тогда они едва ли могли перемещаться по сцене🚶.

Сейчас Оптимус может самостоятельно идти (хоть и медленно), перекладывать вещи из контейнера и разбивать яйца ногой 🍳.

Также в ролике показали, как робот ориентируется в пространстве благодаря технологиям ИИ, которые отслеживают местоположение объектов. Но судя по скорости ходьбы, пока что Оптимус не сможет далеко уйти 🗺.

Когда иду к маме рассказывать, что разбил ее любимую вазу
👍5
This media is not supported in your browser
VIEW IN TELEGRAM
🚗 Meta* переносит AR в автомобили

Meta* и BMW подключили гарнитуру дополненной реальности к сенсорам автомобиля, определяющим его положение в пространстве. Это позволит реализовать поведение объектов дополненной реальности, соответствующее перемещению пользователя в пространстве.

*Организация, запрещенная на территории РФ
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3👍1
OpenAI и Stability AI выпустят модели с открытым исходным кодом, в ChatGPT появились плагины, Яндекс добавил в Алису YandexGPT — и другие важные новости за неделю

Пользователи ChatGPT Plus получат доступ к 70 сторонним плагинам. С помощью одного из них чатбот может сам искать информацию в интернете — правда, медленно.

OpenAI готовится выпустить свою первую языковую модель с открытым исходным кодом. Скорее всего система не будет конкурировать напрямую с ChatGPT.

Zoom интегрирует ИИ-бота Anthropic в свою платформу. Чат-бот поможет Zoom эффективнее решать проблемы клиентов, которые обратились в службу поддержки.

Пользователи iPhone смогут создать цифровую копию своего голоса. Для этого нужно будет сделать 15-минутную запись своего голоса и прочитать текстовые подсказки. Затем можно будет набирать сообщение, а ИИ будет читать его другим людям голосом пользователя. Инструмент предназначен для тех, кто может со временем потерять голос из-за развития определенных болезней.

Яндекс разработал нейросеть YandexGPT и внедрил ее в голосового ассистента Алису. Нейросеть умеет выполнять творческие задачи, но пока что не запоминает контекст беседы.

Stability AI выпускает новую версию приложения для генерации изображения из текста DreamStudio с открытым исходным кодом. Инструмент будет называться StableStudio и позволит разработчикам улучшать интерфейс приложения и экспериментировать с ним.

OpenAI выпустила приложение ChatGPT для iOS. Приложение бесплатно и пока что доступно пользователям из США.

ЕС согласовал поправки к законопроекту об ИИ. Производители моделей ИИ должны гарантировать безопасность пользователям, снижать энергопотребление и регистрировать свои системы в базе данных ЕС.
👍4
This media is not supported in your browser
VIEW IN TELEGRAM
DragGAN — самый удобный инструмент для редактирования изображений 👨‍🎨

↕️ Модель позволяет работать с фото при помощи обычного drag and drop: пользователь «хватает» нужную часть изображения и изменяет ее, перемещая курсор. Нейросеть при этом сохраняет корректные пропорции исходного изображения.

😺 В примере работы DragGan показано — как с помощью такой манипуляции можно легко закрыть глаза котику, поменять позу лошади, изменить выражение лица человека или сделать из одной модели авто другую. Можно представить, как пользователь сможет не только редактировать «настоящие» фото, но и сгенерированные нейросетью изображения, если его вдруг не устроили какие-то детали.

🛑 Сейчас работа модели серьезно ограничена: во-первых, пока что она недоступна обычным пользователям и существует в виде научной работы (код обещают в июне); во-вторых, редактировать можно только те объекты, на которых тренировали GAN-модель: животные, люди, автомобили и пейзажи. Во всех остальных случаях при «деформации» изображения могут возникать артефакты.

В будущем авторы планируют добавить в DragGAN поддержку 3D-моделей.
🔥10
This media is not supported in your browser
VIEW IN TELEGRAM
👷 ИИ создаст из наброска детализированную сцену для VR

🌄 Разработчики из Blockade Labs представили новый инструмент Sketch Mode, интегрированный в платформу Skybox AI. С ее помощью можно создавать панорамы из обычных снимков, используя промпты, а затем использовать их в AR и VR.

✏️ Sketch Mode позволяет схематично набросать то, как будет выглядеть виртуальное пространство, а детали добавить с помощью текстовых подсказок — ИИ сделает все остальное. Дорабатывать результат можно, если поменять промпт или визуальный стиль.

Работает вся система на модифицированной версии Stable Diffusion.

Пока Sketch Mode доступен только на ПК и планшетах с большими экранами 🖥.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥8👍1