D. Lab
1.11K subscribers
503 photos
499 videos
1 file
900 links
Цифровая лаборатория Газпром-Медиа Холдинга — R&D, коллаборация, поиск точек роста.
Download Telegram
This media is not supported in your browser
VIEW IN TELEGRAM
🔈 ИИ-стартапы полюбили генераторы звуковых эффектов

За последнее время свои варианты подобных сервисов представили ElevenLabs, Stability AI.

🫡 ИИ-модели от ElevenLabs недавно прокачали text-to-sound возможности — звуки можно генерировать, описав их промптом. Таким же методом можно создавать короткие инструментальные треки и «звуковые панорамы». Для обучения нейросети использовали аудиоконтент Shutterstock.

Stable Audio Open от Stability AI может похвастаться не только опенсорсом, но и продолжительностью генераций — по промпту можно получить запись до 47 секунд (у ElevenLabs — 22 секунды максимум).

©️ Stability тоже обучали модели на контенте без копирайта из открытых звуковых библиотек. Пользователь может настроить модель под себя, дообучив на своих аудиозаписях. Коммерческое использование Stable Audio Open пока запрещено.

🎼 Нечто похожее недавно показала и Suno — эта модель научилась генерировать музыкальные треки на основе записанных звуков.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4🤔1
🆕 Runway анонсировал новую версию своего генератора видео

Все стали забывать, что модель GEN была одним из первопроходцев в генерации видео, и все разговоры последнее время были только про Sora и ее убийц.

🤯 Стартап решил напомнить о себе анонсом GEN-3 Alpha. Обещают, что нейросеть будет по всем параметрам обгонять предыдущее поколение: фотореалистичность, консистентность, сложность сцен, точное следование самым подробным промптам и т. д.

🔨 Для профессионалов обещают широкие возможности кастомизации модели под себя.

🔩 Runway добавляют, что GEN-3 — это первый релиз из серии моделей, натренированных на новой инфраструктуре. Она разработана стартапом для «крупномасштабного мультимодального обучения» и должна всех нас приблизить к General World Models.

В общем, очень интересно, но ничего не понятно.

🫡 GEN-3 обучали как на видео, так и на изображениях. Выкатывать модель начнут в ближайшие дни, но сначала только для платных подписчиков. Генерации на данный момент ограничены 10 секундами.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🤔3🔥2
Гита Гопинат

👻 МВФ опять пугает прогнозами про ИИ

В начале года Международный валютный фонд предупреждал, что использование ИИ в той или иной степени затронет 40% профессий и усугубит экономическое неравенство в мире — особенно в развивающихся странах.

📉 Теперь в организации опасаются, что ИИ может превратить заурядную экономическую рецессию в полномасштабный кризис.

💬 С таким предостережением на ИИ-саммите в Швейцарии выступила первый замдиректора-распорядителя МВФ Гита Гопинат.

Гопинат сделала несколько прогнозов потенциально опасного развития ситуации.

💵 Финансовый сектор, как правило, быстрее остальных начинает автоматизировать рабочие процессы, в том числе и с использованием ИИ. Скажем, робосоветники в трейдинге, работающие на сложных, самообучаемых ИИ-моделях, могут уже к 2028 году контролировать активы на сумму $2 трлн (уже сейчас сумма составляет $1,5 трлн).

Если экономические условия вдруг ухудшатся и будут сильно отличаться от тех, на которых были обучены модели, то ИИ может начать вести себя неадекватно ситуации — например, массово распродавать финансовые активы, провоцируя панику на рынках. При этом, учитывая проблему черного ящика ИИ, избежать такой ситуации будет практически невозможно.

🚚 Похожая ситуация может произойти с поставкой товаров — еще один сектор экономики, который активно автоматизируется. В ближайшем будущем, прогнозирует Гопинат, ИИ будет все больше контролировать логистические процессы — сколько товаров производить, сколько держать на складах.

В обычных условиях ИИ справится с задачей, но как только ситуация станет не знакома модели, она может начать вести себя хаотично, что приведет к остановке логистических цепочек.

🧍‍♀️ Чтобы избежать подобных ситуаций, Гопинат призвала бездумно не автоматизировать процессы, которые сегодня все еще контролируют люди.
Please open Telegram to view this post
VIEW IN TELEGRAM
😁3🤔2
This media is not supported in your browser
VIEW IN TELEGRAM
🏎 Snapchat решил поучаствовать в гонке видеонейросетей

Авторы говорят, что специально тренировали Snap Video только на видео. По их мнению, обучение на статичных изображениях, когда дальнейшая анимация идет «довесом», сильно вредит качеству генераций.

⌛️ Поэтому разработчики, например, не рассматривали использование архитектуры U-Net в своей модели. Они использовали архитектуру-трансформер, которая позволила генерировать детализированные видео со сложной анимацией и ускорить обучение модели более чем в три раза.

🤔 На фоне фотореалистичных Sora, Gen-3 Alpha или Kling, Snap Video выглядит простенько (ни одна из этих моделей недоступна для тестирования широкой публике). Но, возможно, это как раз то, что нужно, если нейросеть захотят интегрировать в сам Snapchat.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2🤔2
This media is not supported in your browser
VIEW IN TELEGRAM
👥 В TikTok скоро появятся рекламные ИИ-клоны инфлюенсеров

В пакет рекламных инструментов Symphony добавят возможность генерировать аватары двух видов: стоковых и кастомных. Видимо, это и есть те самые виртуальные инфлюенсеры, о которых мы писали ранее.

👨‍🦰 Стоковые — это заранее сгенерированные аватары, которые смогут произносить пользовательский текст.

👨‍🎤 Кастомные аватары позволяют создать тиктокеру цифрового клона, который будет сниматься за него в рекламе.

Удобство для автора еще и в том, что он сможет потенциально увеличить свою аудиторию, так как аватар может воспроизводить тексты на 10 языках.

⬆️ На видео выше — нейроклоны популярных в соцсети авторов.

🫡 Бренды тоже смогут использовать кастомных аватаров, создавая их с нуля, или запускать локальные кампании с аватарами популярных тиктокеров.
Please open Telegram to view this post
VIEW IN TELEGRAM
2👍2😱2🔥1
💻 Спрос на фрилансеров упал более чем на 20% после выхода ChatGPT

Это следует из работы, проведенной исследователями бизнес-школы Имперского колледжа Лондона, Гарвардской бизнес-школы и Немецкого института экономических исследований.

📉 Они выяснили, что с ноября 2022 года (выход ChatGPT) количество вакансий с задачами, которые «подвержены автоматизации», для фрилансеров сократилось на 21% (по сравнению с вакансиями, где требуется «ручной труд»).

Исследование проводилось с июля 2021 года по июль 2023 года, в 61 стране.

✍️ Например, количество вакансий с задачами, связанными с написанием текстов, упало почти на 30,5%. Следом идут задачи по разработке сайтов, приложений (-20,62%) и инженерные задачи (-10,42%).

🫡🖼 Отдельно авторы подсчитали, как повлиял на фриланс-рынок выход Midjourney, Dall-E и Stable Diffusion. Результаты показали, что задач по графическому дизайну стало меньше почти на 19%, а по 3D-моделлингу — на 15,6%.

🔍 Используя Google Trends, исследователи также нашли корреляцию между ростом популярности ChatGPT и снижением спроса на фрилансеров в областях с высокой степенью автоматизации.

💪 Спасение для фрилансеров авторы видят в прокачке навыков, которые сделают их незаменимыми даже при конкуренции с нейросетями.

📆 Также они отмечают, что их исследование может говорить лишь о кратковременном влиянии нейросетей на рынок фриланса. Скажем, из него нельзя сделать вывод, насколько работодатели были довольны результатами работы ИИ.
Please open Telegram to view this post
VIEW IN TELEGRAM
🤔31
🦋 Экс-инженер Snapchat запустил соцсеть с ИИ-аватарами

В Butterflies пользователь создает ИИ-аватара (он называется butterfly — бабочка), придумывает ему историю, характер и другие характеристики.

🍼 После «рождения» аватар взаимодействует с другими пользователями и их аватарами, публикует комментарии, фотки — короче, ведет достаточно активную виртуальную жизнь.

Создатель Butterflies, Ву Тран, говорит, что с помощью соцсети хотел привнести больше креатива во взаимодействие людей и искусственного интеллекта.

🎮 Сейчас соцсеть напоминает вариацию на тему Sims — пользователь создает персонажа, который потом живет более или менее своей жизнью. При этом пользователь периодически вмешивается в процесс, ставя аватару задачи — опубликовать какое-то изображение, сделать комментарий на определенную тему и т. д.

🫡 Те, кто уже попробовал Butterflies, сообщают, что процесс (как и в случае с Sims) затягивает. Удручает ограниченное количество действий, которые может выполнять аватар.

В среднем на этапе бета-теста пользователи проводили в Butterflies один–три часа. Один из пользователей провел в соцсети пять часов и создал несколько сотен персонажей.

🤖 Для работы соцсеть использует несколько доработанных ИИ-моделей с открытым кодом (какие именно, не уточняется).

💵 Бесплатное приложение соцсети доступно на iOS и Android. В планах Ву Трана — если «бабочки», так сказать, взлетят — добавить в Butterflies платную подписку. Инвесторы уже дали стартапу около $5 млн.
Please open Telegram to view this post
VIEW IN TELEGRAM
2👍2🤔1
Инвесторы Tesla подали в суд на Маска, турка задержала полиция за использование ИИ на экзаменах, Apple остановила разработку Vision Pro 2 — и другие важные новости за неделю

Один из основателей OpenAI Илья Суцкевер запускает новый стартап Safe Superintelligence, который будет заниматься разработкой безопасного сильного искусственного интеллекта (AGI). Суцкевер в прошлом году попытался выгнать из OpenAI Сэма Альтмана, но в итоге сам был вынужден покинуть компанию. Говорят, что поссорились Альтман и Суцкевер как раз из-за вопросов безопасности ИИ;

Эдвард Сноуден призвал не пользоваться сервисами OpenAI, после того как в совет директоров компании вошел бывший глава АНБ США Пол Накасоне. Сноуден сам работал в АНБ и вынес оттуда секретные документы, из которых стало известно о массовой слежке властей за американскими гражданами. С 2013 года Сноуден скрывается в России;

Anthropic выпустила новую LLM Claude 3.5 Sonnet, которая, как утверждается, обходит в бенчмарках даже GPT-4o;

Инвесторы Tesla подали в суд на Илона Маска из-за его нового увлечения — стартапа xAI. Истцы считают, что из-за xAI Маск недостаточно внимания уделяет своей «основной» компании, а в некоторых случаях даже ворует у нее ресурсы (как пример приводится покупка Маском Twitter в 2022 году). Возможно, вновь сосредоточиться на Tesla Маску поможет вознаграждение на сумму $56 млрд, которое недавно одобрили инвесторы (видимо, не те, которые подали в суд);

Spotify начал тестировать инструмент Quick Audio, который позволит рекламодателям с помощью нейросетей не только сгенерировать сценарий рекламного клипа, но и озвучить его. Одновременно стриминг запустил собственное креативное агентство Creative Labs, которое будет помогать запускать брендам маркетинговые кампании на платформе;

Турецкая полиция задержала абитуриента, который решил использовать ИИ на вступительных экзаменах. Чувак встроил камеру в пуговицу на рубашке, камера передавала информацию с экзаменационного билета в LLM. Языковая модель, установленная на устройство, спрятанное в подошве ботинка (!!!), обрабатывала информацию и передавала ответ на наушник. Вместе с поступающим задержали его сообщника;

В Букмейте появился виртуальный рассказчик — нейросеть, которая озвучит книги, у которых нет «официальной» аудиоверсии. Помощника обучали на длинных текстах с большим объемом повествования и описаний. В ходе обучения команда Яндекса (ему принадлежит Букмейт) вручную редактирует ошибки, которые допускает ИИ при озвучке. Затем нейросеть дообучается на исправленных результатах. Сейчас в озвучке помощника доступно 13 тыс. книг;

Nvidia все-таки стала самой дорогой компанией в мире. Если на прошлой неделе ее обгонял Microsoft, то в этот раз Nvidia обскакала и его. Капитализация производителя чипов достигла $3,34 трлн против $3,32 трлн у Microsoft;

Apple пока остановила разработку следующей версии хедсета Vision Pro. Вероятно, виной скромные финансовые результаты устройства. Вместо Vision Pro 2 Apple займется бюджетной версией девайса. Если, конечно, ценник в $1 600 можно назвать бюджетным;

Universal Music заключил партнерское соглашение со стартапом SounLabs, который разработал плагин MicDrop для профессионального клонирования голоса. Музыканты лейбла смогут создать клон и получить на него авторские права. В качестве примеров использования плагина приводятся исполнение треков на другом языке, запись дуэтов со своей омоложенной версией и исправление ошибок, допущенных во время записи;

Apple ведет переговоры сразу с несколькими китайскими компаниями об использовании их ИИ в iOS 18 для китайского рынка. В шортлист попали Baidu, Alibaba, Baichuan AI и еще несколько компаний. ChatGPT, который iOS будет использовать в остальных странах, в КНР не работает;

Dell, SMC и Nvidia помогут Илону Маску строить суперкомпьютер, который понадобится для обучения следующий версии Grok (которому, как мы знаем, потребуется очень много ресурсов).
🔥1🤔1
This media is not supported in your browser
VIEW IN TELEGRAM
🆕 В соцсетях завирусился новый аниматор аватаров

Character-1 от Hedra позволяет не только анимировать исходное изображение, но и сгенерировать персонажа промптом — и уже потом анимировать.

💬 Аватар можно научить говорить двумя способами: «скормить» ему текст, выбрав голос, которым он будет его произносить, или просто загрузить аудиофайл.

🇷🇺 Русский язык тоже поддерживается.

🫡 В соцсети X уже можно найти массу примеров работы модели, разной степени удачности.

🧱 Character-1 — собственная разработка Hedra, которые называют ее своей Foundational Model.

🔵 Бета-версию нейросети можно потестировать на официальном сайте Hedra после регистрации.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4
🥽 Snapchat показал генеративные AR-линзы

Соцсеть, похоже, активно взялась за нейросети. Только мы рассказали про Snap Video, который пока существует на стадии эксперимента, как Snapchat анонсировал прикладные способы использования нейросетей.

⌨️ На платформе скоро появятся AR-линзы (так на местном языке называются фильтры), которые можно будет создать промптом.

⌛️ Разработчики обещают, что новая функция будет работать в реальном времени на мобильных устройствах — все благодаря грамотной оптимизации.

🧰 Для авторов контента Snap подготовили набор инструментов, который поможет создавать кастомные AR-линзы.

Дату выхода новинок пока не называют.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
👮‍♂️ Крупнейшие музыкальные лейблы подали в суд на Suno и Udio

Американская ассоциация звукозаписывающих компаний (RIAA) от лица музыкальных подразделений Universal, Sony и Warner подала в суд на создателей двух самых популярных нейросетей для генерации музыки — Suno и Udio.

©️ Разработчиков обвиняют в массовом нарушении авторского права в «ранее невиданных масштабах».

Истцы считают, что Suno и Udio обучали на произведениях музыкантов, которые были написаны за прошедшие несколько десятков лет.

⚠️ Это может привести, говорится в иске, к перенасыщению рынка музыкальным ИИ-контентом, который будет конкурировать, обесценивать, а впоследствии вытеснит настоящую музыку.

В качестве примеров незаконного использования музыки истцы указывают на то, что в метаданных генераций можно найти теги с указанием конкретных артистов. И Suno, и Udio на промпты с упоминанием уже существующих треков выдавали результат, который практически неотличим от оригинала (речь не только о мелодии, но и о вокале).

🤫 При этом разработчики Udio и создатели Suno не раскрывают то, на чем они тренировали свои модели. Компании объясняли, что ведут переговоры с музыкантами и их лейблами о возможности использования произведений. Видимо, переговоры (если они были) закончились ничем.

🚫 RIAA требует признать факт нарушения копирайта, запретить обучение ИИ на защищенной копирайтом музыке, а также возместить ущерб за нарушения авторского права, которые уже произошли.
Please open Telegram to view this post
VIEW IN TELEGRAM
😱32🔥1😁1
🎦 DeepMind разработал нейросеть, которая пишет саундтреки к видео

V2A (Video-to-Audio) умеет генерировать звуковую дорожку на основе видео, которая сразу синхронизируется с происходящим в клипе.

💣 Генерируемое аудио может быть разнообразным: аудиоэффекты, музыка, диалоги.

⌨️ Диффузионная модель опционально поддерживает промпты. V2A можно обозначить, каким именно должен быть саундтрек или, наоборот — чего при озвучании надо избегать (то есть можно использовать позитивные и негативные текстовые подсказки).

💬 Для более качественных генераций V2A тренировали не только на видео- и аудиоинформации, но и на сгенерированных ИИ текстовых описаниях происходящего в клипах.

🔨 Звучит круто, но потестить V2A пока никому не дадут — модель еще слишком сырая и требует серьезных доработок.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3😱2👍1
This media is not supported in your browser
VIEW IN TELEGRAM
🦒 Крупнейший в США продавец игрушек выпустил рекламу, сгенерированную Sora

Ритейлер Toys R Us (1,5 тыс. магазинов более чем в 30 странах) выпустил рекламный ролик, почти полностью созданный с помощью нейросети Sora.

🤝 Ролик был создан вместе с креативным агентством Native Foreign и представлен на недавно прошедших Каннских львах — ключевым фестивалем для производителей рекламы.

💡 В минутном клипе юному Чарльзу Лазарусу — будущему основателю Toys R Us — приходит в голову идея открыть магазин игрушек, не похожий на другие. В этом ему помогает игрушечный жираф.

🔩 Помимо Sora, при создании ролика авторы использовали оригинальный саундтрек (в смысле, созданный людьми) и дополнительные спецэффекты. В Native Foreign не вдаются в подробности, но, как и другие пользователи Sora, говорят, что для создания ролика потребовалась не одна итерация, прежде чем он стал выглядеть как надо.

🤷‍♀️ Запускать рекламную кампанию с использованием клипа Toys R Us пока не планируют.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍51
This media is not supported in your browser
VIEW IN TELEGRAM
🆕 Kling научилась удлинять видео и создавать клипы по картинке

Один из наиболее перспективных конкурентов Sora получил первый апдейт — теперь генерации можно создавать по картинке-референсу, а также растягивать хронометраж клипа до трех минут.

Чтобы попробовать нейросеть, не будучи жителем Китая, все еще нужно сильно постараться.
Please open Telegram to view this post
VIEW IN TELEGRAM
1