This media is not supported in your browser
VIEW IN TELEGRAM
🤖💬 Стартап, который разрабатывает «ChatGPT для роботов»
▶️ Covariant запустил платформу RFM-1 (Robotics Foundational Model-1), которую в компании называют LLM для роботов. Стартап основали трое выходцев из теперь уже закрытого подразделения OpenAI, работавшего с робототехникой.
RFM обучена на большом объеме данных, полученном от складских роботов Covariant, которые последние четыре года работают «в поле».
🔩 Пока мультимодальная LLM с 8 млрд параметров позволяет роботам эффективно работать на складах, но Foundational в названии модели неспроста — это значит, что ее можно обучать дальше, чтобы выполнять задачи, для которых RFM изначально не разрабатывалась.
🚜 Стартап хочет, чтобы модель использовали в сельском хозяйстве, пищевой промышленности, переработке отходов, а также в обычных домах и квартирах.
Уже сейчас роботы с RFM на борту могут взаимодействовать с предметами, которые они ни разу до этого не видели. Интерфейс для управления машинами похож на обычного чат-бота, которому можно написать команду, произнести ее голосом, загрузить изображение или видео⌨️ .
🔮 Также модель может работать и как симулятор — RFM способна просчитать, как поведет себя механизм (необязательно робот) при определенных обстоятельствах и сгенерировать соответствующее видео или изображение.
В планах Covariant превратить RFM в что-то типа Windows для роботов — универсальную систему, установленную в миллионы машин по всему миру. Соответственно, чем больше роботов будут использовать модель, тем больше информации получит Covariant (при согласии пользователей) и тем совершеннее будет становиться RFM 💪.
⚠️ Сейчас система все еще достаточно часто совершает ошибки, когда сталкивается с совсем незнакомой ей ситуацией.
💵 Интеграция ИИ в роботов одна из самых модных тем: недавно Amazon объявил, что раздаст $1 млрд стартапам, работающим в этой области.
▶️ Covariant запустил платформу RFM-1 (Robotics Foundational Model-1), которую в компании называют LLM для роботов. Стартап основали трое выходцев из теперь уже закрытого подразделения OpenAI, работавшего с робототехникой.
RFM обучена на большом объеме данных, полученном от складских роботов Covariant, которые последние четыре года работают «в поле».
🚜 Стартап хочет, чтобы модель использовали в сельском хозяйстве, пищевой промышленности, переработке отходов, а также в обычных домах и квартирах.
Уже сейчас роботы с RFM на борту могут взаимодействовать с предметами, которые они ни разу до этого не видели. Интерфейс для управления машинами похож на обычного чат-бота, которому можно написать команду, произнести ее голосом, загрузить изображение или видео
🔮 Также модель может работать и как симулятор — RFM способна просчитать, как поведет себя механизм (необязательно робот) при определенных обстоятельствах и сгенерировать соответствующее видео или изображение.
В планах Covariant превратить RFM в что-то типа Windows для роботов — универсальную систему, установленную в миллионы машин по всему миру. Соответственно, чем больше роботов будут использовать модель, тем больше информации получит Covariant (при согласии пользователей) и тем совершеннее будет становиться RFM 💪.
⚠️ Сейчас система все еще достаточно часто совершает ошибки, когда сталкивается с совсем незнакомой ей ситуацией.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5
👥 В Midjourney теперь можно создавать генерации с собственными персонажами
Функция Character Reference позволяет создавать одинакового персонажа на каждом из серии сгенерированных изображений.
Чтобы воспользоваться новой возможностью, потребуется несколько шагов:
1️⃣ Как обычно сгенерировать персонажа с помощью промпта;
2️⃣ Выбрать из четырех предложенных генераций тот вариант, который в дальнейшем будет основным;
3️⃣ Для следующей генерации в промпте необходимо прописать — cref; ссылку на изображение, которые пользователь выбрал основным; параметр cw (character weight) со значением от 0 до 100 (где 100 — это персонаж максимально похожий на себя из предыдущей генерации).
☝️Работает для изображений, созданных через Discord-сервер Midjourney
Новая функция важна, так как позволяет использовать Midjourney как профессиональный инструмент для создания, например, концепт-арта видеоигры или фильма 🧑🎨.
🔩 Пока Character Reference работает не идеально. Глава Midjourney Дэвид Холц отметил, что 100% сходства между генерациями нет. Нейросеть не перенесет точь-в-точь на следующее изображение веснушки персонажа или, скажем, логотип на футболке.
Нельзя сказать, что Midjourney совершили революцию — тот же InstantID или Reactor для Stable Diffusion умеют примерно то же самое. Но как сервис возможность воспроизведения персонажа есть пока только Midjourney
Функция Character Reference позволяет создавать одинакового персонажа на каждом из серии сгенерированных изображений.
Чтобы воспользоваться новой возможностью, потребуется несколько шагов:
1️⃣ Как обычно сгенерировать персонажа с помощью промпта;
2️⃣ Выбрать из четырех предложенных генераций тот вариант, который в дальнейшем будет основным;
3️⃣ Для следующей генерации в промпте необходимо прописать — cref; ссылку на изображение, которые пользователь выбрал основным; параметр cw (character weight) со значением от 0 до 100 (где 100 — это персонаж максимально похожий на себя из предыдущей генерации).
☝️Работает для изображений, созданных через Discord-сервер Midjourney
Новая функция важна, так как позволяет использовать Midjourney как профессиональный инструмент для создания, например, концепт-арта видеоигры или фильма 🧑🎨.
Нельзя сказать, что Midjourney совершили революцию — тот же InstantID или Reactor для Stable Diffusion умеют примерно то же самое. Но как сервис возможность воспроизведения персонажа есть пока только Midjourney
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥4❤3👎1
This media is not supported in your browser
VIEW IN TELEGRAM
🤖 В робота Figure 01 добавили нейросеть от OpenAI
В конце февраля стало известно, что робостартап Figure заключил партнерское соглашение с OpenAI. Не прошло и месяца, а уже можно увидеть первые плоды сотрудничества.
💬 Figure выпустили ролик, где робот Figure 01 с интегрированной ИИ-моделью от OpenAI свободно общается с человеком, распознает лежащие перед ним предметы и взаимодействует с ними. И даже объясняет, почему он совершает те или иные действия!
👀 Модель OpenAI обеспечивает обработку визуальной информации и распознавание речи. За движения робота ответственны собственные нейросети Figure.
🤔 Основатель Figure Бретт Эдкок в соцсети X рассказал, что в робота интегрирована некая VLM-модель (Visual Language Model), обученная Open AI. Не уточняется, новая ли это разработка или речь идет о GPT-4V.
💃 В ролике впечатляют не только ИИ-возможности робота, но и плавность его движений. Optimus пока о таком может только мечтать.
В конце февраля стало известно, что робостартап Figure заключил партнерское соглашение с OpenAI. Не прошло и месяца, а уже можно увидеть первые плоды сотрудничества.
🤔 Основатель Figure Бретт Эдкок в соцсети X рассказал, что в робота интегрирована некая VLM-модель (Visual Language Model), обученная Open AI. Не уточняется, новая ли это разработка или речь идет о GPT-4V.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3❤2
Разработчики из Tencent с коллегами из китайских университетов придумали фреймворк Follow Your Click для точечной анимации сгенерированных изображений.
🖱 Пользователь выделяет необходимую область мышкой, пишет короткий промпт и получают анимированное изображение.
За последнее время уже было несколько подобных решений, но создатели Follow Your Click говорят, что их метод дает в руки пользователю еще больше контроля над изображением 🎮.
Есть у Follow Your Click и проблемы — фреймворк не может сгенерировать комплексную анимацию и ограничен простыми движениями.
📆 Код обещают в апреле.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
На Nvidia подали в суд, Дуров рассказал про ИИ чат-бот, новую версию GPT случайно анонсировали — и другие важные новости за неделю
✅ Midjourney заблокировал на неопределенный срок доступ к нейросети сотрудникам Stability AI — разработчику Stable Diffusion. В Midjourney заподозрили сотрудников компании-конкурента в сборе данных (скрэпинге), на которых обучалась нейросеть. Собрать информацию пытались с двух аккаунтов, связанных со Stability AI. Из-за этих действий в начале марта якобы легли сервера Midjourney. В Stability AI отрицают целенаправленную попытку скрэпинга, так как их модель «и так опережает все остальные»;
✅ Илон Маск пообещал до конца недели выложить в открытый доступ исходный код своего чат-бота Grok. Видимо, глава Tesla понял, что претензии к OpenAI выглядят как минимум странно, если у самого ИИ с закрытым кодом. На момент написания текста код Маск так и не выложил (UPD: Выложил);
✅ Итальянские власти по какой-то причине очень не любят OpenAI. На этот раз местные регуляторы начали расследование в отношении еще не вышедшей модели Sora, чтобы выяснить, какую персональную информацию пользователей может использовать нейросеть;
✅ Против Nvidia подали коллективный иск о нарушении авторского права. Группа писателей считает, что при создании фреймворка NeMo использовались пиратские копии литературных произведений. Возможно, писатели что-то напутали, ведь NeMo сам по себе не является LLM, а нужен для работы и запуска языковых моделей;
✅ Павел Дуров рассказал, что в Telegram рассматривают возможность запуска ИИ чат-бота и готовы выйти на IPO для «реализации ИИ-амбиций». По словам Дурова, сейчас у мессенджера Telegram 900 млн пользователей, а оценочная стоимость компании превышает $30 млрд;
✅ Пользователи iOS-устройств, проживающие в ЕС, смогут скачивать приложения прямо с сайтов разработчиков. Для этого разработчикам придется согласиться на все правила, которые действуют в App Store, и зарегистрировать свой сайт в App Store Connect — портале для управления приложениями;
✅ СТС совместно с платформой Skillbox начал съемки веб-сериала по сценарию, написанному нейросетью A.I. TV Script Generator. В нейросеть загрузили сотни страниц сценариев других проектов канала, чтобы на выходе получить Сидоровых. Первую серию уже можно посмотреть;
✅ Следующую версию GPT, возможно, анонсировали раньше времени. Несколько поисковиков проиндексировали страницу GPT-4.5 Turbo (сейчас на ее месте 404), хотя официального анонса пока не было. Если это не ошибка, то новая версия LLM должна выйти в июне;
✅ Модель Sora от OpenAI станет доступна до конца года, рассказала CTO компании Мира Мурати. Сейчас нейросеть проходит тестирование у очень ограниченной группы пользователей;
✅ Сбер, МТС и Яндекс подписали декларацию об ответственной разработке и использовании генеративного ИИ. В декларации прописаны рекомендации не только для разработчиков ИИ, но и для пользователей нейросетей. Юридической силы у документа, конечно, никакой, но можно отметить, что российский бизнес предпринимает шаги по регулированию ИИ;
✅ Палата представителей США одобрила законопроект, который должен обезопасить американцев от приложений, «контролируемых иностранными противниками». Окончательное принятие документа (законопроект должен также пройти Сенат), грозит запретом TikTok на всей территории Штатов. В этом случае у владельца соцсети, китайской ByteDance, будет полгода на то, чтобы продать свою долю в бизнесе;
✅ Опрос маркетинговой плтаформы SOCi показал, что представители поколения Z (18-24 года) в США чаще используют для поиска местных компаний TikTok (62% ответивших) и Instagram* (67%), а не поисковик Google. Facebook* используют для такого поиска 60% респондентов в возрасте 25-34 лет. Поисковик Google остается самым популярным вариантом у людей в возрасте 35+.
*Instagram и Facebook входят в Meta — организацию, запрещенную на территории РФ
✅ Midjourney заблокировал на неопределенный срок доступ к нейросети сотрудникам Stability AI — разработчику Stable Diffusion. В Midjourney заподозрили сотрудников компании-конкурента в сборе данных (скрэпинге), на которых обучалась нейросеть. Собрать информацию пытались с двух аккаунтов, связанных со Stability AI. Из-за этих действий в начале марта якобы легли сервера Midjourney. В Stability AI отрицают целенаправленную попытку скрэпинга, так как их модель «и так опережает все остальные»;
✅ Илон Маск пообещал до конца недели выложить в открытый доступ исходный код своего чат-бота Grok. Видимо, глава Tesla понял, что претензии к OpenAI выглядят как минимум странно, если у самого ИИ с закрытым кодом. На момент написания текста код Маск так и не выложил (UPD: Выложил);
✅ Итальянские власти по какой-то причине очень не любят OpenAI. На этот раз местные регуляторы начали расследование в отношении еще не вышедшей модели Sora, чтобы выяснить, какую персональную информацию пользователей может использовать нейросеть;
✅ Против Nvidia подали коллективный иск о нарушении авторского права. Группа писателей считает, что при создании фреймворка NeMo использовались пиратские копии литературных произведений. Возможно, писатели что-то напутали, ведь NeMo сам по себе не является LLM, а нужен для работы и запуска языковых моделей;
✅ Павел Дуров рассказал, что в Telegram рассматривают возможность запуска ИИ чат-бота и готовы выйти на IPO для «реализации ИИ-амбиций». По словам Дурова, сейчас у мессенджера Telegram 900 млн пользователей, а оценочная стоимость компании превышает $30 млрд;
✅ Пользователи iOS-устройств, проживающие в ЕС, смогут скачивать приложения прямо с сайтов разработчиков. Для этого разработчикам придется согласиться на все правила, которые действуют в App Store, и зарегистрировать свой сайт в App Store Connect — портале для управления приложениями;
✅ СТС совместно с платформой Skillbox начал съемки веб-сериала по сценарию, написанному нейросетью A.I. TV Script Generator. В нейросеть загрузили сотни страниц сценариев других проектов канала, чтобы на выходе получить Сидоровых. Первую серию уже можно посмотреть;
✅ Следующую версию GPT, возможно, анонсировали раньше времени. Несколько поисковиков проиндексировали страницу GPT-4.5 Turbo (сейчас на ее месте 404), хотя официального анонса пока не было. Если это не ошибка, то новая версия LLM должна выйти в июне;
✅ Модель Sora от OpenAI станет доступна до конца года, рассказала CTO компании Мира Мурати. Сейчас нейросеть проходит тестирование у очень ограниченной группы пользователей;
✅ Сбер, МТС и Яндекс подписали декларацию об ответственной разработке и использовании генеративного ИИ. В декларации прописаны рекомендации не только для разработчиков ИИ, но и для пользователей нейросетей. Юридической силы у документа, конечно, никакой, но можно отметить, что российский бизнес предпринимает шаги по регулированию ИИ;
✅ Палата представителей США одобрила законопроект, который должен обезопасить американцев от приложений, «контролируемых иностранными противниками». Окончательное принятие документа (законопроект должен также пройти Сенат), грозит запретом TikTok на всей территории Штатов. В этом случае у владельца соцсети, китайской ByteDance, будет полгода на то, чтобы продать свою долю в бизнесе;
✅ Опрос маркетинговой плтаформы SOCi показал, что представители поколения Z (18-24 года) в США чаще используют для поиска местных компаний TikTok (62% ответивших) и Instagram* (67%), а не поисковик Google. Facebook* используют для такого поиска 60% респондентов в возрасте 25-34 лет. Поисковик Google остается самым популярным вариантом у людей в возрасте 35+.
*Instagram и Facebook входят в Meta — организацию, запрещенную на территории РФ
👍6
🥫➕🤖 Производитель супов Campbell's провел ребрендинг с помощью нейросетей
✨ Культовый продукт, увековеченный Энди Уорхолом, решили немного освежить с помощью генеративного ИИ.
🧑🎨 Банку супа прогнали через нейросети и представили, как бы выглядел продукт, если бы над ним работали другие знаменитые художники: Пикассо, Ван Гог, Дали.
Проект назвали Campbell’s pAIntings. Какую именно нейросеть использовали для генераций, авторы не раскрывают 🤫.
Больше иллюстраций тут.
📰 Если хотите почитать, как еще бренды используют ИИ для рекламы, то вам сюда.
🧑🎨 Банку супа прогнали через нейросети и представили, как бы выглядел продукт, если бы над ним работали другие знаменитые художники: Пикассо, Ван Гог, Дали.
Проект назвали Campbell’s pAIntings. Какую именно нейросеть использовали для генераций, авторы не раскрывают 🤫.
Больше иллюстраций тут.
📰 Если хотите почитать, как еще бренды используют ИИ для рекламы, то вам сюда.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
😁2
🎞 Создание анимации из двух кадров
У модели DynamiCrafter от Tencent в последнем обновлении появилась функция Generative Frame Interpolation.
👷 Она позволяет «достроить» анимацию из двух исходных кадров — первого и последнего.
♻️ Также после апдейта модель научилась создавать зацикленные видео.
📺 Основной фишкой DynamiCrafter разработчики считают использование для анимации сразу визуальной и текстовой информации — модель получает исходное изображение и, грубо говоря, его текстовое описание. Это позволяет повысить визуальную детализацию изображения, а также сделать анимацию более естественной.
📝 Разработчики считают, что DynamiCrafter особенно подойдет для сторителлинга.
Код есть на GitHub, демо — на HuggingFace.
У модели DynamiCrafter от Tencent в последнем обновлении появилась функция Generative Frame Interpolation.
👷 Она позволяет «достроить» анимацию из двух исходных кадров — первого и последнего.
♻️ Также после апдейта модель научилась создавать зацикленные видео.
📺 Основной фишкой DynamiCrafter разработчики считают использование для анимации сразу визуальной и текстовой информации — модель получает исходное изображение и, грубо говоря, его текстовое описание. Это позволяет повысить визуальную детализацию изображения, а также сделать анимацию более естественной.
Код есть на GitHub, демо — на HuggingFace.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3🤔1
This media is not supported in your browser
VIEW IN TELEGRAM
🎥 Модель для генерации 3D от Stability AI
🆕 Разработчики Stable Diffusion показали Stable Video 3D — новую нейросеть, которая создает 3D-объекты по одному изображению.
🎞 Stable Video 3D работает на основе недавно выпущенной Stable Video Diffusion — модели для генерации видео.
🫡 Новая нейросеть выходит в двух вариантах — с возможностью контролировать местоположение виртуальной камеры и без нее.
🌀 Создатели обещают качественные генерации, которые можно вертеть и рассматривать с любого ракурса.
🛍 Будущее своей нейросети Stability AI видят в гейминге и e-commerce.
Некоммерческая версия Stable Video 3D лежит на Hugging Face, коммерческая — доступна только подписчикам Stability AI Membership.
🆕 Разработчики Stable Diffusion показали Stable Video 3D — новую нейросеть, которая создает 3D-объекты по одному изображению.
🎞 Stable Video 3D работает на основе недавно выпущенной Stable Video Diffusion — модели для генерации видео.
🌀 Создатели обещают качественные генерации, которые можно вертеть и рассматривать с любого ракурса.
Некоммерческая версия Stable Video 3D лежит на Hugging Face, коммерческая — доступна только подписчикам Stability AI Membership.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5❤3
💡 Джозеф Сирош, который отвечал за ИИ-направления в Microsoft и Amazon, придумал новый стартап — CreatorsAGI.
🤝 Сервис компании поможет создавать ИИ-агентов, которые будут обеспечивать дополнительным заработком контентмейкеров, писателей, продюсеров и т. д.
Например, писатель может обучить ИИ-помощника на своих произведениях, после чего ассистент будет за деньги обучать всех желающих писательскому мастерству.
👻 Еще один вариант использования помощника — гострайтинг. Предполагается, что ИИ, обученный на авторском контенте, более точно сможет развить писательскую идею.
Сирош считает, что его сервис принципиально отличается от кастомных чат-ботов, так как дает возможность «аутентичного генеративного взаимодействия» с любимым автором
Сервис еще не запущен, условия монетизации тоже пока не раскрываются.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3🤔3
Media is too big
VIEW IN TELEGRAM
Разработчики Assassin’s Creed на Games Developers Conference (GDC) представили NEO NPC — совместный проект R&D-команды Ubisoft, Nvidia и компании Inworld.
Nvidia уже показывала аналогичный сольный проект.
Журналист The Verge смог попробовать прототип NEO NPC на GDC — результат можно оценить в клипе ☝️. Полная 15-минутная версия видео здесь.
📆 Ubisoft планируют использовать NEO NPC и в AAA-тайтлах и на небольших проектах, но признают, что произойдет это не скоро.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3👍2