Метаверсище и ИИще
50.3K subscribers
6.3K photos
4.93K videos
48 files
7.27K links
Это не новости, это персональный экспертный взгляд на то, как развивается индустрия ИИ, графики, метаверса, крипты, нейротехнологий и в каком направлении катится все это безобразие.
Для связи: @SergeyTsyptsyn
Download Telegram
Клод идет в креативные приложения и вонзает в Блендор.

Вчера интернетик приподвскипел новостью о том, что Антропики стали спонсорами Блендора. У Блендора много спонсоров - например, Epic\UE - но среди ИИ-компаний, это наверное первый случай. Зачем это Антропику? Остается только гадать - ибо код Блендора открыт, как и любая документация. Может быть для более плотного взаимодействия с командой Блендора для полировки Blender-коннектора.

Но вчера же Антропики бахнули целый выводок коннекторов для различных приложений:
Adobe Creative Cloud, Ableton, Splice, Canva Affinity, SketchUp, Resolume.
Photoshop. Lightroom. Illustrator. Firefly. Premiere. Express. InDesign. Stock. (тут интересно про Firefly)
И новый коннектор для Блендора.

Поглядите видосы (особенно про Fusion), чтобы оценить как это работает.

Одно из применений - это конечно код: вы можете попросить его создать пользовательский шейдер, написать скрипт для процедурной анимации или сгенерировать параметрические модели, и он создаст документированный код, который вы сможете повторно использовать и модифицировать.

Также это автоматизация, пакетная обработка, повторяющиеся задачи.

И написание своих инструментов с встраиванием их внутрь софта. Когда-то успех Maya был связан именно с этим (Maya MEL). А теперь, получается, можно делать это на русском языке внутри любого софта, имеющего коннектор.

В общем Антропик делает очень правильные шаги.

Вот только лого у них, конечно, ужасное))

Подробнее тут:
https://www.anthropic.com/news/claude-for-creative-work

@cgevent
36👍16👎8🔥7😁2
This media is not supported in your browser
VIEW IN TELEGRAM
Netflix Vista 4D: переснимем на посте.

Интересная работа от Нетфликс (мне жутко интересно, они это уже используют внутри?).

Это пересниматор.

На входе видео. Потом создается 3Д-реконструкция сцены в виде облака точек. И это уже не просто статичная сцена, это как щас модно писать 4Д-сцена: просто 3Д с анимацией внутри.

Ну то есть это грубо говоря, генератор мира.

Далее в этом мире, коль скоро он в 3Д, выставляется другая камера, делается черновой пререндер и он уже кормится в video diffusion model (как V2V) для чистовой генерации финальной сцены, снятой с другого ракурса.

Это не первая такая работа: были уже ReCamMaster, CamCloneMaster

Тут интересно, что в авторах Netflix. И что это полный опенсорс.

Как я понял, в качестве чистового рендера используется Wan-2.1 I2V 14B. Разрешение только 720p. Также они умеют сшивать чанки из генераций в длинные видеоклипы.

Обязательно посмотрите материал по ссылке:

https://eyeline-labs.github.io/Vista4D/

@cgevent
🔥4618😱5
StAItial AI Echo 2. Генератор миров. Пока бесплатный.

Я уже писал про них в декабре


Тогда была запись в вейтлист, сейчас работает для всех. И я не понял, где подвох, логинитесь гуглом, а потом с вас не просят денег.

Генерация мира занимает 6-8 минут.

Для просмотра в браузере используются сплаты (то есть это не просто видео), экспортить можно в меши и облака точек. Правда я нашел только скачивание в PLY.

На входе одна картинка, на выходе мир.

Во второй версии сильно подтянули качество картинки и утверждают, что консистентность мира заложена в сам дизайн модели. Хех, результат в след посте.

До полноценных игровых миров наверное далековато, а вот для тренировки робатов (с чем, собственно, и связан бум генераторов миров), сгодицца.

Плюс обещают API - поэтому появляются возможности для встраивания в приложения тира продажи недвиги.

В общем на рынке генераторов сейчас прям горячо.

@cgevent
119👍7
StAItial AI Echo 2. Тестируем на хомяках.

Точнее на белках. Скормил туда свою тварь. За 7 минут мир был сгенерирован.

Вот можете полюбовацца.
https://app.spaitial.ai/worlds/9435330d-eb2b-44f5-b523-967598928aeb

У них довольно медленный и багованный вьюер сплатов в браузере. Особенно после того, что я постил вчера и сегодня.
Также не работает экспорт в PLY, не смог оценить облако точек. Но есть экспорт в 360-панораму.
Также, если потыкать в настройки камеры и рендеринга, то там все довольно продвинуто.
А если сгенерить видео-облет, то качество становится действительно улучшенным.

В общем это крэш-тест, конечно. Пихать меховых усатых тварей в 3Д-движок - негуманно.

Забавно, что он сгенерил какой-то морской бой на заднем плане, попал в контекст.

В общем, на первый взляд плохо, а на второй - хорошо.

И бесплатно.

@cgevent
👍19👎6🔥52
Media is too big
VIEW IN TELEGRAM
Дубляж с липсинком

Поглядите это двухминутное видео, чтобы оценить, как теперь работает дубляж с помощью липсинка от sync.so

Новый язык озвучки теперь попадает в губы.

В принципе sync.so и раньше умел модифицировать движение губ под нужный аудио-файл, просто теперь они прикрутили сюда перевод и войсклонинг. Получилась студия дубляжа с липсинком.

Интересно, что пример на среднем плане, нужно смотреть, что будет на крупняках.

Цены, как всегда, конские. Но это, похоже, лучший липсинкер на рынке.

https://sync.so/pricing

@cgevent
🔥3316
This media is not supported in your browser
VIEW IN TELEGRAM
Умная колонка на стероидах, которую мы заслужили.

Китайцы сделали вот такую умную голову.

Кринж в том, что это просто говорящая голова, которая ставится на стол и общается с вами.
200(!) микровыражений лица, в каждом глазу по камере, обработка целиком на устройстве (не надо подключаться к облаку). От 10 до 18(!) кг (сама башка 3 кг).
И отсоединяемое лицо по частям! - можно менять скины.

В общем я не очень понимаю, чем это лучше, чем смартфон с голосовым режимом и аватаром. Меня от зловещей долины стошнит раньше, чем оно со мной заговорит.

Но.

Это же идеальный прототип секс-игрушек нового типа. До полноростовых робатов еще далеко и дорого. А тут немного модификаций и готово.

Они еще и поговорить с вами смогут.

@cgevent
😁82🔥15👎8😱31🙏1
Media is too big
VIEW IN TELEGRAM
#Нейропрожарка

“Перед рассветом”

Я режиссёр Антон Зимин сейчас работаю над полнометражным фильмом “Перед рассветом”, исторической драмой об этом святом - Сергии Радонежском.

Я родился в Сергиевом Посаде, и история о человеке, который пришёл в лес, создал обитель, вокруг которой вырос город, всегда меня завораживала. На самом деле Сергий сделал больше, он стал точкой, вокруг которой начал собираться народ.

Мой фильм о моменте в истории, когда люди перестают верить, что могут быть единым народом, и о человеке, который возвращает им эту веру.

В XIV веке на Руси уже не верили, что можно избавиться от монголо-татарского ига. Междоусобицы, эпидемии, поборы Орды, голод и лишения - из сознания людей начало исчезать само понятие единого русского народа. Это были тёмные времена - настоящая ночь Руси.
Именно Сергий Радонежский помог обрести эту веру. Благодаря своему жизненному пути и деяниям он стал самым почитаемым игуменом своего времени.
Его благословение Дмитрия на битву с Ордой сделало сопротивление общим делом всего народа.
После Куликовской битвы наши предки впервые поверили, что могут объединиться и противостоять общему врагу.
Так на горизонте русской истории загорелись первые предвестники рассвета.

Сейчас я развиваю проект и работаю над ним в формате AI-видео, это позволяет уже сейчас прорабатывать сцены, визуальный язык и ритм будущего фильма.

Проект находится в активной разработке и открыт для партнёрства, в том числе для привлечения инвестиций в полнометражную съёмочную версию.


Тизер сделан с помощью Nana Banan Pro и Kling 3.0. Мне удалось добиться высокой реалистичности игры актеров с помощью использования метода Станиславского в промптах.
Подробнее о методе Станиславского в ИИ-видео у меня в канале @aizproduction
Закадровый голос - пока здесь самое слабое место). Мне нужна была особая ритмика, поэтому я записал себя и изменил с помощью ИИ, но дефекты речи остались. Интонация получилась именно та, что мне нужна, но произношение пока грязновато.

@cgevent
👍104👎58🔥19🙏96
Forwarded from Denis Sexy IT 🤖
Про гоблинов и енотов в GPT 5.5 – OpenAI выпустили расследование

Начиная с GPT-5.1 в ответах моделей внезапно расплодились гоблины, гремлины и прочая нечисть – сначала это было мило, но потом гоблины полезли отовсюду - особенно в Codex.

Расследование показало забавное:

ℹ️ У ChatGPT была личность «Nerdy» (душнила вайб) с системным промптом, условно «играй с языком, мир странный – наслаждайся этим»

ℹ️ Reward-модель во время обучения почему-то особенно щедро поощряла ответы с упоминанием существ. Гоблины = +reward, значит ответ с Гоблинами – предпочтителен

ℹ️ «Nerdy» личность обрабатывала всего 2.5% ответов, но 66.7% всех гоблинов ChatGPT поступали именно оттуда – нерд орда

ℹ️ Из-за того как устроена reward функциях у моделях, тренировка на генерациях ChatGPT еще сильнее усилила орду гоблинов в ответах

ℹ️ Под раздачу попали также еноты, тролли, огры и голуби. А вот лягушки не захватывали reward функции, спасибо им

В марте Nerdy отключили, reward почистили, датасет отфильтровали. Но GPT-5.5 уже успел обучиться, и в Codex ему вшили в developer prompt прямую инструкцию «не призывай гоблинов». Если хочется – её можно отключить и выпустить тварей на свободу ☕️

Отсюда:
https://openai.com/index/where-the-goblins-came-from/
Please open Telegram to view this post
VIEW IN TELEGRAM
😁58😱65👎3🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
Игровой нейрорендеринг от Roblox

Тут Roblox бахнул очень интересный пресс-релиз о своих будущих планах. Много слов, но я для вас выкусил суть.

Если в одном предложении: видеомодель Roblox Upsampler принимает на вход черновой рендер (и разную информацию типа глубины, 3д и меты) от их традиционного игрового движка и нейрорендерит это на их же серверах, а потом доставляет видеопоток на клиентов.

Вообще-то говоря звучит как план для любого игрового движка.

Дальше обсудим разные моменты для тех, кто не обессилен чтением двух абзацев. Описание того, что происходит на видео также внизу.

1. Модели мира сами по себе не могут обеспечить масштабный и стабильный многопользовательский опыт. Хотя генераторы миров впечатляют во многих отношениях, они терпят неудачу во многих критически важных областях. К ним относятся согласованность во времени в рамках одной сессии, долговременная память между сессиями, задержка и тонкий контроль со стороны создателя. Менее очевидные недостатки проявляются, когда речь заходит о стабильной симуляции многопользовательского режима, требовательном соревновательном геймплее, высокоинтеллектуальных NPC, тестировании и постепенном совершенствовании.

2. Иначе говоря: модель мира не есть игровой движок. И Роблокс предлагает гибридный подход - Roblox Reality, который сочетает в себе игровой движок Roblox, облачную платформу Roblox и модель видеомира Roblox Super Upsampler.

3. Игровой движок Roblox обрабатывает структурированные и логические аспекты мира, обеспечивая стабильную долговременную память, символическую логику и повторяемую симуляцию. Основное движение объектов управляется в движке, например, местоположение и скорость автомобиля, его колеса, амортизаторы и рулевое управление. На основе этого, модель видеомира добавляет дополнительные визуальные и генеративные компоненты, такие как капли воды, стекающие по лобовому стеклу, и шелест листьев, когда автомобиль проносится мимо. Такой подход позволяет игровому движку поддерживать модель данных (общее и согласованное состояние), в то время как модель видеомира генерирует пиксели (визуальную составляющую).

А теперь самое интересное. Генератор мира, он же нейрорендер, будет крутиться в облаке Роблокса на картах H200\B200.
Причем они целятся 2К 60fps - не очень понимаю, как будут достигать такой скорости просчета (пусть даже в облаке) и такой скорости доставки пикселей по сети.

Вишенка на торте: на клиенте планируют нейрорендер крупных планов - опционально накладывать локально отрендеренный аватар с увеличенным разрешением для поддержания очень низкой задержки при действиях на переднем плане.

Теперь, что на видео.
1. Нынещний рендер в роблоксе.
2. Справа вверху. То, что будет поступать на вход видеомодели. 3Д и превиз.
3. То, что у них есть сейчас. Нейрорендер, но не в реалтайме.
4. Куда они целятся.

Качество тут:
https://youtu.be/A60n4O5k8XI

В общем хороший манифест и протокол о намерениях.

От себя добавлю, что они напирают на фотореализьм, но нейрорендер может делать любые визуальные "скины" для игровой картинки. Хоть в аниме, хоть в пиксельарт. И это круто.

Оcталось достичь 2К в 60fps

https://about.roblox.com/newsroom/2026/04/roblox-reality-hybrid-architecture-democratizing-photorealistic-multiplayer-gaming

Когда? Конец года...

@cgevent
👍3219👎5😱4🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
Блендор, как генератор 3Д-миров.

Ну хорошо, пока только пончиковых миров, но зато в честном 3Д без всяких бесовских сплатов и кашеобразных мешей.

Новый коннектор Клода к Блендору: на вход подаете картинку пончика, дальше Клодский все делает сам, включая попадание в цвет и свет(!), глазурь и вот эту вот присыпку.

Ну, за 3Д-шников.

@cgevent
🔥53😁137👎3😱2👍1
This media is not supported in your browser
VIEW IN TELEGRAM
Для гиков: LTX2.3 VR-Outpaint IC-LoRA

Это 360° video outpainting LoRA - на входе обычное видео, на выходе VR-ready equirectangular video.

Лора и форкфлоу тут:
https://huggingface.co/TheBurgstall/VR-360-Outpaint-LTX2.3-IC-LoRA
Комфи нода:
https://github.com/Burgstall-labs/ComfyUI-EquirectProjector

@cgevent
🔥29👍14😱1
Визуальное тестирование генераторов миров

Неделя сплатов получается...

Одна и та же картинка из chatGpt Image 2 кормится на вход в три разных генератора.

Получается:

WorldLabs - Marble 1.1 [1.9 Million Splats]

Tencent - HY World 2.0 [0.5 Million Splats]

SpAItial - Echo 2 [2.2 Million Splats]

Результат(мир) засовывается в приложение AirVis. Оно есть и на телефонах, и на маке, и даже на Meta Quest.

Поглядите, на видео сначала тест на маке, а потом в Квесте.

Кто круче?

@cgevent
Media is too big
VIEW IN TELEGRAM
🔥174
Media is too big
VIEW IN TELEGRAM
#Нейропрожарка

Трейлер несуществующей пока экранизации книги "На пороге Тьмы" Андрея Круза.

Автор: Саянов Евгений.

Цель: показать завязку истории приключений Владимира Бирюкова (ГГ), состоящую из набора сцен с ключевыми героями.

Срок: полгода (работал редкими наскоками в свободное время, поэтому этот срок - не показатель).

Инструменты:
Референсы - НаноБанана
Видео - Вео 3.1
Озвучка - Luvvoice
Фоновая музыка и песня (в финальных кадрах) - Суно
Монтировал в КапКате
Потратился (1000 руб) только на покупку студенческого аккаунта Гугл, где дается лимитированный по количеству генераций (в сутки, в месяц) доступ к инструментам Гугла.

@cgevent
👎62👍19😁6😱32🔥1
Вышел Grok 4.3

И, конечно, сразу нашлись бенчмарки, где он побивает всех и вся.

Уже есть на OpenRouter:
https://openrouter.ai/x-ai/grok-4.3

Цены: $1.25 за 1 млн input tokens и $2.50 за 1 млн output

Но самое интересное - это Grok Imagine Agents..

@cgevent
😁214