Метаверсище и ИИще
50.3K subscribers
6.3K photos
4.93K videos
48 files
7.27K links
Это не новости, это персональный экспертный взгляд на то, как развивается индустрия ИИ, графики, метаверса, крипты, нейротехнологий и в каком направлении катится все это безобразие.
Для связи: @SergeyTsyptsyn
Download Telegram
Kandinsky 6.0 Image Pro — большой апдейт модели для работы с изображениями.

Сбер собрал генерацию и редактирование в одну модель и, судя по бенчам, попал в уровень Flux 2 Max, обгоняя GPT Image 1.5. При этом за счёт MoE и оптимизации инференса модель ускорили больше чем на 40%.

Самое интересное — Image RAG. Теперь модель не просто «рисует из головы», а подтягивает релевантные изображения в контекст. За счёт этого начинает лучше работать понимание культурного кода: мезенская роспись, картуз, локальные стили — без шаманства с промптами.

По функциям всё практично: можно убрать лишний объект, заменить предмет, поменять стиль фото, сохранить черты лица, восстановить старую фотографию или сделать её цветной. Ещё Kandinsky помогает с визуализацией интерьеров и фасадов по одному запросу.

Дальше обещают редактирование по трём референсам и точечные правки кистью.

https://habr.com/ru/companies/sberbank/articles/1028822/

@cgevent
77🔥45👎42😁24👍5
Media is too big
VIEW IN TELEGRAM
#Нейропрожарка

Мини-сериал «Алгоритм любви»

Автор: Cyberbarbie
https://t.iss.one/cyberbarbiee

Посмотреть весь сериал можно по ссылке https://youtu.be/8xs29BaNWoA?si=NLfzLO6ZIB2njFKv

Задача: Создать сериал (по объему он вышел как короткометражный фильм) внедрить Ии генерации в реальные съемки не только через форму, но и через содержание.

Сюжет:
В будущем, где нейроинтерфейсы позволяют проживать любую фантазию, измена больше не требует прикосновений.
Лера - молодая девушка, которая страдает от одиночества в браке. Пока её муж Дмитрий корпит над очередным проектом, Лера заводит виртуальный роман с Ии компаньоном.
Лера приобретает инновационный нейроинтерфейс с полным сенсорным замещением. Эта технология позволяет Лере погрузиться в виртуальные миры, сгенерированные на основе её самых сокровенных желаний.

я откровенно признаюсь, что не стала сильно изобретать и решила эксплуатировать довольно известную тему отношений с Ии. Я хотела чтобы и я, и нейросети справились с поставленными задачами, а также из актеров я располагала только своим парнем.
Но конечно это на самом деле не совсем обычная история о любви с Ии. И персонажи не так просты, как кажутся. Если я буду снимать второй сезон( который под большим вопросом) Я бы хотела добавить больше оригинальности сюжету, драматизма и показать альтернативный взгляд на любовь.


Пайплайн
Процесс создания строился нетипичным образом.
Главным инструментом была Sora 2(по которой я теперь непомерно скорблю)  и основная работа была сделана там. Конечно она генерирует мимо режиссерского промпта, но я могла одну сцену собирать и перемонтировать и по необходимости перегенерировать скриншоты и собирать что-то внятное из кучи несусветицы.
Также использовалось внедрение несуществующих объектов голограмм, предметов в реальный мир. Это делалось через nano banana и последующая анимация кадра.

Главной проблемой была генерация моего лица - не только в Sora,  во всех Ии по какой-то таинственной причине генерируется плохо.
Зато мой Ии любовник Артем созданный в Sora  через загрузку эскиза отлично получался почти на всех генерациях.

Второй проблемой был голос. Который ещё как ии помощник звучал сносно, но как человек странно. Поэтому я искала людей чтобы мне записали несколько фраз и потом в elevenlabs я меняла голос но сохраняла интонацию.

Очень я старалась над саундтреком, что оформила подписку на Suno. Создание саундтрека принесло мне особое удовольствие.

Также в работе использовались
kling
nanobanana pro
qwen
Flux
А эротические и другие сцены локально в wan 2.2. И LTX 2.3

Монтаж Adobe premiere pro

Так как это был личный творческий проект, который я делала в свободное время ушло где то месяца 4.

Бюджет 10$ мес подписки на Suno
Годовая подписка на kling (уже была)
Sora2, wan, ltx - бесплатно.

@cgevent
👎70👍15😁9😱65
This media is not supported in your browser
VIEW IN TELEGRAM
А теперь про стриминг сплатов на разные устройства.

Поглядите на эти трехмерные видео на основе сплатов: качество, облет камеры, любые ракурсы.

Как пишет мне Андрей Володин из gracia.ai:

"Мы добежали до стриминга сплатов! работает на каналах 75мбпс и рендерится в браузере, даже в WebXR и даже на Apple Vision Pro/Quest 3."

"Удалось впихнуть наш вольюметрический кодек в 75Mbps битрейт. Помню, как в начале проекта увиливал от вопросов инвесторов про трансляции и сам не особо верил, что мы до них добежим. Теперь это в моём айфоне.

В одном релизе сделали CDN инфру для раздачи видео по всему миру, рендеринг в браузере (даже в WebXR), пространственное аудио и даже зачатки релайтинга!
"

Посмотрите примеры и почитайте про устройства захвата тут:
https://store.gracia.ai

@cgevent
🔥39👍312👎2😱2
Продолжаю отмечать каналы, в которых живёт автор, а не агрегатор RSS-лент.

@countwithsasha ведёт Саша Поляков — 20 лет в интернет-рекламе, 10 лет в коде. Своё агентство по контексту, параллельно строит ИИ-агентов под собственные рабочие задачи. Поэтому в канале не пересказы анонсов OpenAI, а конкретные кейсы и грабли из практики.

В канале три направления:

📁 Скиллы для маркетологов. Папка навыков для Яндекс.Директа, Метрики, Вебмастера, Wordstat и поисковой выдачи Яндекса. Самый сохраняемый пост — про скилл для Wordstat, его положили в закладки больше тысячи раз.

🛒 Агентная коммерция в российских реалиях. Подготовка компаний к OpenClaw и подобным сценариям, разбор протоколов, тесты на живых сервисах.

🧩 База по агентам и скиллам. Когда нужен скилл, а когда MCP или CLI. Что как организовать, если работу, чтобы агент не уставал на длинных сессиях.

Наткнулся через рекомендацию чек-листа по скиллам. Посмотрел последние пару месяцев, есть хорошие посты. Несколько постов, которые лично мне зашли, репостить их уже позно, а в подборку в самый раз:

🔸 Домашний ИИ-бот, который заказывает продукты из ВкусВилл

🔸 Анатомия скилла для ИИ-агентов: что класть в какую папку

🔸 Расширение Яндекс.Вордстат: аудит рекламных кампаний через Claude

🔸 Три протокола агентной коммерции: кто кого контролирует

🔸 Скилл для оценки видимости сайта в Алисе

🔸 Почему Claude не должен проверять код Claude

🔸 5 граблей OpenClaw, на которые Саша наступил за вас

@countwithsasha — про AI, код и кейсы, без копипаста чужих анонсов.
👎23👍127
Клод идет в креативные приложения и вонзает в Блендор.

Вчера интернетик приподвскипел новостью о том, что Антропики стали спонсорами Блендора. У Блендора много спонсоров - например, Epic\UE - но среди ИИ-компаний, это наверное первый случай. Зачем это Антропику? Остается только гадать - ибо код Блендора открыт, как и любая документация. Может быть для более плотного взаимодействия с командой Блендора для полировки Blender-коннектора.

Но вчера же Антропики бахнули целый выводок коннекторов для различных приложений:
Adobe Creative Cloud, Ableton, Splice, Canva Affinity, SketchUp, Resolume.
Photoshop. Lightroom. Illustrator. Firefly. Premiere. Express. InDesign. Stock. (тут интересно про Firefly)
И новый коннектор для Блендора.

Поглядите видосы (особенно про Fusion), чтобы оценить как это работает.

Одно из применений - это конечно код: вы можете попросить его создать пользовательский шейдер, написать скрипт для процедурной анимации или сгенерировать параметрические модели, и он создаст документированный код, который вы сможете повторно использовать и модифицировать.

Также это автоматизация, пакетная обработка, повторяющиеся задачи.

И написание своих инструментов с встраиванием их внутрь софта. Когда-то успех Maya был связан именно с этим (Maya MEL). А теперь, получается, можно делать это на русском языке внутри любого софта, имеющего коннектор.

В общем Антропик делает очень правильные шаги.

Вот только лого у них, конечно, ужасное))

Подробнее тут:
https://www.anthropic.com/news/claude-for-creative-work

@cgevent
36👍16👎8🔥7😁2
This media is not supported in your browser
VIEW IN TELEGRAM
Netflix Vista 4D: переснимем на посте.

Интересная работа от Нетфликс (мне жутко интересно, они это уже используют внутри?).

Это пересниматор.

На входе видео. Потом создается 3Д-реконструкция сцены в виде облака точек. И это уже не просто статичная сцена, это как щас модно писать 4Д-сцена: просто 3Д с анимацией внутри.

Ну то есть это грубо говоря, генератор мира.

Далее в этом мире, коль скоро он в 3Д, выставляется другая камера, делается черновой пререндер и он уже кормится в video diffusion model (как V2V) для чистовой генерации финальной сцены, снятой с другого ракурса.

Это не первая такая работа: были уже ReCamMaster, CamCloneMaster

Тут интересно, что в авторах Netflix. И что это полный опенсорс.

Как я понял, в качестве чистового рендера используется Wan-2.1 I2V 14B. Разрешение только 720p. Также они умеют сшивать чанки из генераций в длинные видеоклипы.

Обязательно посмотрите материал по ссылке:

https://eyeline-labs.github.io/Vista4D/

@cgevent
🔥4618😱5
StAItial AI Echo 2. Генератор миров. Пока бесплатный.

Я уже писал про них в декабре


Тогда была запись в вейтлист, сейчас работает для всех. И я не понял, где подвох, логинитесь гуглом, а потом с вас не просят денег.

Генерация мира занимает 6-8 минут.

Для просмотра в браузере используются сплаты (то есть это не просто видео), экспортить можно в меши и облака точек. Правда я нашел только скачивание в PLY.

На входе одна картинка, на выходе мир.

Во второй версии сильно подтянули качество картинки и утверждают, что консистентность мира заложена в сам дизайн модели. Хех, результат в след посте.

До полноценных игровых миров наверное далековато, а вот для тренировки робатов (с чем, собственно, и связан бум генераторов миров), сгодицца.

Плюс обещают API - поэтому появляются возможности для встраивания в приложения тира продажи недвиги.

В общем на рынке генераторов сейчас прям горячо.

@cgevent
119👍7
StAItial AI Echo 2. Тестируем на хомяках.

Точнее на белках. Скормил туда свою тварь. За 7 минут мир был сгенерирован.

Вот можете полюбовацца.
https://app.spaitial.ai/worlds/9435330d-eb2b-44f5-b523-967598928aeb

У них довольно медленный и багованный вьюер сплатов в браузере. Особенно после того, что я постил вчера и сегодня.
Также не работает экспорт в PLY, не смог оценить облако точек. Но есть экспорт в 360-панораму.
Также, если потыкать в настройки камеры и рендеринга, то там все довольно продвинуто.
А если сгенерить видео-облет, то качество становится действительно улучшенным.

В общем это крэш-тест, конечно. Пихать меховых усатых тварей в 3Д-движок - негуманно.

Забавно, что он сгенерил какой-то морской бой на заднем плане, попал в контекст.

В общем, на первый взляд плохо, а на второй - хорошо.

И бесплатно.

@cgevent
👍19👎6🔥52
Media is too big
VIEW IN TELEGRAM
Дубляж с липсинком

Поглядите это двухминутное видео, чтобы оценить, как теперь работает дубляж с помощью липсинка от sync.so

Новый язык озвучки теперь попадает в губы.

В принципе sync.so и раньше умел модифицировать движение губ под нужный аудио-файл, просто теперь они прикрутили сюда перевод и войсклонинг. Получилась студия дубляжа с липсинком.

Интересно, что пример на среднем плане, нужно смотреть, что будет на крупняках.

Цены, как всегда, конские. Но это, похоже, лучший липсинкер на рынке.

https://sync.so/pricing

@cgevent
🔥3316
This media is not supported in your browser
VIEW IN TELEGRAM
Умная колонка на стероидах, которую мы заслужили.

Китайцы сделали вот такую умную голову.

Кринж в том, что это просто говорящая голова, которая ставится на стол и общается с вами.
200(!) микровыражений лица, в каждом глазу по камере, обработка целиком на устройстве (не надо подключаться к облаку). От 10 до 18(!) кг (сама башка 3 кг).
И отсоединяемое лицо по частям! - можно менять скины.

В общем я не очень понимаю, чем это лучше, чем смартфон с голосовым режимом и аватаром. Меня от зловещей долины стошнит раньше, чем оно со мной заговорит.

Но.

Это же идеальный прототип секс-игрушек нового типа. До полноростовых робатов еще далеко и дорого. А тут немного модификаций и готово.

Они еще и поговорить с вами смогут.

@cgevent
😁82🔥15👎8😱31🙏1
Media is too big
VIEW IN TELEGRAM
#Нейропрожарка

“Перед рассветом”

Я режиссёр Антон Зимин сейчас работаю над полнометражным фильмом “Перед рассветом”, исторической драмой об этом святом - Сергии Радонежском.

Я родился в Сергиевом Посаде, и история о человеке, который пришёл в лес, создал обитель, вокруг которой вырос город, всегда меня завораживала. На самом деле Сергий сделал больше, он стал точкой, вокруг которой начал собираться народ.

Мой фильм о моменте в истории, когда люди перестают верить, что могут быть единым народом, и о человеке, который возвращает им эту веру.

В XIV веке на Руси уже не верили, что можно избавиться от монголо-татарского ига. Междоусобицы, эпидемии, поборы Орды, голод и лишения - из сознания людей начало исчезать само понятие единого русского народа. Это были тёмные времена - настоящая ночь Руси.
Именно Сергий Радонежский помог обрести эту веру. Благодаря своему жизненному пути и деяниям он стал самым почитаемым игуменом своего времени.
Его благословение Дмитрия на битву с Ордой сделало сопротивление общим делом всего народа.
После Куликовской битвы наши предки впервые поверили, что могут объединиться и противостоять общему врагу.
Так на горизонте русской истории загорелись первые предвестники рассвета.

Сейчас я развиваю проект и работаю над ним в формате AI-видео, это позволяет уже сейчас прорабатывать сцены, визуальный язык и ритм будущего фильма.

Проект находится в активной разработке и открыт для партнёрства, в том числе для привлечения инвестиций в полнометражную съёмочную версию.


Тизер сделан с помощью Nana Banan Pro и Kling 3.0. Мне удалось добиться высокой реалистичности игры актеров с помощью использования метода Станиславского в промптах.
Подробнее о методе Станиславского в ИИ-видео у меня в канале @aizproduction
Закадровый голос - пока здесь самое слабое место). Мне нужна была особая ритмика, поэтому я записал себя и изменил с помощью ИИ, но дефекты речи остались. Интонация получилась именно та, что мне нужна, но произношение пока грязновато.

@cgevent
👍104👎58🔥19🙏96