ThinkSound

Модель от Tongyi Lab (авторов InspireMusic и много чего еще) создаёт реалистичный звук для видео. Архитектура - цепочка рассуждений (#CoT). Необычно для генерилки звука, да? Скоро достижения языковых моделей будут везде, к этому все идет.

Модель сначала генерирует общий звуковой фон, затем улучшает качество звука конкретных объектов на экране и, наконец, редактирует всё это по текстовым указаниям пользователя

Код
Демо

Спасибо @p0lygon

#Video2sfx #foley #sfx #audioediting #video2audio #text2sfx

Агент flowith NEO открыли для всех.

Причем в природе существуют некие инвайт-коды, по которым можно получить 3000 кредитов. Но их быстро разбирают. Я повбивал с десяток найденных и все уже протухшие, дальше надоело.

Для входа мне понадобился ВПН

#agent

[UPDATE 2] еще инвайты от @quatt1

YC53EVB3
PNT4CF20
I39YSNGB
G08UPCOG
H4XCX4RX

Налетай, инвайты для Flowith (одноразовые, кто успел того и тапки). Действуют только для новых аккаунтов.
Благодарности отправляйте @LarisaDi

7ZY424V3
C6HU1XOI
EWF847Q1
RKD5WW9P
7L99LZER

Ну и от меня немножк

S0IQLH34
V2E90VRX
58U1SRMH
JZXHMYCT
CO49YVQX
QVDVRU4A

[update] еще от @BrianMItro

NO2DOG8T
CNT0R7Y2
LO35QRSF
LS94R37H
AOL73YNE
S2S8HUA5
U2FH6SQ5

#giveaway #agent

Kwai Keye-VL

Модель хорошо понимает короткие видео. Keye-VL имеет 8 миллиардов параметров и умеет обрабатывать информацию из видео и текста

Код
Демо
Веса

#vlm #video2text

Higgsfield Soul Inpaint

Хиггсфилд жжет. Прикрутили к картинкогенератору Soul инпейнт

#inpainting

Depth Anything At Any Condition (DepthAnything-AC)

Генератор глубины изображения. Работает в различных условиях, включая изменения освещения, снег-дождь. Успешно справляется когда есть искажения, вызванные сенсорами.

Представляет собой зафантюненный DepthAnything-V2

Код
Демо
Веса

#video2depth #depth #image2depth

FreeMorph: Tuning-Free Generalized Image Morphing with Diffusion Model

Морфинг (плавное перетекание) одного заданного кадра в другой за 30 секунд. Полагаю, можно использовать как интерполятор кадров

В 10X ~ 50X быстрее существующих методов, #SOTA в морфинге

Код

#frameinterpolation #morphing

Kyutai TTS

Генератор речи в реальном времени. Выдает аудиопоток начиная с первых текстовых токенов, без необходимости знать весь текст заранее.

Клонирует голоса на основе 10-секундного аудиообразца. Эта функция сейчас недоступна

Предоставляет таймкоды для каждого генерируемого слова. Это позволяет использовать модель для создания субтитров в реальном времени

Но на данный момент знает только английский и французский языки

Код
Веса
Колаб

#tts #text2speech #voicecloning #realtime

GaVS: 3D-Grounded Video Stabilization via Temporally-Consistent Local Reconstruction and Rendering

Стабилизация трясущихся видео за счет 3D-реконструкции на гауссианах

Код

#stabilize #gaussian

LongAnimation: Long Animation Generation with Dynamic Global-Local Memory

Создание длинных анимационных видео с согласованным цветом на протяжении всего ролика. Модель умеет автоматически раскрашивать анимации, поддерживая единый стиль и цвет, что важно для анимации.

Менять цвет одежды персонажей можно просто изменив цвет в исходном изображении.

Под капотом CogVideoX-1.5 I2V и пониматор видео Video-XL

Код

#colorize #sketch2animation #image2video #image2animation

ИИ Ретоп! Наконец то!

Хуньяньский бахнул новый 3д-генератор.

Его зовут Hunyuan3D-PolyGen.

Это точно не оперсорсная версия 2.1, и скорее всего апгрейд версии 2.5(которая без кода).

Судя по видео, Ретоп выглядит достаточно убойно, но я бы не доверял видосам.

Пишут, что сделали свою авторегрессионную модель для ретопа и теперь хошь в игры, хошь в кино.

Ибо теперь также 10 000+ полигонов на модель и повышенная точность генерации.

Умеет выводить в квады - такое мы любим.

Го тестировать:

https://3d.hunyuan.tencent.com/

@cgevent

Ловите демоспейс смены освещения

Демо

#relighting #lora #kontext

UniRelight: Learning Joint Decomposition and Synthesis for Video Relighting

Релайтинг от Nvidia.
Помимо прочего умеет учитывать прозрачность объектов.

Код ждем

#relighting #research

Trae Agent

Агент-программист от ByteDance на Claude и Gemini на стадии альфы

Показал высокие результаты на тесте SWE-bench Verified

Обещают добавить поддержку других LLM и MCP

#agent #coding

Fellou: The World's First Agentic Browser

"Первый в мире" агентный браузер.

Ну да, можно писать "первый в мире", пока опера дуплится, но тут тоже вход по вейтлисту.

#agent #browser #tools

Orchids

Сервис для создания приложений и веб-сайтов с помощью чата с ИИ. Обещают что результаты не выглядит «сгенерированными ИИ», превосходство над аналогами втрое, блаблабла. И этот тоже "первый в мире"

На бесплатном тарифе 5 запросов в месяц, деплой одного сайта.

#online #text2site #text2app

LangScene-X

Создает из набора изображений (от двух, но лучше больше) согласованное видео с учетом 3D, а также трёхмерную сцену, карту сегментации и нормали поверхности

В основе - CogVideoX, а также SAM2 и гауссианы

Код

#image2scene #imageto3d #image2normal #image2mask #image2video #gaussian