Давно не заглядывали в Morphic?

А у них теперь есть генерация видео по аннотациям на картинке

#annotate2video #image2video #sketch2video

#humor

Чуть не забыл про мемы а вы и не напомнили

Мы можем стать последним поколением которое видело небо без рекламы

#news #оффтоп

Кожаные пытаются заставить робота перестать танцевать нижний брейк потому что он слишком невыносимо хорош

#humor #robot

И напоследок

#humor

Recraft Chat Mode

Recraft запустил бета-тестирование создания и редактирования картинок в чате.
У Reve есть, у Krea есть, значит у рекрафта тоже должно быть. скоро будет везде.

Записаться в вейтлист

#imageediting

Vivid-VR: Distilling Concepts from Text-to-Video Diffusion Transformer for Photorealistic Video Restoration

Реставратор видео от Alibaba - Taobao, улучшает качество видео, сохраняя реалистичность текстур и временную согласованность

Для согласованности и контроля используют контролнет

Базовая модель CogVideoX1.5-5B

Для реставрации 121 кадра видео требуется примерно 43 ГБ VRAM
Если хотите уменьшить использование VRAM, замените "pipe.enable_model_cpu_offload" на "pipe.enable_sequential_cpu_offload" в ./VRDiT/inference.py - потребление сокращается до 25 ГБ за счет скорости

Код

Спасибо @m_franz

#videorestoration #video2video #upscale

MVSEP

Сервис для разделения музыки на стемы

Разделяет на вокал, бас, ударные, гитару, фортепиано и остальное - 6 стемов.
Недавно добавили в парк моделей BS-RoFormer, модели уже 2 года, но недавно была обновка. А вообще ее спонсировали Stability AI и HuggingFace, и на изоляции вокала там #SOTA (не знаю удержалил ли трон к настоящему времени)

Есть бесплатный тариф

#audioseparation #demix #unmix

MiMo-Audio

Универсальная генеративная аудио-языковая модель, которая работает с текстовыми и аудиоданными.

Бьет Gemini-2.5-Flash на понимании аудио
Бьет GPT-4o-Audio на комплексном рассуждении

Всего 7B параметров, опенсорс

— понимает аудио и рассуждает

— ведёт диалоги и распознаёт эмоции

— описывает аудиоконтент

— работает с разными языками и диалектами - упоминается английский, есть пирмер приветствия на трех языках. Вангую что с русским у него пока неважно.

— продолжает речь в разных стилях

— обучается на основе инструкций

Гитхаб
HF - есть MiMo-Audio-Tokenizer, MiMo-Audio-7B-Base и MiMo-Audio-7B-Instruct
Демо - сейчас какие-то проблемы с соединением

#audio #audio2audio #reasoning #assistant #voicemode #speech2peech #audio2text #captioning

QuantStack Wan2.2-Animate-14B-GGUF

Полный зоопарк ггуфов Wan2_2_Animate
————————————————

Wan2_2_Animate_14B_Q4_K_M.gguf

У Kijai добавился GGUF Q4 Wan2_2_Animate ~12.6 ГБ

#image2video #video2video #characteranimation #chracterswap #faceswap #gguf

ViewComfy

Cервис для запуска и развёртывания воркфлоу ComfyUI в облаке в виде веб-приложений и бессерверных API. Как я понял, выбираем воркфлоу, жмем кнопку - он устанавливается на сервер без необходимости предварительной настройки комфи

Блог
Гитхаб

#comfyui #tools #online

ComfyAudio: ComfyUI for Audio

Форк #ComfyUI для работы со звуком

Не совсем понимаю зачем, не пробовал работать со звуком в комфи, там же есть ноды для звука

#audio

AIO Mega v3

Обновился мердж все-в-одном WAN2.2-14B-Rapid-AllInOne

На сей раз в базе взят SkyReels 2.133%
И сверху WAN 2.2 66%

Подробнее на реддите

HF ~24 ГБ
GGUF

#text2video #image2video #controlnet #gguf #wan22

SpatialGen: Layout-guided 3D Indoor Scene Generation

По семантическому 3D-макету SpatialGen создает фотореалистичную 3D-сцену в помещении на основе текстовой или графической подсказки. Под капотом Flux с контролнетомй и гауссианы

Код

#gaussian #textto3d #text2scene #mask2scene

Test3R: Learning to Reconstruct 3D at Test Time

Реконструкция 3D сцен и предсказание глубины по нескольким ракурсам. Сравнивают себя с DUSt3R

Test Time - модель «учится» и настраивается на лету, в режиме обработки данных, а не только во время предварительного обучения. В прошлом году была статья по Test Time Training и такой подход использовала NVIDIA в video-dit. Когда-то давно, до хайпа нейросетей я думал что все нейросетки так работают. Неа

Код

#scenereconstruction #novelview #imageto3d #image2scene #video2scene #videoto3d #ttt