Оттестил новый мейджик экстендер в премьере, по итогу:

- Очень хорошо понимает динамику
- На вход строго 16:9 и 1080 либо 720 исходник, скейл и нэст не подойдёт, так что если исходник 4k придется пересчитать
- Качество (пока?) вообще никуда, только в мобилку на пол-секундочки

E2-F5: фреймворк для генерации речи по тексту (TTS) с клонированием голоса без трени.

Работать можно с двумя моделями на выбор. E2 это zero-shot TTS на основе flow-matching, которая, не смотря на то что в ней не используется дополнительных компонентов вроде преобразования графем в фонемы или сложных техник, показывает неплохие результаты по клону голоса. F5 является развитием идей E2, и использует метод Sway Sampling для более быстрых и разнообразных результатов.

На вход берётся 15 сек аудио. Если что оно автоматом обрубается, как и делается транскрибация речи в текст, но можно его и прописать вручную.

Обе работают шустро, и неплохо выхватывают тембр, но качество на выходе пожатое, и очень реченька спешит — нужны рульки направлять её в нужное русло по скорости, интонации, итд.

Вот как раз в онлайн демке и есть управление по скорости, и кажись качество выше. Думаю в Pinokio эти обновы заедут следом.

Чекпоинты работают только с инглишом и китайским.

Нужно 5-7 ГБ VRAM.

Демо
Установка через Pinokio

Huggingface заколлабились с Ollama и теперь можно любую языковую модель (LLM), у которой на хабе есть GGUF от квантизации, запустить прямо в командной строке вбив строчку формата:

ollama run hf.co/{username}/{repository}

Можно попробовать на чём-то из этого:

ollama run hf.co/bartowski/Llama-3.2-1B-Instruct-GGUF
ollama run hf.co/mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated-GGUF
ollama run hf.co/arcee-ai/SuperNova-Medius-GGUF
ollama run hf.co/bartowski/Humanish-LLama3-8B-Instruct-GGUF

На память команды знать не обязательно. Ловчей будет зайти в хабе на страницу интересующей модели, перейти в Quantizations, выбрать создателя кванта (ориентируйтесь по скачиваниям), нажать "скопировать" рядом с названием модели, а дальше в командной строке вбить ollama run hf.co/ и вставить скопированное. Если нужна конкретная квантизация, например Q4_0, то она дописывается в конце рез двоеточие. LLM скачается и с ней можно будет общаться.

Также может понадобиться Ollama добавить в PATH, чтобы оно могло запускаться из любого места в командной строке. Для этого найдите куда приложение установлено (например нажав на иконке и открыв "расположение файла"). Это что-то вроде: C:\Users\PsyEyes\AppData\Local\Programs\Ollama. И в переменных среды найдите строчку Path » изменить » создайте новую строку и впишите в неё адрес.

Сегодня в заголовках Nvidia с их тюном ламы, красиво светящимся на бенчах против последних моделей Claude и OpenAI. Просто GGUF весит 48 гб. Чтобы подрубить пожатый 1-битный и, возможно, нерепрезентативный квант, весящий 16 гигов и занимающий 20 ГБ VRAM, надо вбить:

ollama run hf.co/bartowski/Llama-3.1-Nemotron-70B-Instruct-HF-GGUF:IQ1_M

Хотя мне конечно через командную строку общаться не близко. Нужен UI, чтоб можно было и чаты разные вести, и файлики свои подгружать, итд. Будет ништяк, если это подрубят в OpenWebUI с Artifacts, а то там сейчас список поддерживаемых моделей ограничен.

Анонс
Список LLM на хаггинге

Итак, про Пирамиду.

Самая интересная модель (на мой вкус) из всех опенсорсных генераторов (CogVideo, Open Sora).

У нее там текстовый энкодер конских размеров, как у Флюкса (T5 от Гугла). Должна хорошо понимать промпт.

Но обучение проводилось на столь ничтожно маленьком датасете, что модель просто не вывозит все это понимание.

Я спросил, как обучали, на каких промптах: шаманских от SD1.5 или более натуральные описания, как у Флюкса и SD3.

I suppose short natural text is more suitable. This is due to (1) we use T5 text encoder as in SD3 and FLUX so it supports natural text well. (2) during recaptioning, we set our recaptioner (Video-LLaMA2) to produce short natural caption without tags.

Из интересного, обучали на синтетике из Мидджорни, поэтому возможно все эти wow artstation и redshift до сих пор работают:
That being said, since we used some image dataset where the caption may not look like natural text (e.g. MidJourney synthetic dataset), our model may work better with proper tags. I am not a prompting expert and haven't tested the effect of those tags.

Далее, если поковыряться в коде, то есть и негативный промпт и еще интересные настройки.
Но разработчики пишут, что
Yes, we find that the negative prompt is helpful for both visual quality and temporal stability. We do not yet know the mechanism, as the captions we used did not include these prompts. We will investigate this in the new model training process.

Тут закрадывается грустная мысль, что сидят очень смышленые парни (часть из Клинга), пишут очень смышленые алгоритмы, но у них нет ни комппьюта, ни датасетов, ни опыта обучения на конских размерах данных. Все немного на коленке. И вот эта вот недомасштабируемость (по железу, данным, людям и опыту) тут же дает о себе знать.

The image generation capability of this model is from 100m+ images (and 10m video initial frames), with some knowledge inherited from SD3. The training dataset is very small.

Это слезы, как вы понимаете.

При этом эти гении смогли распараллелить генерацию! Я погонял на серваке из 8xA100. Нелинейно, но ощутимо. 10 секунд генерятся 15, 11, 6 минут на 1, 2, 4 GPU. На 8ми - 7 секунд, там код недописан еще.

Я также погонял Пирамиду в режиме fp32 (по умолчанию bf16), качество стало лучше (на глаз), но в целом расколбас такой же. Но считает в 2.5 медленнее и ждет 70 гиг VRAM.

Очень хорошая новость в том, что они тренируют новую модель. С нуля. Фиксят родовые проблемы SD3 с анатомией.

Ждем, надеемся.

А пока в Креа добавили еще и Пику. И Firefly 4 уже на похоже, есть уже примеры.

@cgevent