Видеогенератор Vchitect2.0 доступный бесплатно на сайте и в опенсорс

Не могла обойти вниманием Vchitect2.0, так как редко встретишь видеогенератор с открытым кодом более менее приличного качества.

Vchitect2.0 разработан Шанхайской лабораторией искусственного интеллекта. Можно установить бесплатно с 📱 GitHub, можно воспользоваться на сайте. У них так же есть свой VEnhancer - улучшатель качества видео, который можно установить с 📱 GitHub. Сразу скажу, можно использовать бесплатно и на сайте, но резоннее скачать на компьютер.

С примерами работ можете ознакомиться на сайте Vchitect2.0, тем не менее, некоторые из них я представила в первом видео, чтоб вы сразу не пугались моих результатов, которые представлены вторым и третьим видео 😎

В видеогенераторе есть 🌸 режима - Text-to-Video и Image-to-Video

🌸 Text-to-Video доступен бесплатно на HuggingFace
🟡 На сайте - продолжительность ролика будет 2 секунды. Можно создать один ролик, затем нужно создать бесплатный аккаунт - этого момента не поняла, так как уже была зарегистрирована. Так что проще все-таки установить на комп. В итоге у меня получился 2-секундный ролик (второе видео) по промту: A racing car is racing on the surface of the moon against a space backdrop, with tilt-shift zoom effect
🟣 На компе - создание видеоролика продолжительностью от 5 до 20 секунд

🌸 Image-to-Video доступен на сайте Magic Animation
🟡 На сайте - генерирует Видео длительностью до 4 секунд, не дает загружать знаменитостей - кадр из мультика Симпсоны наотрез отказалась обрабатывать.
🟣 На компе - превращает статичные изображения в 5-10-секундные видеоролики

🌸 Мой совет:
Английский язык сервис все-таки не очень понимает и часто делает не то, так что промпт лучше писать на китайском (упрощенном). Из-за временных ограничений и цензуры, конечно лучше установить локально. Качество может быть и не такое крутое как у платных генераторов, зато бесплатно и опенсорсно. Вообще, посмотрев примеры на сайте, пришла к выводу, что идеально подойдет для анимаций, не для кинематографического и реалистичного видео, по крайней мере, генерируя на сайте.

НейроProfit

#видеогенераторы #нейросеть #видео #нейросетьдлявидео #vchitect2 #видеогенератор #imagetovideo #image2video #texttovideo #text2video

Инструменты для расширения границ изображения. Сравнение Freepik Expand и Diffusers Image Outpaint

Недолго я радовалась бесплатному инструменту Freepik Expand для расширения границ изображения и фото. Это была неплохая замена Generative Fill от 🎨 Photoshop, можно было бесплатно изменять масштаб и и заполнять изображения с помощью ИИ.

Но инструмент стал условно-бесплатный: Бесплатно можно использовать 3 раза в день, а затем платить 16 евро в месяц за тариф Premium. Поэтому речь пойдет о замене - Diffusers Image Outpaint. Но не спешите списывать со счетов Freepik Expand - не все так однозначно оказалось 😉

🌸 Diffusers Image Outpaint
Diffusers Image Outpaint — инструмент, который дорисует недостающие области изображения, расширив его по вертикали или по горизонтали.
Работает просто - Загружаем картинку, выбираем нужное соотношение сторон и жмем Generate. Я выбрала 9:16 и написала промпт "champagne bucket”.

Что крутого 🔡
🔴 Можно по желанию писать промпт или нет
🟡 Можно настроить свой размер
🟣 Хорошо работает с фото
🔴 Не нужно регистрироваться и авторизовываться
🟡 Полностью бесплатный

Недостатки

🟣 дается только 1 вариант изображения и скачивается в webp. Поэтому инструмент хорош, если установить его локально, в демоверсии на HuggingFace функционал урезан
🔴 Нельзя перетащить изображение в центр/ влево/ вправо

А теперь рассмотрим Freepik Expand и сравним

🌸 Freepik Expand

Во Freepik Expand при использовании 1 кредита - дается 16 вариаций изображений, из них выбрать можно. Чем дальше листаешь, тем результат лучше предыдущего. При этом используется 1 кредит из 3-х бесплатных. После того, как выберите понравившийся вариант, его можно будет отредактировать дальше: обрезать, удалить задний фон, приблизить/ отдалить.

Что еще крутого 🔡

🔴 Что мне еще понравилось, можно выбрать размер конечного изображения из одиннадцати популярных размеров или настроить по своим меркам. И так же перетащить изображение в центр/ влево/ вправо

🟡 Когда нажимаешь Export, помимо стандартного сохранить появляются опции “Использовать в дизайне”, “Использовать в скетче” и “Использовать в мокапе” - открываются отдельные страницы, где по своему вкусу можно сделать готовые дизайны. Я выбрала опцию “Использовать в мокапе” и выбрала дизайн. Дальше сервис все сам без меня сделал, можно настроить, в каком качестве скачать png, я настроила бегунок на максимум и получила 19Mb на выходе бесплатно - результат прикрепляю. Очень крутые инструменты, мне понравились.

🟣 Возвращаясь к скачиванию изображения, во Freepik Expand - без проблем бесплатно скачала изображение png 1170х2048 px.
Можно по желанию писать промпт или нет
🔴 Хорошо работает с фото

Недостатки:
🔡 надо регистрироваться или авторизовываться через 📱Гугл

Конечно мне Freepik Expand больше понравился, по крайней мере, если сравнивать версии на сайте. Но и бесплатный Diffusers Image Outpaint меня тоже приятно удивил, хорошо и быстро работает с фото.

НейроProfit

#изображения #фото #сравнение #expand #freepik #freetool #бесплатно #generativefill #обзор

📱 Meta* выпустила Llama 3.2. Какие модели Llama 3.2. и 3.1 для чего нужны.

Я рассказывала про нейросеть Llama 3. Ниже расскажу про новую Llama 3.2 и Llama 3.1, которая так же актуальна.

Новая Ⓜ️ Llama 3.2. стала мультимодальной, теперь она способна обрабатывать текст, изображения, причем, находить на них объекты по описанию, так же умеет читать графики и диаграммы.

Можно использовать на сайте, попробовать на HuggingFace, а можно установить локально с сайта. Доступны для скачивания как новые модели с открытым исходным кодом 1B, 3B, 11B или 90B, так и Ⓜ️ Llama 3.1.

Модели с открытым исходным кодом можно дорабатывать, настраивать и внедрять где угодно. К тому же, кто хочет сэкономить на подписке 🤖 ChatGPT - самое оно, либо скачать на комп, заполнив небольшую анкету, либо использовать на сайте с хорошим впн, и без открытых русских вкладок, еще почистить кэш - в общем, мороки много. Но зато есть мультимодальная модель бесплатно.

Для чего подойдет каждая модель объясню ниже 👇

Какие новые модели Llama есть (их можно скачать) и для чего подходит каждая🔡

🌸 Легкие и экономичные модели Llama 3.2 1B и 3B - можно использовать где угодно на мобильных устройствах и периферийных устройствах.
🔴 1B лучше подходит для менее сложных задач, где высокая точность не так важна. Она быстрее, но не сможет обрабатывать такие сложные данные или генерировать настолько глубокие ответы, как более крупные модели.
🟡 3B даст более точные и детализированные ответы, чем 1B, благодаря большему количеству параметров и лучшим способностям к обобщению и анализу данных.

🌸 Мультимодальные модели - Llama 3.2 11B и 90B
Гибкие модели, могут рассуждать на основе изображений высокого разрешения и выводить текст.
🔴 11B способна генерировать хорошие ответы для большинства задач, но она может уступать по точности и глубине анализа более крупным моделям. Может использоваться для различных задач, включая обработку естественного языка, генерацию текстов, анализ данных, но с некоторыми ограничениями в сложности.
🟡 90B предоставляет более точные, контекстно богатые и сложные ответы, что делает её более подходящей для задач, требующих детального анализа или сложных логических выводов. Идеально подходит для задач, где важна высокая точность и сложность ответов, а также в сценариях, требующих обработки большого контекста или большого объема данных.

🌸 Llama 3.1 Флагманская модель Foundation 405B, 70B и 8B
🔴 405B — для сложных вычислений или глубокого анализа, будет давать наиболее сложные и точные ответы
🟡 70B — хороший баланс между производительностью и ресурсами, подходит для большинства задач.
🟣 8B — для лёгких задач или при ограниченных ресурсах, будет проще и быстрее, но с меньшей глубиной анализа и понимания информации.

Зачем нужна Llama 3.1 405B 🔡
🔴 405B — это модель с 405 миллиардами параметров. Это самая большая и мощная версия среди этих трёх моделей. Она требует больше вычислительных ресурсов для работы, но также может обеспечивать более точные и сложные ответы. Модель обходит по многим параметрам ChatGPT-4o и Claude 3.5.

Новая модель Ⓜ️ Llama 3.2 — не доступна в EC. Хитрости, как обойти блокировки, оплатить сервисы без посредников, и как использовать нейросети бесплатно в Закрытом сообществе НейроУчеба - где мы учимся использовать нейросети.

*компания Meta признана экстремистской и запрещена в РФ

НейроProfit | Закрытый клуб

#llm #llama #llama3

Новые сервисы для работы с видео - Subtitles от Fframes для создания субтитров и MyLens для извлечения ключевых моментов

Наткнулась на 🌸 сервиса для работы с видео, а именно для пересказа видео - подведения ключевых итогов и транскрипции видео / создание субтитров в MyLens. Очень удобно, когда не хочешь смотреть видео целиком. Начнем с создания субтитров в Subtitles.

🌸 subtitles by fframes - нейросеть генерирует субтитры к любому видео за пару секунд. Чтобы вы оценили скорость действия, я не стала редактировать запись экрана, а оставила все как есть - работает реактивно 🚀

Подойдет для тех, кто не смог скачать 📱 CapCut - там функция Auto Captions тоже представлена. Качество распознавания русского языка иной раз лучше у CapCut. С другой стороны, Subtitles by fframes тоже бесплатный и в браузере 🌸
Работает легко - сразу на сайте бесплатно и без регистрации вставляете видео, и почти сразу открывается видеоредактор с уже встроенными субтитрами, которые можно изменить.

Что крутого 🔡
🔴 Бесплатный и без регистрации
🟡 Отлично распознает английские слова в русской речи и пишет их на английском
🟣 Поддерживает русский и десятки других языков.
🔴 Сами субтитры можно настраивать - менять расположение и вид, таймкоды, редактировать саму транскрипцию.

🌟 Кому нужна просто транскрипция видео, советую обратить внимание на Yescribe.ai и Whisper word level timestamps

🌸 Пересказ YouTube видео с MyLens

Прошлый сервис был хорош, а вот функция пересказа видео с 📱 YouTube в MyLens излишне распиаренная. Работает только с теми видео, где уже есть транскрипция. Если ее нет, пишет, что ссылка на YouTube недоступна или отсутствует транскрипция. От языка видео это не зависит. Дается 3 видео в день. Так что не теряйте время. Проверенные сервисы в Закрытом клубе

НейроProfit | Закрытый клуб

#youtube #mylens #субтитры #free #бесплатно #нейросеть #транскрипция #саммари #инсайты #видео

🆕 Обновления видеогенератора KLING - синхронизации губ и API. Как сделать липсинк в KLING. Советы по взаимодействию и ограничения

Kling - китайский аналог 📱 Sora. Однако сейчас заметна тенденция перещеголять Runway. Сами посудите:

🔴 Как и Runway GEN-2 встроили инструмент Motion Brush для движения отдельных объектов в свою модель KLING 1.0. В KLING 1.5. пока такой функции нет, как и в новом GEN-3.

🟡 KLING так же как и Runway сделали доступным API.

🟣 Скоро в KLING добавят ИИ редактор видео, и будет вообще китайский конкурент Runway. Итак, остановимся на обновлениях.

1️⃣ Новые обновления Kling:

Новая функция синхронизации губ
Встроенная функция синхронизации губ создает невероятно естественный эффект при загрузке закадрового голоса или песен, создавая впечатление, что персонаж действительно говорит или поет.

Как работает липсинк в Kling 🔡

🌸 Генерируете видео в Kling или можно использовать ранее сгенерированное видео в Своем профиле (а то я до сих пор жду, когда мое видео обработается) 

🌸 Выбираете видео и под ним нажимаете кнопку «Match Mouth Type»

🌸 Загружаете аудио - можно песню и Kling AI подгонит движение губ.

🌸

Советы по взаимодействию и ограничения

:

🔴

Работает в версиях

Kling 1.0

и

Kling 1.5

🟡

Подходит для говорящих персонажей и для песен

🟣

Не работает липсинк понятное дело там, где нет лица, например

Дарт Вейдер

, или на животных. Еще если отсутствует постоянно видимое лицо, или лицо часто уходит с экрана.

Однозначно классно, что теперь на одной платформе можно сгенерить видео хорошего качества и там же озвучить его

🆒 Новый раздел «Сообщество

На официальном сайте появился новый раздел «Сообщество». Там можно делиться своими творениями, и одна работа может принести до 666 бесплатных кредитов.

3️⃣ API сервисы доступны всем пользователям

Вслед за Luma и Runway, API KLING теперь доступен без списка ожидания! Через API теперь можно получить доступ к генерации видео, изображений, и виртуальной примерочной Virtual Try-on.

Я решила сгенерировать видео в бесплатной версии KLING 1.0, но, к сожалению, мой ролик до сих пор обрабатывается (видно на скрине), а видео, что у меня были, не подходят для липсинка - лицо постоянно двигается

🔄 UPD: Пока у меня был баг с Телеграмом, и ничего не грузилось, прошло 1,5 часа, изменений никаких. Поэтому любителям бесплатных тарифов, как я, придется запастись терпением. Или посмотреть примеры и подробнее ознакомиться с обновлениями можете здесь. А свой результат, я надеюсь, дождусь и поделюсь им позже.

НейроProfit

#видеогенераторы #нейросеть #видео #нейросетьдлявидео #kling #runway #видеогенератор #luma #motionbrush #runway #обзор