📽 VideoCrafter2: Overcoming Data Limitations for High-Quality Video Diffusion Models 🔥 Text2Video 📹 Image2Video 🎥 Jupyter Notebook 🥳

VideoCrafter 2 - это обновленный набор инструментов с открытым исходным кодом для создания и редактирования видео высокого качества.
В настоящее время он включает модели Text2Video и Image2Video.

🖥 Code: https://github.com/AILab-CVC/VideoCrafter

🚀 Project: https://ailab-cvc.github.io/videocrafter2/

📚 Paper: https://arxiv.org/abs/2401.09047

🦉 Jupyter: https://github.com/camenduru/VideoCrafter-colab

@ai_machinelearning_big_data

⭐️ GALA: Generating Animatable Layered Assets
from a Single Scan

Новый ИИ, который может раздевать 3D модели людей.

GALA может обработать однослойную сетку одетого 3D-человека и разложить ее на полноценные многослойные 3D-объекты.

Полученные результаты могут быть объединены с другими объектов для создания новых одетых человеческих аватаров с любой позой.

🖥 Code: https://github.com/snuvclab/GALA

🚀 Project: snuvclab.github.io/gala

📚 Paper: https://arxiv.org/abs/2401.12979

@ai_machinelearning_big_data

⚡️ DiffSynth Studio

Diffutoon - это новая модель диффузии для преобразования видео в анимационный стиль. Работает с высоким разрешением и быстрыми движениями.

🖥 Code: https://github.com/Artiprocher/DiffSynth-Studio

🚀 Project: https://ecnu-cilab.github.io/DiffutoonProjectPage/

📚 Paper: https://arxiv.org/pdf/2401.16224.pdf

@ai_machinelearning_big_data

📷 InstructIR: High-Quality Image Restoration Following Human Instructions

InstructIR принимает на вход изображение и инструкцию по его улучшению. Нейронная сеть выполняет комплексное восстановление и улучшение изображения.

InstructIR достигает передовых результатов в нескольких задачах реставрации, включая обесцвечивание, размытие и улучшение изображения (даже при слабом освещении).

🖥 Code: https://github.com/mv-lab/InstructIR

🚀 Project: mv-lab.github.io/InstructIR/

🎮 Colab: https://colab.research.google.com/drive/1OrTvS-i6uLM2Y8kIkq8ZZRwEQxQFchfq

📚 Paper: https://arxiv.org/abs/2401.16468

@ai_machinelearning_big_data

⚡️ MoE-LLaVA: Mixture of Experts for Large Vision-Language Models

Новая стратегия обучения MoE-tuning для LVLM, которая позволяет построить модель с огромным количеством параметров, которая эффективно решает проблему снижения производительности, обычно связанную с мультимодальным обучением и разреженностью модели.

Этот фреймворк уникальным образом активирует только топ-к экспертов через маршрутизаторы во время развертывания, оставляя остальных экспертов неактивными.

Обширные эксперименты подчеркивают возможности MoE-LLaVA в визуальном понимании и ее потенциал для уменьшения галлюцинаций в результатах моделирования.

Примечательно, что при наличии всего 3 миллиардов редко активируемых параметров MoE-LLaVA демонстрирует производительность, сравнимую с LLaVA-1.5-7B на различных наборах данных для визуального понимания, и даже превосходит LLaVA-1.5-13B в тестах на галлюцинации объектов.

🖥 Code: https://github.com/PKU-YuanGroup/MoE-LLaVA

🚀 Jupyter: https://github.com/camenduru/MoE-LLaVA-jupyter

📚 Paper: https://arxiv.org/abs/2401.15947

@ai_machinelearning_big_data

⚡️ MotionDirector: Motion Customization of Text-to-Video Diffusion Models

MotionDirector модель генерации текста в видео, для создания видео в движении по указанным инструкциям.

🖥 Github: https://github.com/showlab/MotionDirector

📕 Paper: https://arxiv.org/abs/2310.08465

⭐️ Project: showlab.github.io/MotionDirector/

ai_machinelearning_big_data

☑️ cmaes : A Simple yet Practical Python Library for CMA-ES

Простая и практичная библиотека на Python для CMA-ES.

Стратегия эволюции адаптации ковариационной матрицы (CMA-ES) - это особый вид стратегии для численной оптимизации .

Стратегии развития (ES) - это стохастические , методы без производных для числовой оптимизации не- линейной или не выпуклые задачи непрерывной оптимизации .

Они принадлежат к классу эволюционных алгоритмов и эволюционных вычислений . эволюционный алгоритм в целом основан на принципе биологической эволюции , а именно на повторяющемся взаимодействии вариаций (посредством рекомбинации и мутации) и отбора: в каждом поколении (итерации) новые особи (кандидаты решения, обозначенные как ), генерируются путем изменения, обычно стохастическим образом, текущих родительских особей.

$ pip install cmaes

import numpy as np
from cmaes import CMA

def quadratic(x1, x2):
return (x1 - 3) ** 2 + (10 * (x2 + 2)) ** 2

if __name__ == "__main__":
optimizer = CMA(mean=np.zeros(2), sigma=1.3)

for generation in range(50):
solutions = []
for _ in range(optimizer.population_size):
x = optimizer.ask()
value = quadratic(x[0], x[1])
solutions.append((x, value))
print(f"#{generation} {value} (x1={x[0]}, x2 = {x[1]})")
optimizer.tell(solutions)

🖥 Github: https://github.com/CyberAgentAILab/cmaes

📕 Paper: https://arxiv.org/abs/2402.01373v1

ai_machinelearning_big_data

⭐️ YOLO-World Real-Time Open-Vocabulary Object Detection

Обнаружение объектов в режиме реального времени БЕЗ ОБУЧЕНИЯ.

YOLO-World - это новая SOTA, которая превосходит предыдущие модели как по точности обнаружения, так и по скорости. 35,4 AP при 52,0 FPS на V100.

Все, что вам нужно, это изображение + промпт (список категорий, которые вы хотите обнаружить).

🖥 Github: https://github.com/AILab-CVC/YOLO-World

📚 Paper: https://arxiv.org/abs/2401.17270

⚡️Demo: https://www.yoloworld.cc

🤗Hf: https://huggingface.co/spaces/stevengrove/YOLO-World

ai_machinelearning_big_data