🤳 Vlogger - система искусственного интеллекта для генерации коротких влогов из текста.

В отличие от коротких видеороликов длительностью в несколько секунд, влог часто содержит сложную сюжетную линию с разнообразными сценами, что является сложной задачей для большинства существующих подходов к созданию видео.

Vlogger может генерировать видео на несколько минут из текста по сценарию без потери связности.

🖥 Code: https://github.com/zhuangshaobin/vlogger

🚀 Colab: github.com/camenduru/Moore-AnimateAnyone-colab

📚 Paper: https://arxiv.org/abs/2401.09414v1

🌟 Dataset: https://paperswithcode.com/dataset/ucf101

@ai_machinelearning_big_data

🖥 Intel® Extension for Transformers

Инновационный набор инструментов на основе трансформеров для ускорения GenAI/LLM.

pip install intel-extension-for-transformers

#intelai #intelgpu

🖥 Code: https://github.com/intel/intel-extension-for-transformers

🚀 Docs: https://intel.github.io/intel-extension-for-transformers/latest/docs/Welcome.html

🌟 Dataset: https://huggingface.co/datasets/Intel/orca_dpo_pairs

🚀Release notes: https://github.com/intel/intel-extension-for-transformers/releases/tag/v1.3.1

@ai_machinelearning_big_data

🔮 Awesome AI Agents

Новый 🌟Кураторский списко AI-агентов🌟!.

▪ 150+ ИИ-агентов и фреймворков.
▪ Фильтр по сценариям использования.
▪ Фильтр по открытому/закрытому исходному коду.
▪ Фильтр новых продуктов ИИ
▪ Возможность получать обновления о конкретном агенте ИИ.

🖥 Github
🎮 Project

@ai_machinelearning_big_data

☑ Prompt Engineering with Llama 2— an interactive guide

Большой интерактивный гайд промпт-инжиниринг с Llama 2" - руководство по проектированию промптов с лучшими практиками для разработчиков, исследователей и энтузиастов, работающих с большими языковыми моделями.

https://github.com/facebookresearch/llama-recipes/blob/main/examples/Prompt_Engineering_with_Llama_2.ipynb

@ai_machinelearning_big_data

🖥 Depth Anything is now available

Monocular depth estimation is the task of estimating the depth value (distance relative to the camera) of each pixel given a single (monocular) RGB image.

Монокулярная оценка глубины - это задача определения значения глубины (расстояния относительно камеры) каждого пикселя по одному (монокулярному) RGB-изображению.

Depth Anything - это новая интересная модель от Университета Гонконга/TikTok, которая берет существующую архитектуру нейронной сети для монокулярной оценки глубины (а именно модель DPT с основой DINOv2) и увеличивает набор данных для обучения на ней.

Авторы разработтали "движок данных" для сбора и автоматического аннотирования масштабных немаркированных данных (~62 миллиона изображений), что значительно расширяет охват данных и позволяет снизить ошибку обобщения.

🖥 Code: https://github.com/NielsRogge/Transformers-Tutorials/blob/master/Depth%20Anything/Predicting_depth_in_an_image_with_Depth_Anything.ipynb

🚀 HF: https://huggingface.co/docs/transformers/v4.28.0/tasks/monocular_depth_estimation

📚 Paper: https://huggingface.co/papers/2401.10891

@ai_machinelearning_big_data

⭐️ ComfyUI-3D-Pack

Модель, генерации 3D-объектов с помощью передовых алгоритмов (3DGS, NeRF, Differentiable Rendering, SDS/VSD Optimization, и др).

▪ComfyUI-3D-Pack: https://github.com/MrForExample/ComfyUI-3D-Pack

▪TGS: https://github.com/VAST-AI-Research/TriplaneGaussian

@ai_machinelearning_big_data

📽 VideoCrafter2: Overcoming Data Limitations for High-Quality Video Diffusion Models 🔥 Text2Video 📹 Image2Video 🎥 Jupyter Notebook 🥳

VideoCrafter 2 - это обновленный набор инструментов с открытым исходным кодом для создания и редактирования видео высокого качества.
В настоящее время он включает модели Text2Video и Image2Video.

🖥 Code: https://github.com/AILab-CVC/VideoCrafter

🚀 Project: https://ailab-cvc.github.io/videocrafter2/

📚 Paper: https://arxiv.org/abs/2401.09047

🦉 Jupyter: https://github.com/camenduru/VideoCrafter-colab

@ai_machinelearning_big_data

⭐️ GALA: Generating Animatable Layered Assets
from a Single Scan

Новый ИИ, который может раздевать 3D модели людей.

GALA может обработать однослойную сетку одетого 3D-человека и разложить ее на полноценные многослойные 3D-объекты.

Полученные результаты могут быть объединены с другими объектов для создания новых одетых человеческих аватаров с любой позой.

🖥 Code: https://github.com/snuvclab/GALA

🚀 Project: snuvclab.github.io/gala

📚 Paper: https://arxiv.org/abs/2401.12979

@ai_machinelearning_big_data

⚡️ DiffSynth Studio

Diffutoon - это новая модель диффузии для преобразования видео в анимационный стиль. Работает с высоким разрешением и быстрыми движениями.

🖥 Code: https://github.com/Artiprocher/DiffSynth-Studio

🚀 Project: https://ecnu-cilab.github.io/DiffutoonProjectPage/

📚 Paper: https://arxiv.org/pdf/2401.16224.pdf

@ai_machinelearning_big_data

📷 InstructIR: High-Quality Image Restoration Following Human Instructions

InstructIR принимает на вход изображение и инструкцию по его улучшению. Нейронная сеть выполняет комплексное восстановление и улучшение изображения.

InstructIR достигает передовых результатов в нескольких задачах реставрации, включая обесцвечивание, размытие и улучшение изображения (даже при слабом освещении).

🖥 Code: https://github.com/mv-lab/InstructIR

🚀 Project: mv-lab.github.io/InstructIR/

🎮 Colab: https://colab.research.google.com/drive/1OrTvS-i6uLM2Y8kIkq8ZZRwEQxQFchfq

📚 Paper: https://arxiv.org/abs/2401.16468

@ai_machinelearning_big_data

⚡️ MoE-LLaVA: Mixture of Experts for Large Vision-Language Models

Новая стратегия обучения MoE-tuning для LVLM, которая позволяет построить модель с огромным количеством параметров, которая эффективно решает проблему снижения производительности, обычно связанную с мультимодальным обучением и разреженностью модели.

Этот фреймворк уникальным образом активирует только топ-к экспертов через маршрутизаторы во время развертывания, оставляя остальных экспертов неактивными.

Обширные эксперименты подчеркивают возможности MoE-LLaVA в визуальном понимании и ее потенциал для уменьшения галлюцинаций в результатах моделирования.

Примечательно, что при наличии всего 3 миллиардов редко активируемых параметров MoE-LLaVA демонстрирует производительность, сравнимую с LLaVA-1.5-7B на различных наборах данных для визуального понимания, и даже превосходит LLaVA-1.5-13B в тестах на галлюцинации объектов.

🖥 Code: https://github.com/PKU-YuanGroup/MoE-LLaVA

🚀 Jupyter: https://github.com/camenduru/MoE-LLaVA-jupyter

📚 Paper: https://arxiv.org/abs/2401.15947

@ai_machinelearning_big_data

⚡️ MotionDirector: Motion Customization of Text-to-Video Diffusion Models

MotionDirector модель генерации текста в видео, для создания видео в движении по указанным инструкциям.

🖥 Github: https://github.com/showlab/MotionDirector

📕 Paper: https://arxiv.org/abs/2310.08465

⭐️ Project: showlab.github.io/MotionDirector/

ai_machinelearning_big_data

☑️ cmaes : A Simple yet Practical Python Library for CMA-ES

Простая и практичная библиотека на Python для CMA-ES.

Стратегия эволюции адаптации ковариационной матрицы (CMA-ES) - это особый вид стратегии для численной оптимизации .

Стратегии развития (ES) - это стохастические , методы без производных для числовой оптимизации не- линейной или не выпуклые задачи непрерывной оптимизации .

Они принадлежат к классу эволюционных алгоритмов и эволюционных вычислений . эволюционный алгоритм в целом основан на принципе биологической эволюции , а именно на повторяющемся взаимодействии вариаций (посредством рекомбинации и мутации) и отбора: в каждом поколении (итерации) новые особи (кандидаты решения, обозначенные как ), генерируются путем изменения, обычно стохастическим образом, текущих родительских особей.

$ pip install cmaes

import numpy as np
from cmaes import CMA

def quadratic(x1, x2):
return (x1 - 3) ** 2 + (10 * (x2 + 2)) ** 2

if __name__ == "__main__":
optimizer = CMA(mean=np.zeros(2), sigma=1.3)

for generation in range(50):
solutions = []
for _ in range(optimizer.population_size):
x = optimizer.ask()
value = quadratic(x[0], x[1])
solutions.append((x, value))
print(f"#{generation} {value} (x1={x[0]}, x2 = {x[1]})")
optimizer.tell(solutions)

🖥 Github: https://github.com/CyberAgentAILab/cmaes

📕 Paper: https://arxiv.org/abs/2402.01373v1

ai_machinelearning_big_data