⚡️ MoE-LLaVA: Mixture of Experts for Large Vision-Language Models

Новая стратегия обучения MoE-tuning для LVLM, которая позволяет построить модель с огромным количеством параметров, которая эффективно решает проблему снижения производительности, обычно связанную с мультимодальным обучением и разреженностью модели.

Этот фреймворк уникальным образом активирует только топ-к экспертов через маршрутизаторы во время развертывания, оставляя остальных экспертов неактивными.

Обширные эксперименты подчеркивают возможности MoE-LLaVA в визуальном понимании и ее потенциал для уменьшения галлюцинаций в результатах моделирования.

Примечательно, что при наличии всего 3 миллиардов редко активируемых параметров MoE-LLaVA демонстрирует производительность, сравнимую с LLaVA-1.5-7B на различных наборах данных для визуального понимания, и даже превосходит LLaVA-1.5-13B в тестах на галлюцинации объектов.

🖥 Code: https://github.com/PKU-YuanGroup/MoE-LLaVA

🚀 Jupyter: https://github.com/camenduru/MoE-LLaVA-jupyter

📚 Paper: https://arxiv.org/abs/2401.15947

@ai_machinelearning_big_data

⚡️ MotionDirector: Motion Customization of Text-to-Video Diffusion Models

MotionDirector модель генерации текста в видео, для создания видео в движении по указанным инструкциям.

🖥 Github: https://github.com/showlab/MotionDirector

📕 Paper: https://arxiv.org/abs/2310.08465

⭐️ Project: showlab.github.io/MotionDirector/

ai_machinelearning_big_data

☑️ cmaes : A Simple yet Practical Python Library for CMA-ES

Простая и практичная библиотека на Python для CMA-ES.

Стратегия эволюции адаптации ковариационной матрицы (CMA-ES) - это особый вид стратегии для численной оптимизации .

Стратегии развития (ES) - это стохастические , методы без производных для числовой оптимизации не- линейной или не выпуклые задачи непрерывной оптимизации .

Они принадлежат к классу эволюционных алгоритмов и эволюционных вычислений . эволюционный алгоритм в целом основан на принципе биологической эволюции , а именно на повторяющемся взаимодействии вариаций (посредством рекомбинации и мутации) и отбора: в каждом поколении (итерации) новые особи (кандидаты решения, обозначенные как ), генерируются путем изменения, обычно стохастическим образом, текущих родительских особей.

$ pip install cmaes

import numpy as np
from cmaes import CMA

def quadratic(x1, x2):
return (x1 - 3) ** 2 + (10 * (x2 + 2)) ** 2

if __name__ == "__main__":
optimizer = CMA(mean=np.zeros(2), sigma=1.3)

for generation in range(50):
solutions = []
for _ in range(optimizer.population_size):
x = optimizer.ask()
value = quadratic(x[0], x[1])
solutions.append((x, value))
print(f"#{generation} {value} (x1={x[0]}, x2 = {x[1]})")
optimizer.tell(solutions)

🖥 Github: https://github.com/CyberAgentAILab/cmaes

📕 Paper: https://arxiv.org/abs/2402.01373v1

ai_machinelearning_big_data

⭐️ YOLO-World Real-Time Open-Vocabulary Object Detection

Обнаружение объектов в режиме реального времени БЕЗ ОБУЧЕНИЯ.

YOLO-World - это новая SOTA, которая превосходит предыдущие модели как по точности обнаружения, так и по скорости. 35,4 AP при 52,0 FPS на V100.

Все, что вам нужно, это изображение + промпт (список категорий, которые вы хотите обнаружить).

🖥 Github: https://github.com/AILab-CVC/YOLO-World

📚 Paper: https://arxiv.org/abs/2401.17270

⚡️Demo: https://www.yoloworld.cc

🤗Hf: https://huggingface.co/spaces/stevengrove/YOLO-World

ai_machinelearning_big_data

🔥 EfficientViT: Multi-Scale Linear Attention for High-Resolution Dense Prediction

EfficientViT-SAM - это новое семейство ускоренных моделей Segment Anything Models для задач компьютерного зрения с высоким разрешением. Скорость до 69 раз выше, чем у SAM.

🖥 Github: https://github.com/mit-han-lab/efficientvit

📚 Paper: https://arxiv.org/abs/2205.14756

⏩ Tutorial: https://www.jetson-ai-lab.com/vit/tutorial_efficientvit.html

ai_machinelearning_big_data

⚡️ LGM: Large Multi-View Gaussian Model for High-Resolution 3D Content Creation

Новый фреймворк, предназначенный для создания 3D-моделей высокого разрешения из текстового описания или изображений с одним ракурсом.

🖥 Github: https://github.com/3DTopia/LGM

📚 Paper: https://arxiv.org/abs/2402.05054

🔗 Demo: https://huggingface.co/spaces/ashawkey/LGM

💻 Weights: https://huggingface.co/ashawkey/LGM

⏩ Project: https://me.kiui.moe/lgm/

ai_machinelearning_big_data

🦾 Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models

Новый метод тонкой настройки, названный Self-Play fIne-tuNing (SPIN), в основе которого, лежит механизм самовоспроизведения, в котором LLM совершенствует свои возможности, взаимодейтсвия с экземплярами самого себя и самостоятельно генерирует данные для обучения.

🖥 Github: https://github.com/uclaml/SPIN

📚 Paper: https://arxiv.org/abs/2401.01335

⏩ Project: https://uclaml.github.io/SPIN/

💻 Model: https://huggingface.co/collections/UCLA-AGI/zephyr-7b-sft-full-spin-65c361dfca65637272a02c40

🛡 Dataset: https://huggingface.co/collections/UCLA-AGI/datasets-spin-65c3624e98d4b589bbc76f3a

ai_machinelearning_big_data

👁️ HASSOD: Hierarchical Adaptive Self-Supervised Object Detection

HASSOD - полностью самоконтролируемый подход для обнаружения и сегментации широкого спектра объектов.

HASSOD демонстрирует значительное преводходство по сравнению с предыдущими современными методами.

🖥 Github: https://github.com/Shengcao-Cao/HASSOD

📚 Paper: https://arxiv.org/abs/2402.03311

⏩ Project: https://hassod-neurips23.github.io/

💻 Video: https://www.youtube.com/watch?v=s8u7tEKg5ew

ai_machinelearning_big_data