⚡️ Mini CPM-V: Семейство MLM для работы с изображениями и видео, в том числе на портативных устройствах.

MiniCPM-V новое семейство MLLM. Набор состоит из 3 моделей и их квантованных версий в int4 и GGUF: 

MiniCPM-V 2.6: самая производительная модель в серии MiniCPM-V, построена на основе SigLip-400M и Qwen2-7B и имеет 8 миллиардов параметров. 
Эта модель улучшена новыми возможностями для понимания нескольких изображений и видео и поддерживает работу в режиме реального времени на сторонних устройствах, таких как iPad. 

🟠MiniCPM-V 2.6 (16.2 Gb)
🟠MiniCPM-V 2.6 Int4 (5.95GB)
🟠MiniCPM-V 2.6 GGUFs в 4-bit (4.68GB) и 16-bit (15.2GB)

MiniCPM-Llama3-V-2_5:  построена на основе SigLip-400M и Llama3-8B-Instruct и имеет 8 миллиардов параметров. 
Модель ориентирована на задачи OCR, производительность, надежность и поддерживает 30 языков. Она способна работать на устройствах с ограниченными ресурсами, например, на смартфоне.

🟠MiniCPM-Llama3-V 2.5 (~17GB)
🟠MiniCPM-Llama3-V 2.5 Int4 (6.16GB)
🟠MiniCPM-Llama3-V 2.5 GGUF от 2-bit до 16-bit (от 3.18Gb до 16.1 соответственно)

MiniCPM-V 2: самая легкая модель в серии MiniCPM-V с 2 миллиардами параметров. Она обрабатывает изображения с любым соотношением сторон и разрешением до 1,8 Mpx, например, 1344x1344.

🟠MiniCPM-V 2

▶️Локальный запуск c GradioUI:

# Clone this repository and navigate to the source folder:
git clone https://github.com/OpenBMB/MiniCPM-V.git
cd MiniCPM-V

# Create conda environment:
conda create -n MiniCPM-V python=3.10 -y
conda activate MiniCPM-V

#Install dependencies.
pip install -r requirements.txt

## For NVIDIA GPUs, run::
python web_demo_2.6.py --device cuda

📌Лицензирование:

🟢код - Apache-2.0;
🟠модели - свободно для любых академических исследований. Коммерция - соблюдение этого соглашения.



🟡Tech Report MiniCPM-Llama3-V 2.5
🟡Коллекция моделей на HF
🟡Demo MiniCPM-V 2.6
🟡Demo MiniCPM-Llama3-V 2.5
🟡Demo MiniCPM-V 2
🖥Github [ Stars: 8.3K | Issues: 27 | Forks: 583]


@ai_machinelearning_big_data

#AI #MLLM #ML #MiniCPM #MobileVLM