🌟 LLaMA-Factory: локальный файнтюн моделей с WebUI.

LLaMA-Factory - это фреймворк, который объединяет в себе набор методов манипуляций с моделями и инструментов для гибкой настройки через веб-интерфейс Gradio.

Фреймворк состоит из трех основных модулей:

🟢Model Loader - управляет архитектурами моделей, поддерживая LLM и VLM;

🟢Data Worker - модуль для операций с наборами данных;

🟢Trainer - применяет подходы к обучению: Pre-Training, SFT, Reward Modeling, PPO, DPO, KTO, ORPO, SimPO.

LLaMA-Factory поддерживает методы: freeze-tuning, GaLore, BAdam, LoRA, QLoRA, DORA, LORA+ и PiSSA, а также flash attention, S2 attention, mixed precision training, activation checkpointing и стратегии квантования.

Список поддерживаемых семейств моделей периодически пополняется, его актуальную версию можно посмотреть в репозитории проекта.

Gradio WebUi позволяет настраивать аргументы обучения, визуализировать журналы обучения и кривые потерь в режиме реального времени, а также поддерживает несколько языков: английский, русский и китайский.

На потребительских GPU (24Gb), согласно таблице разработчиков, запустятся методы:

🟠Freeze 16-bit - модели плотностью 7B;

🟠LoRA/GaLore/BAdam 16-bit - модели плотностью 7B;

🟠QLoRA 8-bit - модели плотностью 7B, 13B;

🟠QLoRA 4-bit - модели плотностью 7B, 13B, 30B;

🟠QLoRA 2-bit - модели плотностью 7B, 13B, 30B и 70B.

⚠️ Перед локальным запуском внимательно ознакомьтесь с требованиями по пакетному окружению, рекомендациями по установке для разных архитектур, инструкцией по подготовке данных.

▶️ Проект может быть инсталлирован : Docker, Docker w\o Composer, OpenAI-style API and vLLM и классическим способом установки из репозитория.


📌Лицензирование : Apache 2.0 License.


🟡Документация (китайский)
🟡Google Collab
🟡Arxiv
🟡Demo
🟡Сообщество в Discord
🖥Github


@ai_machinelearning_big_data

#AI #ML #LLM #Finetune #LlaMAFactory