📌100+ готовых блокнотов Google Collab от Unsloth.

Unsolth выложила в открытый доступ в своем репозитории на Github больше сотни готовых ipynb-блокнотов для запуска различных операций в Google Collab практически всех популярных семейств языковых моделей, BERT, TTS-моделей и VLM:

🟢Llama v.3 -3.2
🟢Qwen v.2-3
🟢Gemma v.2-3 + Code Gemma
🟢Mistral Family
🟢Phi v.3-4
🟠TTS (Sesame, Orpheus, Spark, Oute, Llasa, Whisper)
🟠VLM и MMLM (Llama 3.2, Qwen 2.5VL, Pixtral)
🟠BERT (ModernBERT-large)

Блокноты включают пошаговые руководства и примеры для вызова инструментов, классификации, синтетических данных, подготовки сетов, инференса и файнтюна моделей и
примеры методов GRPO, DPO, SFT, Continued Pretraining, Reasoning и других.

Unsloth известна тем, что помогает делать большие языковые модели быстрее, компактнее и доступнее при помощи динамического квантования, что позволяет запускать их без сильной потери качества . Их технологии ускоряют обучение и настройку ИИ-моделей в 2 раза и экономят до 70% памяти. Инструменты Unsloth, на сегодняшний день, скачали более 10 млн раз.

Есть подробная документация по использованию, а для тех, кто больше привык к Kaggle - такой же набор блокнотов для запуска на этой платформе.


📌Лицензирование: LGPL-3.0-1


🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #Notebooks #Github #Unsloth

📌Тренируем LoRA: эффективный тюнинг LLM в гайде от Unsloth.

Добиться от LLM нужного поведения - задача нетривиальная, особенно в тонкой настройке с помощью LoRA.

LoRA позволяет адаптировать модель под конкретные задачи, не переобучая ее целиком, но результат сильно зависит от правильно подобранных гиперпараметров. Небольшой, но очень полезный гайд от Unsloth - ваш гид по основным настройкам LoRA, которые помогут повысить точность, стабильность и качество, попутно снижая риск галлюцинаций и переобучения.

Успешное обучение - это, прежде всего, баланс. Слишком высокая скорость обучения может ускорить начальное обучение, но рискует дестабилизировать модель или привести к пропускам оптимальных решений. Слишком низкая замедлит процесс и, как ни странно, тоже помешает обучению или переобучит вашу LoRa. Оптимальный диапазон обычно лежит между 1e-4 и 5e-5.

Аналогично с эпохами: прогонять данные слишком много раз значит рисковать тем, что модель просто "зазубрит" датасет, потеряв способность к обобщению. Недобор эпох грозит недообучением, это когда модель так и не улавливает нужные паттерны.

Но вот, вы разобрались с эпохами и скоростью обучения и добрались до специфичных параметров LoRA, например - ранг. Это один из ключевых параметров, он определяет размерность "адаптеров", добавляемых к модели.

Больший ранг дает больше "места" для обучения, но требует больше памяти и времени. Следующий после ранга: lora_alpha. Это своего рода усилитель для этих адаптеров. Часто его ставят равным рангу или удваивают, чтобы усилить влияние дообученных весов.

Unsloth предлагает в своих ноутбуках отличные дефолтные параметры, основанные на большом накопленном опыте файнтюна моделей и предлагает проверенные решения для управления ресурсами и стабильностью.

Подбор гиперпараметров — это всегда итеративный процесс. Экспериментируйте, сверяйтесь с лучшими практиками, и тогда ваши дообученные модели покажут наилучшие результаты.

🔜 Читать гайд полностью


#AI #ML #LLM #Tutorial #LoRA #Unsloth