🌟 Mistral-finetune — кодовая база для файнтюнинга моделей Mistral

cd $HOME && git clone https://github.com/mistralai/mistral-finetune.git

cd mistral-finetune
pip install -r requirements.txt

Буквально вчера выкатили Mistral-finetune;
это легкая кодовая база, позволяющая эффективно использовать память и выполнять finetune моделей Mistral. В основе Mistral-finetune LoRA — метод обучения при котором большинство весов не меняется, а корректируются только 1-2 % весов.

Для достижения максимальной эффективности рекомендуется использовать графические процессоры A100 или H100.
Кодовая база оптимизирована для обучения на нескольких GPU, но для небольших моделей, таких как 7B, достаточно одного GPU.

🖥 GitHub
🟡 Погонять в Google Colab

@data_analysis_ml

⚡️ Open-source справочник по статистике

Здесь на 80 страницах конспективно и по существу излагаются важные концепции из статистики, вроде биномиального распределения, линейной регрессии, теоремы Байеса, распределения Бернулли, Пуассона, и другие темы статистики.
Отличная шпаргалка, полезно заглядывать время от времени

📎 PDF

@data_analysis_ml

⚡️ Простое объяснение сложных концепций AI и ML на пальцах

Держите подборку полезных анимаций от Tom Yeh
Профессор очень просто объясняет такие понятия как MoE, умножение матриц, работу MLP в PyTorch, прямое/обратное распространение, работу GAN, устройство векторной БД и много всего ещё

▶️ Анимации с объяснением

@data_analysis_ml

🌟 Подборка полезных ресурсов по Data Science и ML

Здесь собраны open-source книги, туториалы по работе с данными при помощи R и Python, гайды с объяснением ML-алгоритмов

▶️ Полезные ресурсы

@data_analysis_ml