به زودی در این کانال تخفیف دوره جامع LLM در مکتب خونه قرار داده میشود.

💡 دوره‌ی جامع LLM (مدل‌های زبانی بزرگ)
مدرس: علیرضا اخوان‌پور
📅 زمان انتشار: به زودی…
📍 منتشر می‌شود توسط کلاس‌ویژن در مکتب‌خونه


🔥 برای اطلاع از انتشار و دریافت کد تخفیف، همین حالا عضو کانال تلگرام ما بشید:
👇👇👇
@llm_huggingface
👆👆👆

#llm #course #دوره #مدل_زبانی_بزرگ #هوش_مصنوعی #مکتب‌خونه

📚 فصل 1: آشنایی با مدل‌های زبانی بزرگ و چرخه عمر پروژه

در این فصل، با مفاهیم پایه‌ای LLMها آشنا می‌شیم. یاد می‌گیریم چطور این مدل‌ها کار می‌کنن، چه کاربردهایی دارن، چطور متن تولید می‌کنن و چطور پروژه‌های مبتنی بر هوش مصنوعی مولد رو مدیریت کنیم. همچنین با Hugging Face و Google Colab کار می‌کنیم.

سرفصل‌های این فصل:

     هوش مصنوعی مولد و مدلهای زبانی بزرگ (Generative AI & Large Language Models)

    موارد استفاده و وظایف (Use cases & tasks)

    نحوه کار مدل‌های زبانی بزرگ - معماری ترنسفورمرها (How LLMs work - Transformers architecture)

    ترنسفورمرها - بخش 1 (Transformers - part1)

    ترنسفورمرها - بخش 2 (Transformers - part2)

    تولید متن با ترنسفورمرها (Generating text with transformers)

    پرامپت (پرسش‌دهی) و مهندسی پرامپ (Prompting and prompt engineering)

    پارامترهای پیکربندی تولیدی برای استنتاج - بخش 1 (Generative configuration parameters for inference - part 1)

    پارامترهای پیکربندی تولیدی برای استنتاج - بخش 2 (Generative configuration parameters for inference - part 2)

    شروع کار با LLM در Google Colab: از Hugging Face تا آماده‌سازی دیتاست (Getting Started with LLMs in Google Colab: From Hugging Face to Dataset Preparation)

    مفهوم Tokenization و اجرای Zero-Shot مدل (Tokenization and Zero-Shot Inference with LLMs)

    پروژه خلاصه‌سازی در پایتون: از Zero تا Few-Shot با LLM و In-Context Learning (Summarization Project in Python: Zero to Few-Shot with LLMs and In-Context Learning)

    چرخه حیات پروژه هوش مصنوعی مولد (Generative AI project lifecycle)

#مدل_زبانی_بزرگ

🧠 فصل 2: پیش‌آموزش مدل‌های زبانی و قوانین مقیاس‌پذیری

تو این فصل می‌فهمیم مدل‌های زبانی چطور آموزش می‌بینن، با چه اهدافی ساخته می‌شن و چه محدودیت‌های محاسباتی دارن. به بحث کوانتیزیشن، قوانین مقیاس‌پذیری و استراتژی‌های چند GPU هم می‌پردازیم.

سرفصل‌های این فصل:

ملاحظات برای انتخاب مدل (Considerations for Model Selection) 

معماری‌های مدل و اهداف پیش‌آموزش (Model architectures and pre-training objectives) 

مدلهای فقط خودرمزگذار (Encoder Only Models) 

مدلهای فقط رمزگشا (Decoder Only Models) 

مدل‌های توالی به توالی (مدلهای رمزگذار-رمزگشا) (Sequence-to-sequence (Encoder-Decoder Models)) 

رابطه اندازه مدل و دقت (How Model Size Affects Accuracy) 

چالش‌های محاسباتی و کوانتیزیشن (Computational challenges & Quantization) 

استراتژی‌های محاسباتی کارآمد با چند پزدازنده گرافیکی - بخش 1 (DDP) (Efficient Multi-GPU Compute Strategies part1 (DDP)) 

استراتژی‌های محاسباتی کارآمد با چند پزدازنده گرافیکی - بخش 2 (FSDP) (Efficient Multi-GPU Compute Strategies part2 (FSDP)) 

قوانین مقیاس‌پذیری و مدل‌های بهینه از نظر محاسباتی (Scaling laws and compute-optimal models) 

قانون Chinchilla و استثناها: نقش اندازه مدل و داده در عملکرد (The Chinchilla Law and Its Exceptions: The Role of Model Size and Data in Performance) 

پیش‌آموزش برای انطباق دامنه (Pre-training for domain adaptation) 

#مدل_زبانی_بزرگ

🎯 فصل 3: Fine-Tuning مدل‌های LLM + ارزیابی آنها

می‌خوای یه مدل رو برای یه کار خاص مثل خلاصه‌سازی یا ترجمه فاین‌تیون کنی؟ این فصل برای همینه! از fine-tune‌ روی یک وظیفه تا ارزیابی دقیق مدل با متریک‌های مختلف.

سرفصل‌های این فصل:

 تنظیم دقیق یک LLM با استفاده از دستورالعمل‌های پرامپت (Fine-tuning an LLM with instruction prompts) 

آموزش fine-tune کردن روی یک وظیفه‌ی خاص (Fine-tuning on a single task) 

آموزش fine-tuning چندوظیفه‌ای و دستوری (Multi-task, instruction fine-tuning) 

معیارهای ارزیابی مدل‌های زبانی - ROUGE (Model evaluation metrics - ROUDGE) 

معیارهای ارزیابی مدل - BLEU (Model evaluation metrics – BLEU Score) 

بنچمارک‌ها در ارزیابی مدل‌های زبان بزرگ (LLM) (Benchmarks for Large Language Models (LLMs)) 

وظایف Close-ended و بنچمارک‌ها (Close-ended tasks & Benchmarks) 

ارزیابی وظایف Open-ended با معیارهای مبتنی بر مدل (Evaluating Open-ended Tasks with Model-based Metrics) 

ارزیابی انسانی، چالش‌ها و معیارهای ارزیابی بدون مرجع برای LLM‌ها (Human Evaluation, Challenges, and Reference-Free Metrics for Chatbots) 

خودارزیابی مدل‌های زبان بزرگ (LLM) با AlpacaEval : کاهش هزینه‌های ارزیابی (LLM Self-Evaluation with AlpacaEval: Cutting Down Evaluation Costs) 

#مدل_زبانی_بزرگ

⚙️ فصل 4: فاین‌تیون کارآمد با PEFT

اگر منابع سخت‌افزاری کم داری یا بهینه‌بودن برات مهمه، این فصل راه‌حل رو ارائه می‌ده. از LoRA و Soft Prompt گرفته تا پروژه‌های عملی در خلاصه‌سازی، ترجمه و تولید متن.

سرفصل‌های این فصل:

    آشنایی با PEFT: روش‌های تنظیم دقیق کارآمد پارامترها

Introduction to PEFT: Parameter-Efficient Fine-Tuning Methods

انطباق کم‌رتبه مدل‌های زبانی بزرگ  (LoRA)

Low-Rank Adaptation of Large Language Models
 (LoRA)

تنظیم پرامپت با soft prompt‌ها
Prompt tuning with soft prompts

نحوه کرایه GPU ابری از Vast.ai
Power Up Your LLM Training with Vast.ai GPU Rentals

پیاده سازی فاین‌تیون مدل هوش مصنوعی مولد برای خلاصه‌سازی گفت‌وگو

Fine-Tuning a Generative AI Model for Dialogue Summarization

فاین‌تیون کارآمد پارامترها (PEFT) برای خلاصه‌سازی گفت‌وگو: راه‌اندازی، آموزش و ارزیابی

Parameter-Efficient Fine-Tuning (PEFT) for Dialogue Summarization: Setup, Training, and Evaluation

طبقه‌بندی نظرات IMDB با Gemma2 - بخش ۱: راه‌اندازی نوت‌بوک و ورود به  Hugging Face

IMDB Review Classification with Gemma2 – Part 1: Notebook Setup and Hugging Face Login

طبقه‌بندی نظرات IMDB با Gemma2 - بخش ۲: پیش‌پردازش داده‌ها، توکن‌سازی و آماده‌سازی برچسب‌ها

IMDB Review Classification with Gemma2 – Part 2: Data Preprocessing, Tokenization, and Label Preparation

طبقه‌بندی نظرات IMDB با Gemma2 - بخش ۳: تعریف معیارهای ارزیابی، کوانتیزاسیون و بارگذاری مدل ۴-بیتی
IMDB Review Classification with Gemma2 – Part 3: Evaluation Metrics, Quantization, and 4-bit Model Loading

طبقه‌بندی نظرات IMDB با Gemma2 - بخش ۴: آموزش مدل با استفاده از QLoRA

IMDB Review Classification with Gemma2 – Part 4: Model Training with QLoRA

ترجمه انگلیسی به فارسی با Gemma2-9B – بخش ۱: بارگذاری داده، آماده‌سازی مدل، و تولید اولیه ترجمه‌ها
English-to-Persian Translation with Gemma2-9B – Part 1: Loading Data, Preparing the Model, and Initial Translations

ترجمه انگلیسی به فارسی با Gemma2-9B – بخش ۲: ارزیابی کیفیت ترجمه با معیار BLEU و دیتاست PEPC
English-to-Persian Translation with Gemma2-9B – Part 2: Evaluating Translation Quality with BLEU and PEPC Dataset

ترجمه انگلیسی به فارسی با Gemma2-9B – بخش ۳: تنظیم LoRA و آموزش مدل با QLoRA
English-to-Persian Translation with Gemma2-9B – Part 3: LoRA Setup and Model Training with QLoRA

ترجمه انگلیسی به فارسی با Gemma2-9B –: بارگذاری مدل آموزش‌دیده و استنتاج (Inference) 

English-to-Persian Translation with Gemma2-9B: Loading the Fine-Tuned Model and Performing Inference 

آموزش Prompt Tuning با PEFT - بخش ۱: مقدمه و بارگذاری مدل Bloom
Prompt Tuning with PEFT – Part 1: Introduction and Loading the Bloom Model

آموزش Prompt Tuning با PEFT - بخش ۲: آماده‌سازی داده‌ها و ساخت دو مدل مختلف
Prompt Tuning with PEFT – Part 2: Preparing Datasets and Building Two Tuned Models

آموزش Prompt Tuning با PEFT - بخش ۳: آموزش مدل‌ها، ذخیره‌سازی و انجام استنتاج
Prompt Tuning with PEFT – Part 3: Training, Saving, and Running Inference

آموزش تولید شعر فارسی با GPT2 - بخش ۱: آماده‌سازی داده‌های شعر

Training Persian Poetry Generation with GPT2 – Part 1: Preparing Poetry Dataset

آموزش تولید شعر فارسی با GPT2 - بخش ۲: ساخت و توکنایز کردن مدل زبان فارسی

Training Persian Poetry Generation with GPT2 – Part 2: Building and Tokenizing the Persian Language Model

آموزش تولید شعر فارسی با GPT2 - بخش ۳: آموزش، اعتبارسنجی و تولید شعر

Training Persian Poetry Generation with GPT2 – Part 3: Training, Validation, and Poetry Generation

#مدل_زبانی_بزرگ