به زودی در این کانال تخفیف دوره جامع LLM در مکتب خونه قرار داده میشود.

💡 دوره‌ی جامع LLM (مدل‌های زبانی بزرگ)
مدرس: علیرضا اخوان‌پور
📅 زمان انتشار: به زودی…
📍 منتشر می‌شود توسط کلاس‌ویژن در مکتب‌خونه


🔥 برای اطلاع از انتشار و دریافت کد تخفیف، همین حالا عضو کانال تلگرام ما بشید:
👇👇👇
@llm_huggingface
👆👆👆

#llm #course #دوره #مدل_زبانی_بزرگ #هوش_مصنوعی #مکتب‌خونه

📚 فصل 1: آشنایی با مدل‌های زبانی بزرگ و چرخه عمر پروژه

در این فصل، با مفاهیم پایه‌ای LLMها آشنا می‌شیم. یاد می‌گیریم چطور این مدل‌ها کار می‌کنن، چه کاربردهایی دارن، چطور متن تولید می‌کنن و چطور پروژه‌های مبتنی بر هوش مصنوعی مولد رو مدیریت کنیم. همچنین با Hugging Face و Google Colab کار می‌کنیم.

سرفصل‌های این فصل:

     هوش مصنوعی مولد و مدلهای زبانی بزرگ (Generative AI & Large Language Models)

    موارد استفاده و وظایف (Use cases & tasks)

    نحوه کار مدل‌های زبانی بزرگ - معماری ترنسفورمرها (How LLMs work - Transformers architecture)

    ترنسفورمرها - بخش 1 (Transformers - part1)

    ترنسفورمرها - بخش 2 (Transformers - part2)

    تولید متن با ترنسفورمرها (Generating text with transformers)

    پرامپت (پرسش‌دهی) و مهندسی پرامپ (Prompting and prompt engineering)

    پارامترهای پیکربندی تولیدی برای استنتاج - بخش 1 (Generative configuration parameters for inference - part 1)

    پارامترهای پیکربندی تولیدی برای استنتاج - بخش 2 (Generative configuration parameters for inference - part 2)

    شروع کار با LLM در Google Colab: از Hugging Face تا آماده‌سازی دیتاست (Getting Started with LLMs in Google Colab: From Hugging Face to Dataset Preparation)

    مفهوم Tokenization و اجرای Zero-Shot مدل (Tokenization and Zero-Shot Inference with LLMs)

    پروژه خلاصه‌سازی در پایتون: از Zero تا Few-Shot با LLM و In-Context Learning (Summarization Project in Python: Zero to Few-Shot with LLMs and In-Context Learning)

    چرخه حیات پروژه هوش مصنوعی مولد (Generative AI project lifecycle)

#مدل_زبانی_بزرگ

🧠 فصل 2: پیش‌آموزش مدل‌های زبانی و قوانین مقیاس‌پذیری

تو این فصل می‌فهمیم مدل‌های زبانی چطور آموزش می‌بینن، با چه اهدافی ساخته می‌شن و چه محدودیت‌های محاسباتی دارن. به بحث کوانتیزیشن، قوانین مقیاس‌پذیری و استراتژی‌های چند GPU هم می‌پردازیم.

سرفصل‌های این فصل:

ملاحظات برای انتخاب مدل (Considerations for Model Selection) 

معماری‌های مدل و اهداف پیش‌آموزش (Model architectures and pre-training objectives) 

مدلهای فقط خودرمزگذار (Encoder Only Models) 

مدلهای فقط رمزگشا (Decoder Only Models) 

مدل‌های توالی به توالی (مدلهای رمزگذار-رمزگشا) (Sequence-to-sequence (Encoder-Decoder Models)) 

رابطه اندازه مدل و دقت (How Model Size Affects Accuracy) 

چالش‌های محاسباتی و کوانتیزیشن (Computational challenges & Quantization) 

استراتژی‌های محاسباتی کارآمد با چند پزدازنده گرافیکی - بخش 1 (DDP) (Efficient Multi-GPU Compute Strategies part1 (DDP)) 

استراتژی‌های محاسباتی کارآمد با چند پزدازنده گرافیکی - بخش 2 (FSDP) (Efficient Multi-GPU Compute Strategies part2 (FSDP)) 

قوانین مقیاس‌پذیری و مدل‌های بهینه از نظر محاسباتی (Scaling laws and compute-optimal models) 

قانون Chinchilla و استثناها: نقش اندازه مدل و داده در عملکرد (The Chinchilla Law and Its Exceptions: The Role of Model Size and Data in Performance) 

پیش‌آموزش برای انطباق دامنه (Pre-training for domain adaptation) 

#مدل_زبانی_بزرگ

🎯 فصل 3: Fine-Tuning مدل‌های LLM + ارزیابی آنها

می‌خوای یه مدل رو برای یه کار خاص مثل خلاصه‌سازی یا ترجمه فاین‌تیون کنی؟ این فصل برای همینه! از fine-tune‌ روی یک وظیفه تا ارزیابی دقیق مدل با متریک‌های مختلف.

سرفصل‌های این فصل:

 تنظیم دقیق یک LLM با استفاده از دستورالعمل‌های پرامپت (Fine-tuning an LLM with instruction prompts) 

آموزش fine-tune کردن روی یک وظیفه‌ی خاص (Fine-tuning on a single task) 

آموزش fine-tuning چندوظیفه‌ای و دستوری (Multi-task, instruction fine-tuning) 

معیارهای ارزیابی مدل‌های زبانی - ROUGE (Model evaluation metrics - ROUDGE) 

معیارهای ارزیابی مدل - BLEU (Model evaluation metrics – BLEU Score) 

بنچمارک‌ها در ارزیابی مدل‌های زبان بزرگ (LLM) (Benchmarks for Large Language Models (LLMs)) 

وظایف Close-ended و بنچمارک‌ها (Close-ended tasks & Benchmarks) 

ارزیابی وظایف Open-ended با معیارهای مبتنی بر مدل (Evaluating Open-ended Tasks with Model-based Metrics) 

ارزیابی انسانی، چالش‌ها و معیارهای ارزیابی بدون مرجع برای LLM‌ها (Human Evaluation, Challenges, and Reference-Free Metrics for Chatbots) 

خودارزیابی مدل‌های زبان بزرگ (LLM) با AlpacaEval : کاهش هزینه‌های ارزیابی (LLM Self-Evaluation with AlpacaEval: Cutting Down Evaluation Costs) 

#مدل_زبانی_بزرگ