دوره Prompt نویسی برای مدل Llama با همکاری Meta AI در پلتفرم آموزشی DeepLearning.AI به صورت رایگان منتشر شد. این دوره حدود یک ساعت بوده و از اینجا می‌توانید به آن دسترسی داشته باشید.

#llama

🌑 آقای هوش مصنوعی🌑
🎥رسانه هوش مصنوعی دانشگاه تهران

@MrArtificialintelligence

پیام مارک زاکربرگ در مورد نسخه ۳ مدل زبانی Llama

مارک زاکربرگ در این پیام بار دیگر به توسعه اپن‌سورس هوش‌مصنوعی تاکید کرد. طبق گفته زاک قرار است از این مدل زبانی در محصولات مختلف متا نظیر واتساپ و اینستاگرام استفاده شود. نسخه وب Llama با آدرس meta.ai نیز در دسترس قرار گرفته است.

#meta
#llama
🌑 آقای هوش مصنوعی🌑
🎥رسانه هوش مصنوعی دانشگاه تهران

@MrArtificialintelligence

فاین تیون کردن، هزینه ها، منابع و زمان مورد نیاز

برخلاف باور عمومی، فاین تیونینگ (#fine_tuning) به منابع محاسباتی عظیمی نیاز نداره. به شرطی که عوامل مورد نیاز رو خوب بشناسیم مثل نوع مدل، دامنه کاربرد، اندازه داده و قدرت مدل پایه. با این حال، دو عامل اصلی در فاین تیون #LLM ها مدل و داده هستن

این نمودار برآوردهای هزینه، محاسبات و زمان مورد نیاز را بسته به مدل و اندازه داده در سطح بالا برای مدل های #Llama خلاصه کرده

چیزی که در تصویر بالا مشخصه، داده کم/زیاد و مدل کوچک هست. مدل TinyLlama حدود 1.1 میلیارد پارامتر داره، اما میتونیم این مدل رو تنها با یک GPU فاین‌تیون کنیم. به عنوان نمونه، با داده کم (حداکثر 500 هزار توکن)، تنها با 100 دلار میشه این مدل رو فاین‌تیون کرد. و به نظرم این مدل با این هزینه کار خیلی از بیزینس ها رو راه میندازه


🌑 آقای هوش مصنوعی🌑
🎥رسانه هوش مصنوعی دانشگاه تهران

@MrArtificialintelligence

اخیرا مدل fine tune شده‌ای توسط NVIDIA منتشر شده که در صدر بنچ مارک‌های مختلف قرار گرفته است. این مدل زبانی در واقع fine tune شده مدل Llama 3.1 70B است که با نام Llama-3.1-Nemotron-70B-Instruct منتشر شده. برای fine tune کردن آن از روش RLHF (یادگیری تقویتی با فیدبک انسانی) استفاده شده است. برای مطالعه جزئیات بیشتر اینجا را بخوانید.

#llama
#nvidia
🌑 آقای هوش مصنوعی🌑
🎥رسانه هوش مصنوعی دانشگاه تهران

@MrArtificialintelligence