چه مبتدی باشید چه یک پژوهشگر با تجربه،این لینکها میتونه براتون مفید باشه:
کورس های رایگان حوزه هوش مصنوعی:
https://github.com/SkalskiP/courses

#کورس #منبع #آموزش

توی این ریپو، سعی شده یه سری نکات که برای ادامه کار های پژوهشی و ریسرچ (البته با تمرکز روی دانشجوهای دکترا) نیازه و ممکنه خیلیامون بهش نیاز پیدا کنیم رو جمع آوری کنه و یک جا قرار بده. این نکات در قالب تردهای توییتری هست که تو این ریپو قرار داده شدن. درسته که به اسم برای دانشجوهای دکتراست، ولی به نظرم برای ما هم می‌تونه مفید باشه و دونستنشون تو این بازه زمانی بتونه دید ما رو نسبت به این موضوعات بازتر کنه.
سرتونو درد نیارم، این ریپو به شدت توصیه میشه👌👌

https://github.com/jbhuang0604/awesome-tips

صحبت های آندرو انجی و یان لیکون در رابطه با توقف ۶ ماهه توسعه مدل‌های قدرتمندتر از GPT4 و بیان نظراتشون

https://www.youtube.com/live/BY9KV8uCtj4?feature=share

مدل HuggingGPT، مدلی با مغز GPT و بازوی HuggingFace

همانطور که خودتون هم می‌بینید و می‌شنوید ChatGPT همه جا رو در نوردیده و طیف مختلف و وسیعی از وظایف مختلف رو میتونه بهتر از انسان انجام بده. با وجود این همه قدرت مدل‌های زبانی، اما این مدل‌ها محدودیت‌هایی هم دارند. مثلا صرفا به مسائلی که ورودی و خروجی‌شون متنی هستند محدود هستند (ممکنه بگید GPT4 مدل مولتی موداله بله اما GPT4 اولا فقط میتونه در ورودی تصویر بگیره و ثانیا اگر بخواد تصویر خروجی بده باید تحت کدی مثل tikz این کار رو بکنه که کیفیت عکس‌هاش اصلا اون چیزی که در نظر هست نیست). محدودیت دیگه این که در سناریوهای دنیای واقعی که نیازمند شکستن وظیفه به چندزیروظیفه هست هم عملکرد کاملی ندارند و البته در بعضی مسائل خاص متنی هم حتی نسبت به مدل‌های اکسپرت عملکرد پایین‌تری دارند. حالا یک عده چینی از دانشگاه zhejiang ایده‌ای برای حل این محدودیت‌ها به سرشون زده و اون رو با نام HuggingGPT پیاده کردند. شهود این ایده این شکلیه که بیایم از chat-gpt به عنوان مغز و یک جور کنترلگر و از مدل‌های حاضر در هاب هاگینگ‌فیس در حکم بازوان اجرایی متخصص استفاده کنیم. در این صورت می‌تونیم هم از قدرت منطقی gpt استفاده کنیم و هم این که تسک‌هایی که gpt نمی‌تونه اجراشون کنه (مثل تسک‌های تصویری و صوتی) رو با استفاده از مدل‌های متخصص حاضر بر روی HuggingFace بتونیم انجام بدیم.

این مدل به صورت کلی چهار بخش Task Planning و Model Selection و Task Execution و Response Generation دارد. روال کار هم به این صورته که کاربر درخواستش رو به مدل میده و مدل طی یک پایپلاین با کمک این چهار بخش درخواست کاربر رو انجام میده. در Task Planning درخواست کاربر ورودی گرفته می‌شه و به ChatGPT داده می‌شه. در این جا chatgpt وظیفه داره منظور این درخواست کاربر رو بفهمه و اون رو به زیروظایف کوچک‌تر بشکنه و همچنین ترتیب اجرای این زیروظایف و ورودی و خروجی‌ اون‌ها رو مشخص کنه. در گام بعدی یا Model Selection سپس هر کدوم از این زیروظایف و مشخصات مدل‌های حاضر بر روی هاب هاگینگ‌فیس به chatgpt داده می‌شن و chatgpt تصمیم می‌گیره که برای هر یک از این زیروظایف از چه مدلی می‌شه استفاده کرد. سپس در مرحله سوم یا Task Execution، هر یک از این زیروظایف توسط مدل‌های مشخص شده اجرا می‌شن و البته تحت ترتیبی که تو مرحله یک مشخص شده به هم وصل می‌شن و ورودی و خروجی‌های همدیگر رو فراهم می‌کنند. در گام آخر یا Repsonse Generation هم دوباره خروجی‌های مرحله سوم به ChatGPT داده می‌شن و ChatGPT با جمع‌بندی این خروجی‌ها، خروجی نهایی مدل رو آماده می‌کنه. برای فهم بهتر می‌تونید تصاویر پیوست شده رو مشاهده کنید. یک سری آزمایش هم اومدند و روی این مدل انجام دادند و نشون دادند که می‌تونه وظایف خیلی پیچیده‌ای که نیازمند ترکیب توانایی‌های تصویری و صوتی و متنی هست رو انجام بده. نکته واجب به ذکر اینه که برای این که ChatGPT بفهمه هر یک از مراحل بالا رو باید انجام بده هم از In-context Learning استفاده کردند، یعنی این که نمونه ورودی‌ها و خروجی‌ها رو در prompt ورودی به ChatGPT می‌دن و GPT خودش می‌فهمه باید چه جوری اوستا کنه قضیه رو.

قبلا در این پست (https://t.iss.one/nlp_stuff/318) هم راجع به یک کیس جالب دیگه که از LLM به عنوان حتی بک‌اند استفاده کرده بود صحبت کرده بودیم. به نظر می‌رسه با قدرت‌گیری LLM‌ها در آینده نزدیک شاهد خیزش ترندی خواهیم بود که سعی می‌شه تا از اونها در حکم LLM as App یا حتی LLM as Everything استفاده بشه. آینده جذابی پیش روی محصولات این حوزه است. کسی چه می‌داند، شاید دنیای مهندسی نرم‌افزار بعد از LLM ها به شدت تکانده شود.

لینک مقاله:
https://arxiv.org/abs/2303.17580

پی‌نوشت: با به اشتراک‌گذاری مطالبی که از آن‌ها لذت می‌برید، به بقیه هم این لذت رو هدیه بدید.

#read
#paper

@nlp_stuff

یک خبر مهم اینکه MIT Deep Learning 2023 اومده. توی تصویر بالا تاپیک‌ها رو می‌تونید ببینید.

ویژگی مهم این مجموعه این هست که سعی میکنه خیلی ساده مباحث رو ارائه بده. پیشنهاد می‌کنم مباحث جدید مثل text to image generation رو مطالعه کنید.

دوستانی که دوره یادگیری عمیق 2022 هوسم رو تموم کردن، میتونن با این دوره دانششون رو بیشتر کنن.

https://introtodeeplearning.com/

@pytorch_howsam

یکی از بهترین منابع برای شروع یادگیری همزمان پایتون و ماشین لرنینگ با پایتون:

سری ویدئو Kaggle's 30 days of ML از Abhishek Thakur قهرمان مسابقات kaggle

چرا این دوره؟ به این دلیل که نسبت به دوره‌های دیگه برای شروع از صفر خیلی سریع به صورت practical دست به کد میشید و میرید سر اصل مطلب.
بنابراین با این دوره راه میفتید و اعتماد به نفس میگیرید، و بعد از اون میشه ضعف‌های تئوری و ابزار رو با دوره‌ها و پروژه‌های بعدی پوشش داد. لینک۱ لینک۲ لینک۳ رو ببینید. یادگیری در این حوزه هيچوقت تمامی نداره.

دو مورد اصلی در یادگیری یک مهارت به شکل خیلی کلی، بحث شروع کردن و ادامه دادن هست. بسیاری از آدم‌ها شروع نمیکنن و بسیاری صرفا شروع میکنن و ادامه‌ای در کار نیست. طبق آماری که مدرس همین دوره در توییترش گفت تعداد بازدید از ویدئوی اول بالای ۱۰ برابر اکثر ویدئوهای بعدی هست و نوشت این یعنی فقط ۱۰ درصد افرادی که شروع کردن ادامه هم دادن.

به نظرم هیچ زمانی برای یادگیری یک مهارت پرفکت نخواهد بود: شروع کنید و ادامه هم بدید؛ با هر میزان زمان و به هر شکلی که شده.

پ.ن.: برای باز شدن سایت kaggle یا گاهی برای ران گرفتن در kaggle به اینترنت بدون فیلتر نیاز هست. اگر مشکل داشتید همین کد‌هارو در colab تمرین کنید.
@deeptimeai

🔥 ALERT: Stable Diffusion XL just launched! 🔥

👉SDXL the new generative AI by Stability.AI for images from text. Up to 1024x1024 resolution, for free.

😎More https://bit.ly/41wrh0j

🌻 DDS: diffusive text-based image editing 🌻

👉Google unveils a novel text-based image editing for modifications of an input image towards a text description.

😎Review https://bit.ly/3L52UBl
😎Paper arxiv.org/pdf/2304.07090.pdf
😎Project delta-denoising-score.github.io

سلام رفقا
تا الان دوره و کتابهای زیادی در دیپ لرنینگ و ماشین لرنینگ بهتون معرفی کردم. الان میخوام یه دوره دیپ لرنینگ متفاوت بهتون معرفی کنم. این دوره دیگه فقط شامل شبکه MLP CNN Transformer GAN و غیره نیست. مطالبی که توی این دوره گفته شده، ممکن هست دغدغه خیلی از شماها باشه. مثلا چی؟ مثلا، MLOPS یا Data Management یا Test یا AI Ethics و ...

علاوه بر عناوین بالا، یک جلسه جالب با موضوع ML Teams & Startups دیدم. مربوط میشه به نحوه تشکیل یک تیم ML که جالب هست. یک اسلاید از این جلسه رو در تصویر بالا میبینید؛ تعریف دقیقی از تخصصها ارائه داده که واقعا آموزنده هست.

ویدئوها و اسلایدهای این دوره به صورت رایگان دردسترس هست:
https://fullstackdeeplearning.com/spring2021/lecture-13/

اما یک توضیح کلی هم درباره سایتشون (fullstackdeeplearning.com) بدم؛ از اسمش (فول استک دیپ لرنینگ) میشه حدس زد که اهدافش چی هست. به بخشهای دیگه سایت حتما سر بزنید و این منبع آموزشی متفاوت رو از دست ندید.

حالا برو فوتبال ببین! 😁

@pytorch_howsam

#کارگاه_پنجم

💻 طراحی سیستم‌های هوشمند با رویکرد Human-in-the-loop

🎤 ارائه‌دهنده:

مهدی آخی:
دانشجوی کارشناسی ارشد مهندسی نرم‌افزار، دانشگاه صنعتی شریف
عضو آزمایشگاه مهندسی نرم‌افزار هوشمند دانشگاه شریف

👥 عنوان کارگاه:
Human in the Loop(HitL), Reinforcement Learning Human Feedback(RLHF)

🔗 ویدیو در آپارات رویداد

📱 Instagram | Twitter | LinkedIn

🆔 @Datadays_Sharif

Guidance: a cheat code for diffusion models

simple explanation

https://sander.ai/2022/05/26/guidance.html

راهنمای پخت (😂) روش های یادگیری خودناظر یا همون self-supervised

این راهنما توسط گروه هوش مصنوعی Meta آماده شده و مطمئنم هیچ گروهی بهتر از اونها نمیتونه این مفهوم رو توضیح بده

راهنما:
https://arxiv.org/abs/2304.12210

توضیحات بیشتر:
https://ai.facebook.com/blog/self-supervised-learning-practical-guide/?utm_source=twitter&utm_medium=organic_social&utm_campaign=blog&utm_content=card

اگه شما هم مثل من تا به حال خیلی توی بحث indexing کتابخونه numpy عمیق نشدین، خوبه که برای اینکه یه کمی آشناتر بشین این توییت رو ببینین

https://twitter.com/alexhdezgcia/status/1651130519218782208?t=ObyitX1mq-nU4-sl0m7UIw&s=35

رقیبی جدی برای مایکروسافت و گوگل اسکالر و سایر انتشاراتی ها ،به وسیله کلید واژه میتوانید مقاله خاص هر موضوعی را سرچ کنید

https://alpha.openalex.org/works

#خبر #مقاله

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind

ترنسفورمر از صفرِ صفرِ صفر
به معنی واقعی کلمه صفر

https://e2eml.school/transformers.html

عجب سایت خوبیه پشمام!

ستون دل‌ها Andrew NG در توییتر خودش از یک کورس کوتاه جدید با عنوان ChatGPT Prompt Engineering for Developers خبر داد که با همکاری با یکی از کارکنان شرکت OpenAI ساخته شده.

این کورس ۱.۵ ساعته رو میتونید از لینک زیر مشاهده کنید:
https://deeplearning.ai/short-courses/chatgpt-prompt-engineering-for-developers/

لینک توییت:
https://twitter.com/AndrewYNg/status/1651605660382134274