سلام بر پایتورچی‌های عزیز 🖤
پایتورچ 2.0 معرفی شده!!

خبری بس مهم که دو روز اخیر خیلی مورد توجه بوده. از مهم‌ترین دستاوردهای پایتورچ 2.0 سرعت هست. به تصویر پیوستی نگاه کنید؛ سه دسته مدل رو روی دو نسخه پایتورچ 1.0 و 2.0 باهم مقایسه کردن و نتیجه جالب توجه هست! بین 38 تا 76% افزایش سرعت در پایتورچ 2.0 نسبت به پایتورچ 1.0!! 🤯

همه این افزایش سرعت، تنها با تغییراتی جزئی در کد حاصل میشه. دستوری بنام compile معرفی کردن که کافیه مدل رو به این دستور بدید و تمام...

خب فعلا نسخه رسمی پایتورچ 2.0 نیومده و باید تا مارچ 2023 منتظر بمونیم...

@pytorch_howsam

کتاب حاضر ، نوشته دکتر کوین مورفی کتابی کامل و جامع در حوزه یادگیری ماشینی به شمار می رود که به خوبی تئوری های کلاسیک و پیشرفت های اخیر حوزه یادگیری ماشینی و یادگیری عمیق را تا سال ۲۰۲۲ پوشش داده است. جلد دوم کتاب نیز در سال ۲۰۲۳ منتشر خواهد شد که مباحث پیشرفته تر را در برخواهد گرفت. برای علاقمندان در سطح research level و کسانی که علاقه دارند مطالب حوزه یادگیری ماشین را به صورت عمیق و با جزئیات دقیق بیاموزند، مطالعه این کتاب ارزشمند را پیشنهاد می کنیم.

سلام
چطورید؟ امیدوارم خوب باشید.

میخوام یک کتاب بهتون معرفی کنم. هنوز نسخه نهایی کتاب منتشر نشده ولی درفت در دسترس هست که کیفیت خوبی هم داره.

کتاب درمورد دیپ لرنینگ هست. از جهات مختلفی برای من کتاب خاصی محسوب میشه. پر از تصویرسازی هست که هم فوق العاده هست و هم اینکه تا این اندازه رو در کمتر کتابی دیدم. سعی کرده مقدمات رو هم بگه. مثلا در فصل تابع اتلاف، همون ابتدا مطالب خوبی درباره Maximum Likelihood میگه و بعد کم کم میره سر اصل مطلب.

نگاهی بهش بندازید، شاید براتون مفید باشه. خصوصا دوستانی که دوره دیپ لرنینگ 2022 هوسم رو دیدن.

https://udlbook.github.io/udlbook/

@pytorch_howsam

میدونید LASSO Regression چی هست؟ همونطور که از اسمش مشخصه، یک مدل رگرسیونی هست. اما نکته مهم در بخش LASSO هست. این یعنی، ما با یک مدل رگرسیون همراه با رگیولارایزشن مواجهیم.

حالا رگولاریزه از چه نوعی؟ از نوع نُرم 1. توی سایکیت برای این مدل، یک دستور بنام Lasso داریم.

خب، حالا یکم در مورد خواص LASSO توضیح بدم؛ LASSO مخفف عبارت زیر هست:
Least Absolute Shrinkage and Selection Operator

عبارت بالا دو کلمه مهم داره. اول، کلمه Shrinkage که اشاره به کوچک شدن وزن‌ها با رگولاریزه داره. با رگولاریزه نُرم 1، وزن‌ها کوچکتر میشن، یا میشه گفت جلوی بزرگ شدن وزن‌ها رو میگیره. یکی از نشونه‌های مهم اورفیت، بزرگ شدن وزنهای مدل هست.

کلمه دوم، Selection هست که به خاصیت صفر کردن وزن‌ها اشاره داره. نُرم 1 نسبت به نُرم 2 بی‌رحم‌تر هست. نه تنها وزنها رو کوچک نگه میداره، بلکه بعضی‌هاشون رو صفر میکنه. این یعنی خاصیت انتخاب ویژگی یا Selection داره.

تصویر پیوستی، مقایسه وزن‌های یک مدل درجه 10 در سه حالت {اورفیت، نُرم 1 و نُرم 2} هست.

برگی از دوره یادگیری ماشین‌مون
چطور بود؟

@pytorch_howsam

درسته که فریمورکهایی مثل سایکیت، پایتورچ و تنسورفلو کارمون رو خیلی ساده کردن. اما همیشه موقع کدنویسی، به یکسری توابع جانبی و کمکی نیاز داریم که توی این فریمورکها پیدا نمیشن. مثلا میخوایم ناحیه تصمیم گیری (Decision Region) رو در تسک دسته بندی پلات کنیم.

در چنین حالتی، یا باید برای پیدا کردن کد آماده و معتبر وقت بذاریم، یا باید خودمون از ابتدا کدش رو بنویسیم، یا اینکه از چت جی پی تی بخوایم! 😁 ولی خب یک لایبرری تروتمیز که این توابع جانبی رو داشته باشه، خیلی کمکمون میکنه.

لایبرری mlxtend، اومده که به شما کمک کنه و توابع کمکی زیادی داره. مثلا با دستور plot_decision_regions میتونید به راحتی ناحیه تصمیم گیری شبیه تصویر بالا رسم کنید. یا با دستور bias_variance_decomp میتونید بایاس/واریانس مدل رو حساب کنید.

لینک لایببری mlxtend:
https://rasbt.github.io/mlxtend/

@pytorch_howsam

مدلهای pre-train در کگل!

کگل یک بخش جدیدی بنام Models اضافه کرده که شامل مدلهای pre-train حوزه یادگیری عمیق هست.
https://www.kaggle.com/models

تنوع خوبی داره؛ شامل مدلهای دسته بندی، تصویری، متن، صوت و غیره میشه. احتمالا کم کم این بخش هم بزرگتر میشه. کگل چند روز پیش اعلام کرد که کلکسیون دیتاستهاش به 200 هزار دیتاست رسیده!

@pytorch_howsam

یه روز که بزرگ شدم، دلار 1000 تومن شد، تحریم هم نبودیم، اینو میخرم! 🥲
شقایق وای شقایق، گل همیشه عاشق 🚛
https://store.arduino.cc/products/nicla-vision

سلام دوستان،
طی 7 سال فعالیت در هوسم، همواره تلاش کردیم آموزش‌های رایگان/غیررایگان و بروزی از حوزه هوش مصنوعی آماده کنیم.

آموزش‌های رایگان زیادی در وبلاگ منتشر کردیم. همچنین، آموزش‌های ویدئویی زیادی تولید کردیم که مهم‌ترین و جدیدترین‌ها اینهاست:
پایتون برای هوش مصنوعی (30 ساعت، هنوز دوره تموم نشده)
یادگیری ماشین 2022 (50 ساعت، هنوز دوره تموم نشده)
یادگیری عمیق 2022 (81 ساعت)
بینایی کامپیوتر حرفه‌ای (75 ساعت)

در دوره‌هامون وزن یکسانی برای تئوری و کدنویسی قائل هستیم. معتقدیم، هوش مصنوعی صرفا ()model.fit نیست و باید اصولی مطالب رو یاد گرفت.

خوشبختانه، هوسم مورد لطف و اعتماد مخاطبین عزیز بوده و با فیدبک‌ها، هوسم رو به سمت بهتر شدن سوق دادن. تلاشمون رو می‌کنیم در سال جدید بهتر بشیم.

برای دوره‌های هوسم تخفیف 50% تا پایان اسفند درنظر گرفتیم. اگر دوست داشتید به دوره‌های ما نگاهی بندازید. برای دوره‌ها دموهای متعددی گذاشتیم که پیش از تهیه، از کیفیت دوره‌ها مطمئن بشید.

برای راهنمایی، می‌تونید با پشتیبانی آنلاین در سایت یا پشتیبانی در تلگرام @howsam_support صحبت کنید.

www.howsam.org

سلام دوستان،
پایتورچ 2.0 رسما دیگه دردسترس هست و از این به بعد میتونید نسخه رسمی پایتورچ 2.0 رو نصب کنید. قبلا اینجا (لینک)، توضیحی در مورد پایتورچ 2.0 داده بودیم.
قرار بود دوره پایتورچ رو آپدیت کنیم. دیگه آموزش رو باید با نسخه 2.0 آماده کنیم.

یک خبر مهم اینکه MIT Deep Learning 2023 اومده. توی تصویر بالا تاپیک‌ها رو می‌تونید ببینید.

ویژگی مهم این مجموعه این هست که سعی میکنه خیلی ساده مباحث رو ارائه بده. پیشنهاد می‌کنم مباحث جدید مثل text to image generation رو مطالعه کنید.

دوستانی که دوره یادگیری عمیق 2022 هوسم رو تموم کردن، میتونن با این دوره دانششون رو بیشتر کنن.

https://introtodeeplearning.com/

@pytorch_howsam

سلام رفقا
تا الان دوره و کتابهای زیادی در دیپ لرنینگ و ماشین لرنینگ بهتون معرفی کردم. الان میخوام یه دوره دیپ لرنینگ متفاوت بهتون معرفی کنم. این دوره دیگه فقط شامل شبکه MLP CNN Transformer GAN و غیره نیست. مطالبی که توی این دوره گفته شده، ممکن هست دغدغه خیلی از شماها باشه. مثلا چی؟ مثلا، MLOPS یا Data Management یا Test یا AI Ethics و ...

علاوه بر عناوین بالا، یک جلسه جالب با موضوع ML Teams & Startups دیدم. مربوط میشه به نحوه تشکیل یک تیم ML که جالب هست. یک اسلاید از این جلسه رو در تصویر بالا میبینید؛ تعریف دقیقی از تخصصها ارائه داده که واقعا آموزنده هست.

ویدئوها و اسلایدهای این دوره به صورت رایگان دردسترس هست:
https://fullstackdeeplearning.com/spring2021/lecture-13/

اما یک توضیح کلی هم درباره سایتشون (fullstackdeeplearning.com) بدم؛ از اسمش (فول استک دیپ لرنینگ) میشه حدس زد که اهدافش چی هست. به بخشهای دیگه سایت حتما سر بزنید و این منبع آموزشی متفاوت رو از دست ندید.

حالا برو فوتبال ببین! 😁

@pytorch_howsam

سلام
مجموعه deeplearning.ai (دکتر اندروانگ و دوستان) یکسری کورس کوتاه معرفی کرده که به گفته خودشون برای مدت محدودی رایگان هست. این کورسها شامل مطالب جالبی هستن:
* Building Systems with the ChatGPT API
* ChatGPT Prompt Engineering for Developers
* LangChain for LLM Application Development
* How Diffusion Models Work

موضوعها ترند هستن. فقط اون مورد آخر، دیفیوژن مدلها، برای افرادی مناسب هست که دانش و مهارت خوبی در یادگیری عمیق دارن. چون خیلی کوتاه و خلاصه درموردش توضیح دادن.

لینک:
https://www.deeplearning.ai/short-courses/

@pytorch_howsam

یک مقاله جالب

اگه کمی با ساختار مغز آشنا باشید، میدونید که در مغز انسان نورونهای مختلفی وجود داره.

اما اکثر شبکه های عصبی ما ساختار یکسانی برای نورون درنظر میگیرن که یک تابع فعالساز مثل سیگموید، رلو یا موارد دیگه داره. حالا در مقاله ای اومدن شبکه Neural Diversity رو معرفی کردن که میتونه با وزنهای رندوم مسائل RL رو حل کنه.

به ویدئوی بالا نگاه کنید؛ سمت چپی، یک شبکه عصبی استاندارد و سمت راستی شبکه پیشنهاد شده در این مقاله هست. به توابع فعالساز دو شبکه نگاه کنید؛ ببینید تفاوت قالب توجهی باهم دارند. درعین حال، به نقطه چینهای قرمز و سبز هم دقت کنید. قرمزها قابل آموزش و سبزها ثابت هستن. میبنید که دو شبکه برعکس همدیگه هستن.

در شبکه استاندارد، نورونها ثابت و اتصالات بین نورونها قابل یادگیری هست. اما در شبکه پیشنهادی، نورونها قابلیت یادگیری دارن و اتصالات ثابت و صرفا اعدادی رندوم هستن. هر نورون در این شبکه ساختاری مشابه با RNN داره و به قول مولفهای مقاله، یک TinyRNN هست. این نورونها یکسری وزن دارن که قابلیت یادگیری دارن. به اکتیویشنها در ویدئو دقت کنید. اکتیویشنهای متنوعی میبینید.

مقاله | رفرنس

@pytorch_howsam

در مطالب آموزشی درس یادگیری ماشین، کمتر به بحث بهینه سازی (Optimization) پرداخته میشه. درحالیکه در یادگیری ماشین حضور پررنگی داره. اصلا قلب تپنده خیلی از الگوریتمهای یادگیری ماشین هست.

اگه یادگیری ماشین رو در سطح خوبی یاد گرفتید، مطالعه Convex Optimization براتون مفیده و میتونه دید شما رو در یادگیری ماشین ارتقا بده.

اینجا یک اسلاید قدیمی و تروتمیز از دانشگاه برکلی براتون گذاشتیم که نگاهی بهش بندازید. قطعا کافی نیست، ولی برای دیدن رئوس مطالب و آشنایی با کلیدواژه ها خوب هست.

https://people.eecs.berkeley.edu/~jordan/courses/294-fall09/lectures/optimization/slides.pdf

@pytorch_howsam

خیلیا میدونن paperswithcode چیه و خیلیا هم نمیدونن...

ما همیشه توی همه دوره هامون و همچنین گروه های پشتیبانی میگیم که از سایت paperswithcode غافل نشید. اگه میخوای مقاله با کد پیدا کنی، اگه میخوای موضوع مناسب برای پایان نامه پیدا کنی، اگه میخوای کارهای تحقیقاتی ترند رو پیدا کنی و ... همه و همه اینها در این سایت وجود داره.

حالا، ما در سایت یک وبلاگ براش نوشتیم. یک ربع وقت بذارید مطالعه کنید، لینکش رو هم بوکمارک کنید، بعدا بدردتون میخوره.

لینک وبلاگ آشنایی با سایت paperswithcode:
https://howsam.org/paperswithcode-introduction/

@pytorch_howsam 🫶

سلام
یک دوره خوب و جدید با رویکرد هوش مصنوعی کاربردی در کورسرا. اسم دوره:
AI for Good Specialization

شامل سه بخش (پروژه) هست:
AI and Public Health
AI and Climate Change
AI and Disaster Management

اینم معرفی دوره:
Learn AI's role in addressing complex challenges. Build skills combining human and machine intelligence for positive real-world impact using AI

لینک کورس

@pytorch_howsam

یکی از کارهای مهم برای تقویت رزومه، انجام پروژه هست. پروژه هایی که در حد MNIST و CIFAR نباشه و البته یک پروژه سنگین تجاری هم نباشه!

با اومدن ChatGPT این فرصت در اختیار افراد قرار گرفته که راحت تر و بهتر از قبل برای خودشون پروژه تعریف کنن و به کمک اون انجامش بدن.

خیلی راحت میتونیم ازش بخواییم که برامون پروژه تعریف کنه که هم متناسب با توانایی ما باشه، هم توانایی ما ارتقا پیدا کنه و هم اینکه یک آیتم یا ویژگی خوب به رزومه مون اضافه بشه.

میخوام یک پست از towardsdatascience بهتون معرفی کنم که درمورد این مساله صحبت کرده. گفته که شما باید نمونه کار در رزومه داشته باشید و اتفاقا یکسری از پروژه هایی که میشه با LLM-ها (مدلهای زبانی هیولا!) ساخت رو ذکر کرده.

یکی از پیشنهاداتش، YouTube or Podcast Summarizer هست. ممکن هست، بگید که "حاجی خبر نداری، اینو خیلی وقته ساختن!" نه، نشد! ما این پروژه ها رو با اهداف تجاری نمیسازیم، بلکه با اهداف یادگیری، ارتقای توانایی و رزومه مسازیم. پس مهم نیست که قبلا ساخته شده...

لینک وبلاگ معرفی شده

@pytorch_howsam

Introducing the world's first ever AI that can have full on 10-40 minute long phone calls that sound like a REAL human, with infinite memory, perfect recall, and can autonomously take actions across 5,000 plus applications. It can do the entire job of a full time agent without having to be trained, managed or motivated. It just works 24/7/365.

با پیشرفت فناوری هوش مصنوعی، امکان پیاده‌سازی سیستم‌های هوش مصنوعی پیچیده‌تر به منظور مدیریت تعاملات با مشتریان فراهم شده است.

این سیستم‌های هوش مصنوعی
قابلیت برقراری مکالمات تلفنی بلند
تماس‌های تلفنی کامل ۱۰ تا ۴۰ دقیقه‌ای
که صدایی شبیه به یک انسان واقعی دارد و
با شباهت به رفتار انسانی، حافظه نامحدود، بازخوانی کامل و قادر به انجام عملیات به صورت خودکار در بیش از 5000 برنامه مختلف را دارند.

https://www.air.ai/

پادکست : تولید دیتا در فوتبال

دیتا رو شکنجه کنی ، به هر چی اعتراف میکنه 🤠

باشگاه برایتون و برنتفورد Brighton / Brentford توسط دیتاساینتیست ها مدیریت می شود.

در عصر هوش مصنوعی ، دیگه حرف فرگوسن شوخیه !

(برشی از برنامه پادکست فوتبال 360)

A powerful tool for unstructured Data, DagsHub Data Engine!

Designed to conquer the complexities of unstructured data and build reliable models.