a fantastic ML blog of Lilian Weng (Researcher@OpenAI)

https://lilianweng.github.io/

حس پیاده‌سازی GPT را ندارید؟ حق دارید، آموزش ندیده‌اید.

نقل قولی منتسب به کنفوسیوس هست که میگه می‌شنوم و فراموش می‌کنم، می‌بینم و یادم می‌ماند، انجام می‌دهم و می‌فهمم. در همین راستا، بارها پرسیده شده که ما فلان مقالات دیپ لرنینگی رو خوندیم ولی اون قدر که باید تاثیر این خوندن رو حس نمی‌کنیم و باید چه کنیم؟ پاسخ اینه که باید کد زد، پیاده‌سازی کرد و پروژه دست‌گرمی انجام داد تا رو ریل افتاد. اما اینجا یک مساله مرغ و تخم‌مرغی به وجود میاد که آدم از کجا می‌تونه بفهمه اصلا چی رو باید بزنه و این زدنش درست بوده یا نه و اصلا چه جوری از همین کد زدنش یاد بگیره؟

آقامون آندره کارپثی از غولهای هوش مصنوعی، پس از جدایی از تسلا، در ایام فراغت خودش زده تو کار آموزش. از اونجایی که در چند وقت اخیر هم ترند ChatGPT در میون طیف وسیعتری از مردم (و نه صرفا هوش‌مصنوعی‌کارا) داغ شده ایشون ویدئویی دو ساعته ضبط کرده و در اون به آموختن پیاده‌سازی مدل GPT (البته از سایز کوچیکش در حدی که قابل آموزش‌دادن روی کولب باشه) و آموزشش روی دیتاست نوشته‌های شکسپیر پرداخته. این ویدیو بسیار ارزشمنده و کارپثی از ب بسم الله که توکنایزیشن باشه تا اجزای معماری ترنسفورمر رو جز به جز با زبان شیوا و بیان جزییات لازم و حکمت وجودیشون توضیح داده و همزمان پیاده‌سازی هم می‌کنه و تازه در انتها هم گریزی به ChatGPT زده و در مورد اون هم صحبت کرده. دیدن این ویدیو رو حتما در اولویت‌هاتون قرار بدین و قطعا از صرف زمان برای اون ضرر نخواهید کرد.

در ضمن اقای کارپثی قبل از این هم یک سری ویدیو تحت عنوان Neural Networks: Zero to Hero تدارک دیده و در اون به توضیح و پیاده‌سازی چیزای پایه‌‌ای‌تر مثل توابع فعالسازی و BackPropagation پرداخته و این ویدیو ساخت GPT اش هم به جزیی از همین پلی لیسته. حالا که تا اینجا اومدید این پلی‌لیست نابش رو هم از دست ندید.

ویدیو ساختن GPT از صفر با کارپثی:
https://www.youtube.com/watch?v=kCc8FmEb1nY

پلی‌لیست Neural Networks: Zero to Hero از کارپثی:
https://www.youtube.com/playlist?list=PLAqhIrjkxbuWI23v9cThsA9GvCAUhRvKZ


#coach
#watch

@nlp_stuff

یه ایمیج جذاب برای بالا آوردن یه کانتینر آماده برای توسعه برنامه های دیتاساینس (مشابه کولب🔥)
jupyter/datascience-notebook

مشکلی به نام تحریم یافیلترینگ pypi.org

چند روزی است که متأسفانه دسترسی به وبسایت pypi.org و نصب بسته های پایتونی توسط pip با مشکل مواجه شده است. از این رو لازم هست از روش‌های جایگزین موجود استفاده کرد از جمله :
۱. استفاده از vpn ها 😩
۲. تحریم شکن ها ( مدعی تحریمی بودن سایت بالا که البته من ۵ تحریم شکن مختلف رو چک کردم و هیچ کدوم روی همراه اول و صبا نت جواب نداده اند!)🤥
۳. استفاد ه از آیینه ها ( mirrors ). 🤓

برا استفاده از آیینه ها میتوانید به صورت زیر عمل کنید:

pip install --trusted-host [host] -i [address] some-pckage

برای استفاده از دستور بالا نیازمند لیست مخازن آیینه pypi هستیم که لیست host و address هایی که تست شده اند در ادامه آمده است:
Host Addsess

https://pypi.tuna.tsinghua.edu.cn    https://pypi.tuna.tsinghua.edu.cn/simple/ 
https://mirrors.aliyun.com      https://mirrors.aliyun.com/pypi/simple/ 
https://pypi.mirrors.ustc.edu.cn    https://pypi.mirrors.ustc.edu.cn/simple/ 
https://repo.huaweicloud.com      https://repo.huaweicloud.com/repository/pypi/simple/ 
https://pypi.douban.com      https://pypi.douban.com/simple/ 
https://pypi.sdutlinux.org      https://pypi.sdutlinux.org/ 
https://pypi.hustunique.com      https://pypi.hustunique.com/ 

مسلماً نوشتن این دستور با این حجم از اطلاعات خیلی مقلول نیست، لذا میتوانیم ( در لینوکس🐧) در فایل .bashrc دستورات زیر را وارد کنیم :

alias pip_china1="pip install --trusted-host https://pypi.tuna.tsinghua.edu.cn -i https://pypi.tuna.tsinghua.edu.cn/simple/ "
alias pip_china2="pip install --trusted-host https://mirrors.aliyun.com -i https://mirrors.aliyun.com/pypi/simple/ "
alias pip_china3="pip install --trusted-host https://pypi.mirrors.ustc.edu.cn -i https://pypi.mirrors.ustc.edu.cn/simple/ "
alias pip_china4="pip install --trusted-host https://repo.huaweicloud.com -i https://repo.huaweicloud.com/repository/pypi/simple/ "
alias pip_china5="pip install --trusted-host https://pypi.douban.com -i https://pypi.douban.com/simple/ "
alias pip_china6="pip install --trusted-host https://pypi.sdutlinux.org -i https://pypi.sdutlinux.org/ "
alias pip_china7="pip install --trusted-host https://pypi.hustunique.com -i https://pypi.hustunique.com/ "

به این ترتیب به جای pip می‌توانید از pip_china1 تا pip_chana6 استفاده کنید.

⚠️البته یک راه راحت‌تر* هم هست و اون هم جایگزین کردن هر یک از آیینه های بالا با آدرس پیش‌فرض pip در سیستم هست.

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pip -U
pip config set global.index-url  https://pypi.tuna.tsinghua.edu.cn/simple

* البته من به شخصه تغییر تغییر کلی آدرس ریپازیتوری رو پیشنهاد نمیدهم

™ @DjangoIR
〰️〰️〰️〰️〰️〰️
© @DjangoEx

کورس کلاسی دانشگاه آستین تکزاس
Natural Language Processing at UT Austin (Greg Durrett)

https://youtube.com/playlist?list=PLofp2YXfp7Tbk88uH4jejfXPd2OpWuSLq

#منابع #آموزش_کلاسی #فیلم #کلاس_آموزشی #پردازش_زبان_طبیعی
#NLP

✅ @AI_PYTHON

ابزاری قوی برای ترسیم شبکه های عصبی عمیق در مقالات:
#tool
#paper

https://alexlenail.me/NN-SVG/LeNet.html

با این که میدونم این موضوع آف تاپیکه ولی به نظرم رسید شاید به کارتون بیاد

یه سایت باحال برای چک کردن سیر استار گرفتن ریپو‌های گیت هاب
https://star-history.com

Interpretable machine learning

This book is about interpretable machine learning. Machine learning is being built into many products and processes of our daily lives, yet decisions made by machines don't automatically come with an explanation. An explanation increases the trust in the decision and in the machine learning model. As the programmer of an algorithm you want to know whether you can trust the learned model. Did it learn generalizable features? Or are there some odd artifacts in the training data which the algorithm picked up? This book will give an overview over techniques that can be used to make black boxes as transparent as possible and explain decisions. In the first chapter algorithms that produce simple, interpretable models are introduced together with instructions how to interpret the output. The later chapters focus on analyzing complex models and their decisions. In an ideal future, machines will be able to explain their decisions and make a transition into an algorithmic age more human. This books is recommended for machine learning practitioners, data scientists, statisticians and also for stakeholders deciding on the use of machine learning and intelligent algorithms.

https://christophm.github.io/interpretable-ml-book/
GitHub: https://github.com/christophM/interpretable-ml-book

About This Site

This website was formally built in the spring of 2017, but the style of the site has been changed several times.

The main purposes of this website are listed here:

- Discuss the mathematics and the technical details of machine learning, deep learning, and computer science theories
- Document the implementation of algorithms for solving real problems
- Present my independent research projects
- Record my personal achievements

It should be noted that all the contents of this website are solely my own and do not express the views or opinions of my employer.

https://leimao.github.io/

یکی از کارای خیلی باحال توی این فیلد interpretable این مقاله هست که اومدن سعی کردن ببینن مثلا این فکت که لبران جیمز بازیکن بسکتباله حدودا کجای مدل زبانی ذخیره شده و همچنین بعدش بیان این فکت رو جوری تغییر بدن که بقیه اطلاعات مدل خراب نشه و صرفا دقیقا همون فکت لبران جیمز بازیکن بسکتباله بشه مثلا بازیکن فوتباله
(اگر صرفا بیان توی خروجی ترینش کنن ممکنه چیزای غیر مستقیمش خراب بشه مثلا یهو هرچی بازیکن بسکتباله بشه فوتبالیست)

کلیپ یوتیوب:
https://youtu.be/_NMQyOu2HTo

پیج مقاله اصلی:
https://rome.baulab.info/

پیج مقاله بعدی و scale شده:
https://memit.baulab.info/
دمو:
https://memit.baulab.us/

🎥 دوره آموزشی پردازش تصویر (Image processing)
🔺جلسه اول

🏛 برگزار شده توسط بنیاد ملی نخبگان

در کانال انجمن علوم داده با ما همراه باشید 🌱
| @DataScience_Association |

🎥 دوره آموزشی پردازش تصویر (Image processing)
🔺جلسه دوم

🏛 برگزار شده توسط بنیاد ملی نخبگان

در کانال انجمن علوم داده با ما همراه باشید 🌱
| @DataScience_Association |

🎥 دوره آموزشی پردازش تصویر (Image processing)
🔺جلسه سوم

🏛 برگزار شده توسط بنیاد ملی نخبگان

در کانال انجمن علوم داده با ما همراه باشید 🌱
| @DataScience_Association |

در بزنگاه‌های مختلفی از دوره دکتری‌ام برمی‌گردم و چهار درس طلایی واینبرگ را مرور می‌کنم. هر بار هم از این کار حس عجیبی پیدا می‌کنم. خلاصه این درس‌ها به این شرح است:

۱) من باید پژوهشم را شروع کنم و هر چیزی که به دانستن آن نیاز دارم را طی مسیر بردارم. هیچ کس همه چیز را نمی‌داند و شما هم نیازی ندارید که بدانید!

۲) تا وقتی که شنا می‌کنید و غرق نمی‌شوید باید آب‌های سخت را هدف بگیرید. به دنبال بهم‌ریختگی‌ها بروید، هر چه خبر است در آنجاست!

۳) خودتان را به خاطر هدردادن وقت ببخشید! اگر می‌خواهید خلاق باشید، باید به این عادت کنید که بیشتر زمان خود را می‌بایست صرف خلاق نبودن کنید و برای مدتی روی اقیانوس دانش علمی در انتظار باد متوقف بمانید.

۴) چیزی از تاریخ علم یا دست کم تاریخ شاخه‌ای از علم که دنبالش می‌کنید یادبگیرید. به عنوان یک دانشمند احتمالا شما قرار نیست که فرد ثروتمندی شوید. احتمالا دوستان و خانواده‌تان نخواهند فهمید که شما مشغول چه کاری هستید. با این وجود شما می‌توانید با تشخیص این‌که کار شما در علم بخشی از تاریخ است احساس رضایت زیادی به دست آورید.

صفحه جدید گوگل برای سرچ دیتاست:
https://datasetsearch.research.google.com/

انجمن علمی دانشکده مهندسی کامپیوتر علم و صنعت برگزار می‌کند:
《جلسه دفاعیه‌ پروژه‌ پایانی》

👤 ارائه‌دهنده: هادی شیخی، ورودی ۹۷

✅ عنوان پروژه: تولید پاسخ در پرسش و پاسخ تصویری

📋 یک‌شنبه ۲۳ بهمن، ساعت ۱۴:۲۰

🟢 مکان ارائه:
🔺دانشکده مهندسی کامپیوتر، اتاق دفاعیه‌ دکترا
🔺جلسه مجازی تیمز

#دفاع
#پروژه_پایانی
—————————
🆔 @iust_cesa

یه ویدیو عالی برای درک Denoising Diffusion Probabilistic Model (DDPM) که این روزا خیلی بحثش داغه و ظاهرا از GAN بهتر عمل میکنه.
تو یک ساعت اول این ویدیو از صفر تا صد مدل DDPM توضیح داده میشه و میشه با هر میزان دانشی از آمار ازش استفاده کرد.

https://youtu.be/cS6JQpEY9cs

یک کانال خیلی خوب برای درک ویژوال (انمیشینی سه‌بُعدی) کانسپت‌های بیسیک CNN ها

https://www.youtube.com/@animatedai