Into the Wild: Machine Learning In Non-Euclidean Spaces
توضیحاتی در رابطه با نگاه غیراقلیدسی به بازنمایی داده ها

https://dawn.cs.stanford.edu/2019/10/10/noneuclidean/

برای شفاف کردن چیستی فضای اقلیدسی و غیراقلیدسی

بنا به تعریف ویکی پدیا:
Euclidean space is the fundamental space of geometry, intended to represent physical space. Originally, that is, in Euclid's Elements, it was the three-dimensional space of Euclidean geometry, but in modern mathematics there are Euclidean spaces of any positive integer dimension,[1] including the three-dimensional space and the Euclidean plane (dimension two)

بنابراین به طور ساده تر میشه ابرفضاهایی مثل R^n رو اقلیدسی فرض کرد. درک و بررسیش راحت تره ولی خب مشخصه بهینه نیست بنابراین منطقی به نظر میاد که احتمالا فضاهای غیراقلیدسی گزینه بهینه تری نسبت به فضاهای اقلیدسی برای ایجاد بازنمایی باشن

نمونه بازنمایی های اقلیدسی توی یادگیری ماشین و یادگیری عمیق:
Sequence: Text, Audio
Grid: Image

نمونه بازنمایی های غیراقلیدسی:
Graphs/Networks, Manifolds

https://salmanfaroz.medium.com/geometric-deep-learning-with-graph-neural-network-ace43692622f

عمرتان زیادی کرده که دکترا بخوانید؟

این هفته آقای لکان (یکی از سه‌ خدای دیپ‌لرنینگ) توییتی زده و به مورد Aditya Ramesh اشاره کرد. فردی که لیسانسش رو از دانشگاه NYU گرفته و قصد داشت تا وارد دوره دکتری شود اما با یک کارآموزی در OpenAI مسیرش تغییر کرده و در آن جا مانده و در نهایت با مدرک لیسانس تبدیل به نویسنده اصلی مقاله مدل معروف Dall-E می‌شود.

آقای بهنام نیشابور محقق گوگل هم توییت لکان را کوت کرده و نکات ریزتری برای تایید "نباید برای یادگیری ماشین دکترا خواند" به آن اضافه کرده است. نکته اصلی که تحصیلات تکمیلی برای زمینه‌ای مثل ML آورریتد است. چرا؟ چون که یک نفر بدون هیچ گونه پیش زمینه خاصی می‌تواند به این فیلد وارد شده و با اندکی وقت گذاشتن، حتی می‌تواند به راحتی در کنفرانس‌های مطرح دنیا مقاله‌ای چاپ کند. منابع آموزشی ML روز به روز گسترده‌تر و در دسترس‌تر می‌شوند و واقعا لازم نیست کسی برای وارد شدن به وادی پژوهشگری یادگیری ماشین بیاید و ۵ الی ۶ سال از عمرش را در ارشد یا دکتری هدر دهد. (و خودمانیم، رشته‌‌هایی مثل فیزیک را با ML مقایسه کنید. طرف در فیزیک تا بخواهد به جایی برسید باید مو سفید کند اما امروزه از صفر تا صد ماشین لرنینگ را با این تئوری‌های آبکی که دارد می‌توان در کمتر از دو سال طی نمود)

نکته‌ دیگری که آقای نیشابور اشاره کرده است این است که تعداد موقعیت‌های دکترای یادگیری ماشین روز به روز بیشتر می‌‌شود اما از آن طرف تعداد شغل‌هایی که به مدرک دکتری یادگیری ماشین نیاز دارد در آینده روز به روز کمتر می‌شود. در واقع با داشتن دکتری شما over-qualified می‌شوید و از طرف دیگر هم مگر آکادمی چه قدر موقعیت شغلی می‌تواند داشته باشد؟ در مقابل، صنعت اما بیش از ML Researcher به ML Engineer‌ها نیازمند است. کسی که بتواند چیزی را واقعا بسازد. دوره دکتری باعث دوری نسبی از شما صنعت و مهارت‌های آن خواهد شد. آقای نیشابور در انتها به نتایج تحقیقی اشاره کرده که در آن گفته شده درصد زیادی از دانشجویان تحصیلات تکمیلی دچار افسردگی و اضطراب شدید هستند.

نکته دیگری که ما به صحبت‌های بالا اضافه می‌توانیم بکنیم این است که جایگاه متفاوت یادگیری ماشین و به طور عام هوش مصنوعی نسبت به سایر علوم را باید در نظر گرفت. هوش مصنوعی در مدت ۷۰ سال اخیری که از خدا عمر گرفته است، همچنان حوزه یکپارچه‌ای نبوده است. هر از چند گاهی ایده‌ای آمده است و با هوش مصنوعی وارد بهاری شده و در نهایت در زمستانی دفن شده است. گاهی منطق‌دان‌ها به آن وارد شده‌اند و با دیدشان روش‌های سیستم‌های خبره و منطق را برای هوش مصنوعی توسعه داده‌اند. گاهی برقی‌ها وارد شده‌اند و مفاهیم سیگنالی را در حوزه هوش مصنوعی غالب کرده‌اند و این اواخر هم ریاضی‌دان‌ها و آماردان‌ها وارد شده و پارادایم یادگیری ماشین را پادشاه هوش مصنوعی کرده‌اند. از حدود ۲۰۱۲ به این ور هم شبکه‌های دیپ (شاید مدیون پیشرفت‌‌های سخت‌افزاری) فرمان بازی را به دست گرفته و بهاری‌ترین دوران هوش مصنوعی را رقم زده‌اند. اما واقعیت این است که یادگیری عمیق نیز اکنون احتمالا وارد پاییز خود شده است (در این مورد در آینده احتمالا صحبت می‌کنیم). مسیر تحقیقاتی هوش مصنوعی و یادگیری ماشین احتمال دارد به زودی دوباره وارد زمستان سخت شده و تمامی سرمایه‌گذاری‌های تحقیقاتی بسوزند. البته که بحث دنیای صنعت فرق می‌کند و همین الان بسیاری راه‌حل‌های یافت شده در دنیای آکادمی آماده هستند تا به دنیای صنعت و کاربرد اعمال شوند. در همین راستا شاید پیشنهاد ML Engineer شدن به جای ML Researcher شدن پیشنهاد عافیت داری برای دین و دنیا باشد. برای حسن ختام به قول سعدی:
کرامت جوانمردی و نان‌دهی است
مقالات بیهوده طبل تهی است

پی‌نوشت-۲: البته اگر در بلاد کفر نیستید قاعدتا برای رسیدن به جایی مانند گوگل یا کوچکتر از آن مسیری جز اپلای تحصیلی برای ساختن رزومه و تقویت حلقه تاثیر شاید نیست. بحث کلی این است که در شرایط عادی، دکترای یادگیری ماشین معنی چندانی در دنیای امروز ندارد.

لینک توییت لکان:
https://twitter.com/ylecun/status/1605450677806895104

لینک توییت نیشابور:
https://twitter.com/bneyshabur/status/1605677285255675904

#tweet
#read

@nlp_stuff

یادگیری قلق‌های ریسرچ هوش با کورس CS197 هاروارد

عموما اگر هم صنعت و هم آکادمی را تجربه کرده باشید این تفاوت را مشاهده کرده‌اید که به نظر فضای صنعت فضای سرراست‌تری است و روند آغاز تا انجام یک تسک یا پروژه بسیار شفاف‌تر و آشناتر است تا روند اجرای یک پژوهش در آکادمی. به علاوه در فضای صنعت نیروها به علت پیش‌زمینه مهندسی که دارند آشنا به رعایت یکسری قواعد و الگووار‌ه‌هایی هستند، حال آن که این قواعد و الگوها در سمت ریسرچ به صورت مدونی وجود ندارد. حال آقای Rajpurkar استادیار دانشگاه هاروارد آمده و یک کتاب الکترونیکی از درسی که تحت عنوان "تجربیات پژوهشی هوش مصنوعی"در هاروارد ارائه کرده، منتشر کرده است. در این کتاب راجع به مباحثی همچون استفاده درست و موثر از python و pytorch و lightning و HF و streamlite و vscode و git و ... توضیحات خوبی داده شده است. اما این کل ماجرا نیست، بلکه کتاب در ادامه صحبت کرده که چگونه می‌توان به صورت سیستماتیک مقالات را خواند، ایده‌های جدید زد، یک مقاله را ساختاربندی و منتشر کرد و اسلایدهای باکیفیتی ساخت. اما باز هم این تمام ماجرا نیست و راجپورکار برایمان راجع به نحوه مدیریت زمان و انرژی‌مان و همچنین نحوه مدیریت تعاملاتمان با استاد راهنما و یا سایر اعضای تیم نیز توضیح داده است. این منبع عالی را از دست نباید داد.

لینک کتاب:
https://docs.google.com/document/d/1uvAbEhbgS_M-uDMTzmOWRlYxqCkogKRXdbKYYT98ooc


#link
#coach
#course

@nlp_stuff

منبع خوب برای یادگیری pytorch واقعاً نداشتیم (داخلی و خارجی)

تا اینکه :
University of Amsterdam

این آموزش رو پخش کرد (لینک یوتیوب و ... اول این داکیومنت وجود داره)

ReadTheDoc UaV Deep learning (pytorch) course

جلسه مقدمه‌ای بر Few-Shot Learning

https://www.aparat.com/v/iJ5IA

☑️دوره های آموزشی رایگان Google در سال میلادی جدید:
➖Agile Project Management
➖Project Execution: Running the Project
➖Foundations of Project Management
➖Project Initiation: Starting a Successful Project
➖Project Planning: Putting It All Together
➖Google Analytics for Power Users
➖Fundamentals of digital marketing
➖Python Basics for Data Analysis
➖Data Science Foundations
➖Google Analytics for Beginners
➖Advanced Google Analytics
➖Get started with Google Maps Platform
➖Google Cloud Computing Foundations
➖Google Cloud Computing Foundations
➖Data, ML, and AI in Google Cloud
➖Google Cloud Computing Foundations: Networking and Security in Google Cloud
➖Machine Learning Crash Course
➖Basics of Machine Learning
➖Data Science with Python

⬅️(امکان ثبت نام و دریافت محتوای آموزشی با شماره موبایل ایران هم وجود دارد.)

🆔 @PingChannel
خبر، تحلیل، انتقاد - فناوری اطلاعات

🧬پنجمین دوره «سمپوزیوم نوروساینس شریف»

🧠🔬 این رویداد تعاملی در حوزه علوم اعصاب در قالب چندین سخنرانی توسط محققین برجسته جهان، تعدادی کارگاه و ارائه چكيده مقالات برگزیده برگزار میشود.

⬅️ رویداد در تاریخ ۱۱ و ۱۲ اسفند ماه ۱۴۰۱ (March 2, 3rd) برگزار میشود.

🔜 اطلاعات تکمیلی در ارتباط با کارگاهها و ارائه ها به زودی اعلام میگردد.


🔸 آخرین مهلت ارسال چكيده مقالات: ۵ بهمن (January 25th)
🔹 آخرین مهلت ثبت نام رويداد: ۱۶ بهمن (February 5th)
▫️رويداد به زبان انگليسي برگزار ميشود.

🔻 جهت کسب اطلاعات بیشتر مارا در شبکه های مجازی دنبال کنید:

🌐 https://sns.ee.sharif.ir/sns2023
📧 [email protected]
🔖 https://twitter.com/sns_en
📱(Persian) https://t.iss.one/SNS_Fa
📱(English) https://t.iss.one/SNS_En

Agglomerative Hierarchical Clustering (Ward's method)
#data_mining

https://jbhender.github.io/Stats506/F18/GP/Group10.html

الگوریتم Forward-Forward جف هینتون که اخیرا در NeurIPS هم ارائه شد، بالاخره توی کراس پیاده سازی شد. ادعا شده که این الگوریتم بیشتر شبیه مغز انسان عمل میکنه و هینتون این الگوریتم رو یه جورایی جایگزین Back-propagation معرفی کرده.

لینک پیاده سازی الگوریتم در کراس:

https://keras.io/examples/vision/forwardforward/

وبسایت slideslive.com ارائه‌ کنفرانس‌های معروف مثل NeurIPS و ICML رو در قالب خوبی به صورت رایگان داره. قابلیت‌های خاصی هم در رابطه با تنظیم ویدئو و اسلاید متناظرش داره که قطعا برای دیدن کنفرانس‌های علمی از یوتیوب بهتره.

برای مباحث عدم قطعیت در سری زمانی سرچ زدم Conformal Time-Series Forecasting و ارائه‌های خوبی آورد برای مثال این ارائه از دانشگاه کمبریج.

@deeptimeai

a fantastic ML blog of Lilian Weng (Researcher@OpenAI)

https://lilianweng.github.io/

حس پیاده‌سازی GPT را ندارید؟ حق دارید، آموزش ندیده‌اید.

نقل قولی منتسب به کنفوسیوس هست که میگه می‌شنوم و فراموش می‌کنم، می‌بینم و یادم می‌ماند، انجام می‌دهم و می‌فهمم. در همین راستا، بارها پرسیده شده که ما فلان مقالات دیپ لرنینگی رو خوندیم ولی اون قدر که باید تاثیر این خوندن رو حس نمی‌کنیم و باید چه کنیم؟ پاسخ اینه که باید کد زد، پیاده‌سازی کرد و پروژه دست‌گرمی انجام داد تا رو ریل افتاد. اما اینجا یک مساله مرغ و تخم‌مرغی به وجود میاد که آدم از کجا می‌تونه بفهمه اصلا چی رو باید بزنه و این زدنش درست بوده یا نه و اصلا چه جوری از همین کد زدنش یاد بگیره؟

آقامون آندره کارپثی از غولهای هوش مصنوعی، پس از جدایی از تسلا، در ایام فراغت خودش زده تو کار آموزش. از اونجایی که در چند وقت اخیر هم ترند ChatGPT در میون طیف وسیعتری از مردم (و نه صرفا هوش‌مصنوعی‌کارا) داغ شده ایشون ویدئویی دو ساعته ضبط کرده و در اون به آموختن پیاده‌سازی مدل GPT (البته از سایز کوچیکش در حدی که قابل آموزش‌دادن روی کولب باشه) و آموزشش روی دیتاست نوشته‌های شکسپیر پرداخته. این ویدیو بسیار ارزشمنده و کارپثی از ب بسم الله که توکنایزیشن باشه تا اجزای معماری ترنسفورمر رو جز به جز با زبان شیوا و بیان جزییات لازم و حکمت وجودیشون توضیح داده و همزمان پیاده‌سازی هم می‌کنه و تازه در انتها هم گریزی به ChatGPT زده و در مورد اون هم صحبت کرده. دیدن این ویدیو رو حتما در اولویت‌هاتون قرار بدین و قطعا از صرف زمان برای اون ضرر نخواهید کرد.

در ضمن اقای کارپثی قبل از این هم یک سری ویدیو تحت عنوان Neural Networks: Zero to Hero تدارک دیده و در اون به توضیح و پیاده‌سازی چیزای پایه‌‌ای‌تر مثل توابع فعالسازی و BackPropagation پرداخته و این ویدیو ساخت GPT اش هم به جزیی از همین پلی لیسته. حالا که تا اینجا اومدید این پلی‌لیست نابش رو هم از دست ندید.

ویدیو ساختن GPT از صفر با کارپثی:
https://www.youtube.com/watch?v=kCc8FmEb1nY

پلی‌لیست Neural Networks: Zero to Hero از کارپثی:
https://www.youtube.com/playlist?list=PLAqhIrjkxbuWI23v9cThsA9GvCAUhRvKZ


#coach
#watch

@nlp_stuff

یه ایمیج جذاب برای بالا آوردن یه کانتینر آماده برای توسعه برنامه های دیتاساینس (مشابه کولب🔥)
jupyter/datascience-notebook

مشکلی به نام تحریم یافیلترینگ pypi.org

چند روزی است که متأسفانه دسترسی به وبسایت pypi.org و نصب بسته های پایتونی توسط pip با مشکل مواجه شده است. از این رو لازم هست از روش‌های جایگزین موجود استفاده کرد از جمله :
۱. استفاده از vpn ها 😩
۲. تحریم شکن ها ( مدعی تحریمی بودن سایت بالا که البته من ۵ تحریم شکن مختلف رو چک کردم و هیچ کدوم روی همراه اول و صبا نت جواب نداده اند!)🤥
۳. استفاد ه از آیینه ها ( mirrors ). 🤓

برا استفاده از آیینه ها میتوانید به صورت زیر عمل کنید:

pip install --trusted-host [host] -i [address] some-pckage

برای استفاده از دستور بالا نیازمند لیست مخازن آیینه pypi هستیم که لیست host و address هایی که تست شده اند در ادامه آمده است:
Host Addsess

https://pypi.tuna.tsinghua.edu.cn    https://pypi.tuna.tsinghua.edu.cn/simple/ 
https://mirrors.aliyun.com      https://mirrors.aliyun.com/pypi/simple/ 
https://pypi.mirrors.ustc.edu.cn    https://pypi.mirrors.ustc.edu.cn/simple/ 
https://repo.huaweicloud.com      https://repo.huaweicloud.com/repository/pypi/simple/ 
https://pypi.douban.com      https://pypi.douban.com/simple/ 
https://pypi.sdutlinux.org      https://pypi.sdutlinux.org/ 
https://pypi.hustunique.com      https://pypi.hustunique.com/ 

مسلماً نوشتن این دستور با این حجم از اطلاعات خیلی مقلول نیست، لذا میتوانیم ( در لینوکس🐧) در فایل .bashrc دستورات زیر را وارد کنیم :

alias pip_china1="pip install --trusted-host https://pypi.tuna.tsinghua.edu.cn -i https://pypi.tuna.tsinghua.edu.cn/simple/ "
alias pip_china2="pip install --trusted-host https://mirrors.aliyun.com -i https://mirrors.aliyun.com/pypi/simple/ "
alias pip_china3="pip install --trusted-host https://pypi.mirrors.ustc.edu.cn -i https://pypi.mirrors.ustc.edu.cn/simple/ "
alias pip_china4="pip install --trusted-host https://repo.huaweicloud.com -i https://repo.huaweicloud.com/repository/pypi/simple/ "
alias pip_china5="pip install --trusted-host https://pypi.douban.com -i https://pypi.douban.com/simple/ "
alias pip_china6="pip install --trusted-host https://pypi.sdutlinux.org -i https://pypi.sdutlinux.org/ "
alias pip_china7="pip install --trusted-host https://pypi.hustunique.com -i https://pypi.hustunique.com/ "

به این ترتیب به جای pip می‌توانید از pip_china1 تا pip_chana6 استفاده کنید.

⚠️البته یک راه راحت‌تر* هم هست و اون هم جایگزین کردن هر یک از آیینه های بالا با آدرس پیش‌فرض pip در سیستم هست.

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pip -U
pip config set global.index-url  https://pypi.tuna.tsinghua.edu.cn/simple

* البته من به شخصه تغییر تغییر کلی آدرس ریپازیتوری رو پیشنهاد نمیدهم

™ @DjangoIR
〰️〰️〰️〰️〰️〰️
© @DjangoEx

کورس کلاسی دانشگاه آستین تکزاس
Natural Language Processing at UT Austin (Greg Durrett)

https://youtube.com/playlist?list=PLofp2YXfp7Tbk88uH4jejfXPd2OpWuSLq

#منابع #آموزش_کلاسی #فیلم #کلاس_آموزشی #پردازش_زبان_طبیعی
#NLP

✅ @AI_PYTHON

ابزاری قوی برای ترسیم شبکه های عصبی عمیق در مقالات:
#tool
#paper

https://alexlenail.me/NN-SVG/LeNet.html

با این که میدونم این موضوع آف تاپیکه ولی به نظرم رسید شاید به کارتون بیاد

یه سایت باحال برای چک کردن سیر استار گرفتن ریپو‌های گیت هاب
https://star-history.com