داغ داغ داغ!

بعد از معرفی xLSTM، حالا xLSTM برای حوزه ویژن بنام ViL هم معرفی شده. 🫡
از لحاظ کارایی هم عملکرد مطلوبی از خودش نشون داده و قابل قیاس با شبکه‌هایی مثل ViT یا DeiT هست.
بخونیم ببینیم چه خبره!

رویکردش درمورد داده تصویری جالبه!

We introduce Vision-LSTM (ViL), an adaption of xLSTM to computer vision. In order to adjust xLSTM (an autoregressive model) to better handle non-autoregressive inputs such as images, we employ alternating bi-directional mLSTM blocks. Odd blocks process the image row-wise from top left to bottom right, while even blocks process the image from bottom right to top left.

مقاله | صفحه پروژه

یک نفر بنام حمید نادری یگانه، با استفاده از ریاضی، تصویر اولتراسوند جنین رو تولید کرده!

به تصویر بالا نگاه کنید؛ معادله ریاضی تصویر تولیدشده رو می‌تونید ببینید!

توییت مرجع

خب، این پست ارتباط مستقیم با هوش مصنوعی نداره، اما غیرمستقیم چرا! به‌نظرتون، چه ارتباطی بین یک شبکه عصبی که چنین تصویری میتونه تولید کنه با این معادلات ریاضی وجود داره؟

ویدئوی جدید Andrej Karpathy 🤩

Let's Reproduce GPT-2 (124M)

4 ساعت! 😁
بریم ببینیم چطوری GPT-2 رو پیاده‌سازی کرده!

لینک ویدئو

تجربیات آرتین از سرویس‌های اجاره GPU داخلی و خارجی:

سلام، من سرویسای مختلفی رو برای اجاره GPU تست کردم و توی سرویس های ایرانی به مشکلات زیادی برخوردم که قبلا بهش اشاره شده.

ولی توی سرویس های خارجی، به نظرم اگه از کولب پرو استفاده میکنین، میتونید به جاش برید سراغ runpod

این سرویس هم قیمت کولب هست و سرویساش کلا pay as you go هست.

هم میتونید مدلاتونو باهاش هاست کنین، هم میتونین ازش GPU رو اجاره کنین و هم از طریق SSH هم یه سرور جوپیتر بهش دسترسی داشته باشین.
جای فایلاتونم همیشه محفوظه.

به نظرم ارزششو داره.

میخوای خروجی کارهات رو مثل ویدئوی بالا نشون بدی؟ کتابخونه خفن supervision این امکان رو بهت میده.

این کتابخونه، امکاناتی بهتون میده که کارهای تکراری و رو اعصاب بینایی کامپیوتر رو شیک و سریع انجام بدید. مثلا، خوندن دیتاست از هارد، نمایش خروجی دیتکشن و...

We write your reusable computer vision tools. Whether you need to load your dataset from your hard drive, draw detections on an image or video, or count how many detections are in a zone. You can count on us! 🤝

لینک

@pytorch_howsam

Data + AI Summit 2024

در این کنفرانس از موسس و مدیرعامل Databricks، علی قدسی، در مورد ساخت برنامه‌های هوش مصنوعی تولیدی، استفاده از داده‌هایتان و نحوه اینکه داده + هوش مصنوعی به هوش داده منجر می‌شود، می‌شنوید.

همچنین گفتگویی بین علی قدسی و موسس و مدیرعامل شرکت Nvidia، در مورد شراکت گسترده‌تر بین Nvidia و Databricks برای شتاب بخشیدن به داده‌های شرکتی در دوران هوش مصنوعی تولیدی برگزار خواهد شد.

دیتابریکس شرکتی فعال در زمینه داده و هوش مصنوعی است.
بیش از 10,000 سازمان در سراسر جهان - از جمله Block، Comcast، Conde Nast، Rivian و Shell، و ... که بر روی پلتفرم هوش داده Databricks فعالیت می‌کنند تا کنترل داده‌های خود را برعهده بگیرند.

روز اول :
https://www.youtube.com/watch?v=UfbyzK488Hk

روز دوم :
https://www.youtube.com/watch?v=uB0n4IZmS34

ویدئوی بالا انقدر جذاب و آموزنده هست که واقعا حیفه نبینید.

تئوری تقریب جهانی (Universal Approximation Theory) میگه که شبکه‌های عصبی مصنوعی با یک لایه پنهان، می‌تونن هر تابع پیوسته‌ای رو با دقت دلخواه تقریب بزنن. این تئوری خیلی تو یادگیری ماشین مهمه، چون نشون میده شبکه‌های عصبی می‌تونن انواع مختلف داده‌ها و روابط پیچیده غیرخطی رو مدل‌سازی کنن. البته تعداد نورون‌های لایه پنهان ممکنه خیلی زیاد بشه تا به دقت مورد نظر برسیم.

کانال یوتوبی که این ویدئو رو منتشر کرده، فقط همین یک ویدئو رو داره که 18 هزار بازدید خورده! 😁

منبع

@pytorch_howsam

یکی از اعضای کانال درباره ویدئوی بالا سوال پرسیده که:

ببخشید میشه درمورد این مثال وزن ها و بایاس ها رو بگین چی میشه مقادیرشون؟

جواب:
مقادیر وزن و بایاس که در دسترس نیست. اما، به فرمول f_hat در تصویر زیر نگاه کنید؛ این فرمول، تقریبی از f (تابع اصلی) هست که با شبکه عصبی بدست اومده. هرکدوم از n-ها معادل با یک نورون در لایه مخفی هستن که از ترکیبشون، تابع تقریبی f ساخته میشه.

توی تصویر زیر، نمودار اولین نورون (n1) رسم شده. از شکل نمودار مشخص هست که یک نورون با تابع فعال‌ساز ReLU داریم. همچنین، باتوجه به اینکه روی مبدا قرار نگرفته، پس بایاس هم داریم. فرمول نورون به صورت y = w * x + b هست که هر سه (x w b) اسکالر هستن. با درنظر گرفتن چند نقطه از (x,y)، میشه مقدار w و b رو تخمین زد. درواقع، اگه معادله خط بخش غیرصفر نورون n1 رو بدست بیارید، مقدار وزن وبایاس رو پیدا کردید. برای بقیه نورون‌ها هم همین داستان برقرار هست.

حالا این نورون‌ها برچه اساسی باهم ترکیب شدن و f_hat رو ساختن؟ از طریق وزن‌های نورون خروجی! مشخص هست که برای خروجی n1، وزن 1-، برای n2 وزن 1- و همینطور تا آخرین مورد که n6 هست، وزن 1+ داریم.

بلاگ ارزشمند خانم Chip Huyen

I help companies deploy machine learning into production. I write about AI applications, tooling, and best practices.

از متن بالا مشخص هست که تخصصش چی هست و درمورد چی صحبت میکنه. قاعدتا، اگه دنبال کار باشید، بعد از یاد گرفتن ماشین لرنینگ، میرید به این سمت که از فاز پروداکشن بیشتر بدونید. اگه در چنین مقطعی هستید، حتما به بلاگش سر بزنید.

به عنوان پیشنهاد، اینها رو چک کنید:
۱- کورس CS329S استنفورد که توسط ایشون و تیمش تدریس شد. عنوان کورس این هست:
CS 329S: Machine Learning Systems Design

۲- کتابی که برمبنای کورس بالا نوشته شده:
Designing Machine Learning Systems: An Iterative Process for Production-Ready Applications

۳- بخش MLOps guide در سایتش:
لینک

یک لیست ۱۰۰ هم توی سایتش داره که قبل مرگش می‌خواد اونها رو انجام بده. یکیش اینه که بیاد تهران!

@pytorch_howsam

مدتی هست که Lightning.ai سرویسی بنام Studio معرفی کرده که میشه رقیب گوگل کولب هست.

اما مزایای این سرویس چی هست:
* می‌تونید به‌صورت لوکال هم کد بزنید. یعنی توی VSCode یا پایچارم روی سیستم خودتون کد بزنید، ولی از سخت‌افزار استودیو استفاده کنید.
* داده‌هاتون حفظ میشه و حذف نمیشه.
* می‌تونید Web App بالا بیارید یا وزن مدل‌هایی که ساختید رو به اشتراک بذارید.
* 22 ساعت GPU رایگان برای یک ماه هم میده.

بعضی از مزایاش جالب هستن ولی خب مثلا مدت زمان GPU آنچنان زیاد نیست. بد نیست ویدئوی بالا رو ببینید.

به‌هرصورت، رفتیم که تستش کنیم؛ درخواست فرستادیم و بعد از سه روز درخواست تایید شد. وارد فاز بعدی شدیم که باید دوباره چند مرحله ثبت نام رو پشت سر میذاشتیم. رفتیم جلو و رسیدیم به شماره تلفن برای Verification! اول، خیلی سرخوش شماره ایران رو زدیم که خب هیچی! بعدش، رفتیم یه شماره مجازی گرفتیم که اونم هیچی! 😢 بعدشم که دیگه کلا Mission Failed! 😭 خلاصه اینکه، به قول بانو هایده: تا میخواستیم لب معشوقو ببوسیم، پریدیم که...

حالا شما اگه تجربه کردی به ما بگو که اینجا به اشتراک بذاریم...
link

@pytorch_howsam

دوستان، مدتی هست دوره رایگان پایتورچ رو در هوسم ارائه کردیم. مطالبش به صورت هفتگی منتشر میشه و تا الان چهار هفته (حدود 7.5 ساعت) رو منتشر کردیم.

انتشار ویدئوها رو در کانال اصلی سایت هوسم اطلاع‌رسانی می‌کنیم:
https://t.iss.one/howsam_org

دسترسی به دوره:
https://howsam.org/downloads/pytorch-course/

@pytorch_howsam