مدلهای دیفیوژن که بودند و چه کردند؟ (۲ نمره)
پاسخ:
https://lilianweng.github.io/posts/2021-07-11-diffusion-models/

Adam killer
به نظر گروهی از محققان دانشگاه استنفورد یک بهینه‌ساز جدید به اسم Sofia رو منتشر کردن (بنا به گفته خودشون مخصوص آموزش مدل های زبانی) که تونسته نسبت به AdamW که نسخه بهبود یافته روش Adam محسوب میشه، عملکرد ۲ برابر بهتری از خودش به نمایش بزاره.

بخشی از چکیده مقاله:
"Adam and its variants have been state-of-the-art for years, and more sophisticated second-order (Hessian-based) optimizers often incur too much per-step overhead. In this paper, we propose Sophia, Second-order Clipped Stochastic Optimization, a simple scalable second-order optimizer that uses a light-weight estimate of the diagonal Hessian as the pre-conditioner. The update is the moving average of the gradients divided by the moving average of the estimated Hessian, followed by element-wise clipping. The clipping controls the worst-case update size and tames the negative impact of non-convexity and rapid change of Hessian along the trajectory. Sophia only estimates the diagonal Hessian every handful of iterations, which has negligible average per-step time and memory overhead."

GitHub:
https://github.com/Liuhong99/Sophia

Arxiv:
https://arxiv.org/abs/2305.14342

به چیزی فراتر از Transformerها، Diffusion مدل‌ها و chatGPT نیاز داریم! به این مقدار دلخوش نباشید!

همیشه گفته میشه که هوش مصنوعی از زمان پیدایش Deep Learning تونست مراحل feature selection و feature extraction رو حذف و اتومات سازی کنه و به نوعی مسائل end-to-end حل شدن.

ولی این اشتباه هست. جمله بالا صرفا برای داده‌های تصویر و متن و ... صدق میکنه. وقتی داده ما شد داده structured data و جدولی، یک انسان با تخصص در حوزه اون مسئله خاص (مالی، ترافیک، آب و هوا و ...) یا به اصطلاح با domain expertise باید بیاد و feature تعریف و مهندسی کنه. مثلا من میام برای یک مسئله فایننس تعریف میکنم میانگین ۳ دقیقه حجم ورودی به سهم به روی میانگین ۳۰ دقیقه یک فیچر اساسی هست.
در این مسائل همچنان انگار انسانِ متخصص نور رو میندازه و بعد هوش مصنوعی قادر به مدلسازی خواهد بود.

به همین سبک Generative AI هم در داده‌های تصویری و زبانی رشد کرد. اما در مسائل پیچیده که از جنس اعداد جدولی هستن اوضاع اصلا خوب نیست. این که هنوز هوش مصنوعی در مسائل جدولی قادر به تحلیل، Generate به معنای واقعی، و ساخت فیچر نیست یعنی عملا ما به چیزی فراتر از Transformer ها و Diffusion مدل‌ها و LLM ها (مدل‌های زبانی بزرگ مثل chatGPT) نیاز داریم.

@deeptimeai

راه حل؟ باید به مفاهیم برگشت. به بایاس‌ها و کمبود‌های جزئی و کلی. جزئی مثل سلول‌های این سیستم یعنی attention mechanism یا حتی بنیادی تر یعنی back propagation. نیاز به سلول‌های قوی تری برای رسیدن AGI هست. کلی هم مثل توسعه RL و Self Supervised و ترکیب و استفاده بهتر از اونها.
سوال اصلی هم همچنان مثل همیشه این هست که نوزاد چطور فرآیند یادگیری در نوزاد انسان و انسان بالغ رو بفهمیم و بهتر مدل کنیم. قبلا درباره راه آینده برای AI پست‌هایی مثل این مورد و این مورد درباره سنجش هوش از گذاشته بودم.

@deeptimeai

روز یکشنبه‌ای موضوعی حوصله‌سربرتر (؟!) از این پیدا نمیشه ولی اگر کار تحقیقاتی NLP می‌کنین و با ظهور مدل‌های زبانی بزرگ موجی از ناامیدی شمارو فراگرفته که الان دیگه اصلا کارهای ما به چه دردی می‌خوره! اینجا ایده‌هایی براتون هست:

A PhD Student’s Perspective on Research in NLP in the Era of Very Large Language Models

https://arxiv.org/pdf/2305.12544.pdf

۸۰۰ کلاس درس دانشگاهی، عموما از دانشگاه های Ivy League آمریکا و معتبر در زمینه Computer Science. فرصت خوبی برای یادگیری و یا آشنایی با نحوه تدریس و کلاس های دانشگاهی.

bit.ly/3472Iia‎

#منابع #منابع_پیشنهادی #فیلم #کلاس_آموزشی

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind

یادگیری آمار و احتمال به شکل کاملا بصری:

https://seeing-theory.brown.edu/index.html

اگه همیشه دنبال این بودید که آمار و احتمال رو به شکلی یاد بگیرید شاید برای شروع خوب باشه.

🌻 Extending Mona Lisa with AI 🌻

👉 A guy on Reddit extends Mona Lisa Painting with #Photoshop AI. The result is surprising.

😎More https://t.ly/j_2r

آلفادو مدل جدید گوگل تونسته روش مرتب سازی سریع تری ابداع کنه!
https://www.linkedin.com/posts/meysam-ac_another-ai-accomplishment-alphadev-discovers-activity-7072257889112870912-hhIc?utm_source=share&utm_medium=member_android

گوگلی ها با استفاده از RL در هوش مصنوعی یه روش سورت کردن جدید ابداع کردند.
این مقاله در Natute چاپ شده و کد سورت هم به زبان c++ نیز در گیتهاب به صورت اوپن سورس گذاشته شده‌.

این اولین باریه که یه هوش مصنوعی تو ابداع یه روش طراحی الگوریتمی/ساختمان داده ای داره دخالت میکنه :)
https://www.deepmind.com/blog/alphadev-discovers-faster-sorting-algorithms

⚡️ سمپوزیوم AIMI 2023 استنفورد با بحث در زمینه جدیدترین‌های AI در مراقبت‌های بهداشتی و بهره‌گیری از نظرات متخصصین این حوزه

- ثبت نام شرکت آنلاین در این رویداد، رایگان و آزاد است.

📌 لینک ثبت نام:

🌐https://aimi.stanford.edu/aimi23/registration

〰️〰️〰️〰️〰️
این کانال با هدف آگاه سازی از رویدادهای مرتبط با هوش مصنوعی نظیر همایش، کنفرانس، ورک‌شاپ و کلاس  تشکیل شده است.

@eventai

یک مقاله جالب

اگه کمی با ساختار مغز آشنا باشید، میدونید که در مغز انسان نورونهای مختلفی وجود داره.

اما اکثر شبکه های عصبی ما ساختار یکسانی برای نورون درنظر میگیرن که یک تابع فعالساز مثل سیگموید، رلو یا موارد دیگه داره. حالا در مقاله ای اومدن شبکه Neural Diversity رو معرفی کردن که میتونه با وزنهای رندوم مسائل RL رو حل کنه.

به ویدئوی بالا نگاه کنید؛ سمت چپی، یک شبکه عصبی استاندارد و سمت راستی شبکه پیشنهاد شده در این مقاله هست. به توابع فعالساز دو شبکه نگاه کنید؛ ببینید تفاوت قالب توجهی باهم دارند. درعین حال، به نقطه چینهای قرمز و سبز هم دقت کنید. قرمزها قابل آموزش و سبزها ثابت هستن. میبنید که دو شبکه برعکس همدیگه هستن.

در شبکه استاندارد، نورونها ثابت و اتصالات بین نورونها قابل یادگیری هست. اما در شبکه پیشنهادی، نورونها قابلیت یادگیری دارن و اتصالات ثابت و صرفا اعدادی رندوم هستن. هر نورون در این شبکه ساختاری مشابه با RNN داره و به قول مولفهای مقاله، یک TinyRNN هست. این نورونها یکسری وزن دارن که قابلیت یادگیری دارن. به اکتیویشنها در ویدئو دقت کنید. اکتیویشنهای متنوعی میبینید.

مقاله | رفرنس

@pytorch_howsam

Transformers as Statisticians

Unveiling a new mechanism "In-Context Algorithm Selection" for In-Context Learning (ICL) in LLMs/transformers.

arxiv.org/abs/2306.04637

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind

اگر دنبال دوره خوب برای یادگیری عمیق هستید که با مثال و عملی و تیوری بهتون یاد بده، این صفحه رو حتما ببینید:
https://dataflowr.github.io/website/modules/

📌 ویدیوی کارگاه هفتم -طراحی Machine Learning Pipelines

👥 عنوان کارگاه:
Productionizing Machine Learning Models: Designing ML Pipelines

📱 Instagram | Twitter | LinkedIn

🆔 @Datadays_Sharif

یه منبع خوب و (نسبتا) جمع و جور برای هر چیزی که در رابطه با ماتریس بهش نیاز دارید و خواهد داشت

Matrix Cookbook:
https://www.math.uwaterloo.ca/~hwolkowi/matrixcookbook.pdf

در مطالب آموزشی درس یادگیری ماشین، کمتر به بحث بهینه سازی (Optimization) پرداخته میشه. درحالیکه در یادگیری ماشین حضور پررنگی داره. اصلا قلب تپنده خیلی از الگوریتمهای یادگیری ماشین هست.

اگه یادگیری ماشین رو در سطح خوبی یاد گرفتید، مطالعه Convex Optimization براتون مفیده و میتونه دید شما رو در یادگیری ماشین ارتقا بده.

اینجا یک اسلاید قدیمی و تروتمیز از دانشگاه برکلی براتون گذاشتیم که نگاهی بهش بندازید. قطعا کافی نیست، ولی برای دیدن رئوس مطالب و آشنایی با کلیدواژه ها خوب هست.

https://people.eecs.berkeley.edu/~jordan/courses/294-fall09/lectures/optimization/slides.pdf

@pytorch_howsam

✨✨✨ انجمن علمی دانشکده مهندسی برگزار می کند. ✨✨

✔️ مقدمه ای بر پردازش زبان طبیعی، روش طبقه بندی متون و تعبیه کلمات

📌 با حضور دکتر محمد حاجی آبادی (استاد دانشگاه واترلو کانادا)

مدرس:فرهان فرسی (محقق هوش مصنوعی دانشگاه صنعتی امیر کبیر)

🗓 زمان : سه شنبه ٣٠ خرداد ساعت ١٢ الی ١٣

🏢 مکان:  سالن همایش های مجازی پردیس مهندسی

⚠️  حضور برای عموم افراد مجاز است.

___
@SSOCS

مسیر تحصیل رایگان و خودخوان computer science دانشگاه MIT

Path to a free self-taught education in Computer Science!

لینک توییت

حتما یک سر به این ریپو بزنید توش موارد جالبی هست. مثل این بحث یادگیری ابزار دانشگاه MIT که قبلا هم اشاره شد.

The Missing Semester of Your CS Education

@deeptimeai