آیینه هوشمند دانشگاه علم و صنعت :))))

📽 The Human Brain | Brain and Cognitive Science MIT
درآمدی بر مغز انسان و علوم شناختی

🔗 YouTube PlayList 
🔗 More Infromation: Notes and Assignments

👤 Prof. Nancy KanWisher
#HumanBrain #Cognitive_Science

@ai_python

مقاله خیلی جالب که با استفاده از تغییرات در تصویر با درگ، تصویر جدید می‌تونه جنریت کنه:
https://huggingface.co/papers/2305.10973

Kalman Filter

https://youtube.com/playlist?list=PLn8PRpmsu08pzi6EMiYnR-076Mh-q3tWr

سمینار مقدمه‌ای بر ترنسفورمر‌ها
دانشگاه استنفورد

https://www.youtube.com/watch?v=XfpMkf4rD6E

Ivy unifies all ML frameworks 💥 enabling you not only to write code that can be used with any of these frameworks as the backend, but also to convert 🔄 any function, model or library written in any of them to your preferred framework!

https://github.com/unifyai/ivy

چی شد که اینطوری شد ؟

YouTube Link

این موارد برای تازه‌کارها خیلی خوبه
برای مصاحبه هم خیلی خوبه

۸۰٪ سوالات مصاحبه اینجا هست؛ برای تازه‌کار هم مطالبی که باید بلد باشید توی این ویدئو هست.

بالاخره یکی در اومد توضیح داد چت جی پی تی رو چطوری ساختند:
سخنرانی آندری کارپسی و توضیحاتش در مورد مدلهای جی پی تی:
https://build.microsoft.com/en-US/sessions/db3f4859-cd30-4445-a0cd-553c3304f8e2

ویدیوی طولانی بود و نتونستم بزارمش اینجا ولی وقت کردید حتما ببینید.
اطلاعات خیلی خوبی میده اگه میخواهید مدلتون رو ترین کنید.

موقعیت کارآموزی در حوزه NLP

برنامه تحقیقات تابستانی دانشگاه کوچ به دانشجویان و علاقه‌مندان این فرصت را می‌دهد تا در کنار کسب تجربه تحقیقاتی خود را برای تحصیلات تکمیلی یا کار در حرفه مدنظر آماده کنند. با توجه به این برنامه گروه NLP دانشکده مهندسی کامپیوتر به سرپرستی Dr.Gözde Gül Sahin تصمیم دارد از علاقه‌مندان در زمینه پردازش زبان طبیعی دعوت به عمل آورد. دو پروژه در این زمینه وجود دارد که در صورت دعوت به مصاحبه برای داوطلبین تشریح می‌شوند.
از علاقه‌مندان درخواست می‌شود تا رزومه خود را به همراه چند نمونه کد پروژه‌های مرتبط را به آدرس ایمیل [email protected] بفرستند. (لطفا عنوان ایمیل را KUSRP Internship را قرار دهید.)

شرایط:
۱- علاقه‌مند به پژوهش در حوزه NLP و مخصوصا Large Language Models
۲- تعهد کامل در طول دوره کارآموزی و عدم اشتغال به کار یا پروژه دیگر
۲- مسلط به پایتون و تجربه کار با کتابخانه‌های مرتبط با Deep Learning مثل PyTorch

نوع همکاری: حضوری (اولویت) / دورکاری

نکات:
ادامه همکاری پس از پایان دوره رسمی کارآموزی در صورت توافق طرفین مطلوب است.
ارایه خوابگاه از طرف دانشگاه گارانتی نمی‌شود!

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind

مدلهای دیفیوژن که بودند و چه کردند؟ (۲ نمره)
پاسخ:
https://lilianweng.github.io/posts/2021-07-11-diffusion-models/

Adam killer
به نظر گروهی از محققان دانشگاه استنفورد یک بهینه‌ساز جدید به اسم Sofia رو منتشر کردن (بنا به گفته خودشون مخصوص آموزش مدل های زبانی) که تونسته نسبت به AdamW که نسخه بهبود یافته روش Adam محسوب میشه، عملکرد ۲ برابر بهتری از خودش به نمایش بزاره.

بخشی از چکیده مقاله:
"Adam and its variants have been state-of-the-art for years, and more sophisticated second-order (Hessian-based) optimizers often incur too much per-step overhead. In this paper, we propose Sophia, Second-order Clipped Stochastic Optimization, a simple scalable second-order optimizer that uses a light-weight estimate of the diagonal Hessian as the pre-conditioner. The update is the moving average of the gradients divided by the moving average of the estimated Hessian, followed by element-wise clipping. The clipping controls the worst-case update size and tames the negative impact of non-convexity and rapid change of Hessian along the trajectory. Sophia only estimates the diagonal Hessian every handful of iterations, which has negligible average per-step time and memory overhead."

GitHub:
https://github.com/Liuhong99/Sophia

Arxiv:
https://arxiv.org/abs/2305.14342

به چیزی فراتر از Transformerها، Diffusion مدل‌ها و chatGPT نیاز داریم! به این مقدار دلخوش نباشید!

همیشه گفته میشه که هوش مصنوعی از زمان پیدایش Deep Learning تونست مراحل feature selection و feature extraction رو حذف و اتومات سازی کنه و به نوعی مسائل end-to-end حل شدن.

ولی این اشتباه هست. جمله بالا صرفا برای داده‌های تصویر و متن و ... صدق میکنه. وقتی داده ما شد داده structured data و جدولی، یک انسان با تخصص در حوزه اون مسئله خاص (مالی، ترافیک، آب و هوا و ...) یا به اصطلاح با domain expertise باید بیاد و feature تعریف و مهندسی کنه. مثلا من میام برای یک مسئله فایننس تعریف میکنم میانگین ۳ دقیقه حجم ورودی به سهم به روی میانگین ۳۰ دقیقه یک فیچر اساسی هست.
در این مسائل همچنان انگار انسانِ متخصص نور رو میندازه و بعد هوش مصنوعی قادر به مدلسازی خواهد بود.

به همین سبک Generative AI هم در داده‌های تصویری و زبانی رشد کرد. اما در مسائل پیچیده که از جنس اعداد جدولی هستن اوضاع اصلا خوب نیست. این که هنوز هوش مصنوعی در مسائل جدولی قادر به تحلیل، Generate به معنای واقعی، و ساخت فیچر نیست یعنی عملا ما به چیزی فراتر از Transformer ها و Diffusion مدل‌ها و LLM ها (مدل‌های زبانی بزرگ مثل chatGPT) نیاز داریم.

@deeptimeai

راه حل؟ باید به مفاهیم برگشت. به بایاس‌ها و کمبود‌های جزئی و کلی. جزئی مثل سلول‌های این سیستم یعنی attention mechanism یا حتی بنیادی تر یعنی back propagation. نیاز به سلول‌های قوی تری برای رسیدن AGI هست. کلی هم مثل توسعه RL و Self Supervised و ترکیب و استفاده بهتر از اونها.
سوال اصلی هم همچنان مثل همیشه این هست که نوزاد چطور فرآیند یادگیری در نوزاد انسان و انسان بالغ رو بفهمیم و بهتر مدل کنیم. قبلا درباره راه آینده برای AI پست‌هایی مثل این مورد و این مورد درباره سنجش هوش از گذاشته بودم.

@deeptimeai