SCALING FORWARD GRADIENT WITH LOCAL LOSSES

آموزش شبکه عصبی بدون استفاده از روش backprop
مقاله جدید جف هینتون و همکاران

https://arxiv.org/pdf/2210.03310.pdf

شبکه‌های عصبی گرافی (Graph Neural Networks) از داغ‌ترین انواع مدل‌های یادگیری عمیق اند که کاربردهای ویژه‌ای در صنعت و ریسرچ دارند و در جاهایی مثل پیش‌بینی ترافیک در Google Maps و ریکامندر سیستم‌ها و شبکه‌های اجتماعی و ... استفاده‌های جالبی داشته اند.
به‌زودی (از ابتدای خرداد) یک کورس آموزشی بسیار بی‌نظیر توسط @cvision با تدریس جناب مهندس اخوان‌پور از بهترین مدرسان و کارشناسان یادگیری ماشین برگزار خواهد شد که به علاقه‌مندان پیشنهاد می‌کنم حتما در آن شرکت کنند.

https://class.vision/product/graph-neural-network/

یک زبان برنامه‌نویسی جدید به نام Mojo توسط Chris Lattner (خالق LLVM و زبان Swift) معرفی شد.
این زبان،
- سادگی و کاربردپذیری و دست‌خط Python رو در کنار پرفورمنس C دارد.
- پشتیبانی کاملی از Parallel Programming در پردازنده‌های چندهسته ای و وکتور ها و accelerator ها دارد.
- می‌تواند از پکیج‌های پایتون مثل Numpy و Pandas و Matplotlib استفاده کند.
- تایپ دارد

https://www.modular.com/mojo

نسخه‌ی دوم از مدل زبانی گوگل به‌نام PaLM 2 معرفی شد.

https://ai.google/discover/palm2

New AI advancements drive Meta’s ads system performance and efficiency

https://ai.facebook.com/blog/ai-ads-performance-efficiency-meta-lattice/?utm_source=linkedin&utm_medium=organic_social&utm_campaign=blog&utm_content=gif

پروژه Open Assistant یک چت‌بات مکالمه‌ای اوپن‌سورس است که توسط شرکت LAION (سازنده‌ی Stable Diffusion) معرفی شده. این چت‌بات:

- توانایی بازیابی اطلاعات را دارد
- میتواند از طریق api به سیستم‌های دیگر متصل شود و با آن‌ها تعامل کند
- مبتنی بر چند LLM اوپن‌سورس است
- از Reinforcement Learning with Hindsight Feedback استفاده می‌کند
- کاملا رایگان است
- کاملا اوپن‌سورس است و می‌تواند برای کابرد خاص شما fine-tune شود

https://open-assistant.io/

ثبت‌نام در این دوره تا فردا، کد تخفیف ۱۰ درصدی دارد:
gnn_lc

این آهنگ توسط هوش مصنوعی ساخته شده!

آهنگ "تماشا" که توسط شادمهر عقیلی برای بانو مهستی ساخته شده بود ولی به علت بیماری ایشان هرگز اجرا نشد، پس از گذشت ۱۶ سال توسط یک الگوریتم هوش مصنوعی، با صدا و تحریرهای خود مهستی اجرا شد.
این اثر به‌ظاهر ساخته‌ی فردی با نام مستعار Farva است که در کانال یوتیوب زیر منتشر شده:
https://youtu.be/DM7oVfXb1OE

همزمان با خلق این اثر هنری به‌یادماندنی، فردی با نام مستعار aproyx آموزش تبدیل صدا به‌کمک مدل‌های یادگیری ماشین رو به زبان ساده در کانال یوتیوب خود گذاشته که بسیار جالبه:

https://youtu.be/iKF7P7X3OuY

این هم یک نمونه خارجی است:
https://youtu.be/kEffWnjy028


برای جدا کردن موزیک از صدای خواننده و استخراج vocal هم می‌تونید از اپ زیر استفاده کنید:
https://github.com/Anjok07/ultimatevocalremovergui/releases/tag/v5.5.0

تبلیغ جدید کوکاکولا به کمک Generative AI و StableDiffusion ساخته شده است.

نسخه‌ی iOS برای ChatGPT منتشر شد:

- امکان ارسال پرامپت به صورت صدا به کمک سیستم اوپن‌سورس پردازش گفتار OpenAI موسوم به Whisper
- قابلیت همگام‌سازی چت‌ها بین دستگاه‌های مختلف

https://apps.apple.com/app/openai-chatgpt/id6448311069

سمینار مقدمه‌ای بر ترنسفورمر‌ها
دانشگاه استنفورد

https://www.youtube.com/watch?v=XfpMkf4rD6E

ویدئوی ضبط شده از جلسات کلاس دیپ‌لرنینگ دکتر ملک در دانشگاه شهید بهشتی:

https://www.youtube.com/watch?v=PE_fkvl8YF0&list=PLzKFqE-aHvMDyfo6wk4jBnAPszrL5XICg&index=1

اگر به چالش‌های شرکت در مسابقات برنامه‌نویسی علاقه دارید، سایت Codingame یکی از جذاب‌ترین سایت‌ها برای برگزاری مسابقات برنامه‌نویسی است.
جدید‌ترین چالش این سایت (CODINGAME SPRING CHALLENGE 2023)، مسابقه‌ی برنامه‌نویسی بات هوش مصنوعی است که در تاریخ ۲۵ می (ساعت ۵:۳۰ عصر) شروع شده و به مدت ۱۰ روز ادامه دارد.
با شرکت در این چالش می‌توانید به صورت انفرادی، تیمی و جهانی به رقابت بپردازید.

https://www.codingame.com/contests/spring-challenge-2023

آموزش یادگیری ماشین کاربردی
مدرس: مهندس سهیل تهرانی‌پور


https://maktabkhooneh.org/course/%D8%A2%D9%85%D9%88%D8%B2%D8%B4-%DB%8C%D8%A7%D8%AF%DA%AF%DB%8C%D8%B1%DB%8C-%D9%85%D8%A7%D8%B4%DB%8C%D9%86-%DA%A9%D8%A7%D8%B1%D8%A8%D8%B1%D8%AF%DB%8C-mk2450/?affiliate=machinetepo

گوگلی ها با استفاده از RL در هوش مصنوعی یه روش سورت کردن جدید ابداع کردند.
این مقاله در Natute چاپ شده و کد سورت هم به زبان c++ نیز در گیتهاب به صورت اوپن سورس گذاشته شده‌.

این اولین باریه که یه هوش مصنوعی تو ابداع یه روش طراحی الگوریتمی/ساختمان داده ای داره دخالت میکنه :)
https://www.deepmind.com/blog/alphadev-discovers-faster-sorting-algorithms

تسلیت به جامعه‌ی علمی ایران 🖤

آموزش فریم‌ورک LangChain برای توسعه اپلیکیشن‌های مبتنی بر LLM

این کورس کوتاه یک ساعته توسط آقای Harrison Chase خالق فریم‌ورک به همراه Andrew Ng تدریس شده.

https://www.deeplearning.ai/short-courses/langchain-for-llm-application-development/

زبون برنامه‌نویسی C بیش از۵۰ سال پیش توسط Dennis Ritchie ساخته شده و بعضی افراد (🤨) اون رو یک زبون قدیمی (و احیانا منسوخ!) میدونن.
اما واقعیت اینجاست که این زبون هم مثل بقیه زبو‌ن‌ها آپدیت میشه و نسخه‌های مدرن اون وجود داره. آخرین آپدیت C23 است که در حال حاضر نسخه Preview است و به زودی نسخه Stable اون عرضه میشه.

زبون C جوری با زندگی بشر گره خورده که منسوخ شدنش به این راحتی‌ها هم نیست. کامپیوتر رو که روشن می‌کنیم Bootloader (مثلا GRUB) که با C نوشته شده میاد بالا و سیستم‌عامل (مثلا macOS یا Ubuntu یا Windows) که بیشتر بخش‌های کرنل اش با C نوشته شده رو اجرا می‌کنه. همینطور که با کامپیوتر کار می‌کنیم میلیون‌ها خط کد ترجمه شده از C پشت پرده در حال اجرا اند، مرورگر وب (مثلا Chrome یا Firefox) رو که باز می‌کنیم با C نوشته شده، یه وبسایت (مثلا maktabkhooneh.org) رو که توش باز میکنیم یه درخواست به سمت سرور مکتب‌خونه میره و از CDN ها و Reverse Proxy ها و کش ها و Web Server هایی رد میشه که همگی احتمالا به زبون C نوشته شده اند و روی سرورهایی که سیستم عاملشون با C نوشته شده اجرا میشن. در نهایت به کد بک اند مکتب‌خونه می‌رسه که مثلا با پایتون نوشته شده ولی مفسر پایتون و ASGI Server و … همگی با C نوشته شده اند. داخل همین کدهای پایتون هم خیلی از پکیج‌های اصلی مثل Numpy قدرتشون رو از C میگیرن. دیگه من وارد Embedded System ها نمیشم ولی شما تا تهش برید.


در کل هر جا که نیاز به سرعت خیلی بالا دارید، نیاز به مصرف حافظه خیلی بهینه دارید، نیاز به نزدیکی به سخت‌افزار و دسترسی سطح پایین به درایورها، کرنل ها و سلول‌های حافظه دارید، C یکی از بهترین گزینه‌ها است.

ما در دانشگاه صنعتی شریف معتقدیم که زبون C یکی از بهترین گزینه‌ها برای شروع کار مهندسین کامپیوتر است که به درک دقیق ساختار زیرین و سطح پایین‌تر کامپیوتر کمک شایانی می‌کند. حتی اگر قرار نباشد دانشجو بعدا از این زبان استفاده مستقیم کند اما بعد از C یادگیری هر زبون دیگه ای راحت‌تر خواهد بود.

دوره زیر از کلاس‌های درس مبانی برنامه‌نویسی کامپیوتر اینجانب در دانشگاه صنعتی شریف ضبط شده که می‌تونه منبع خوبی برای دانشجویان نوورود به این رشته، افرادی که سخت به این کلاس‌ها دسترسی دارند و همینطور سایر علاقه‌مندان به زبان C باشه. در این دوره تلاش شده مفاهیم پایه برنامه‌نویسی و علوم کامپیوتر به صورت دقیق، به‌روز و مدرن به دانشجویان عرضه شود.
امیدوارم که مفید و در راستای پیشرفت دانشجویان و متخصصان سرزمینمون باشه


https://www.aparat.com/playlist/4834378

اگر بخشی از کد پایتون شما محسابات عددی سنگین یا بخش‌های Performance-critical و یا توابع NumPy است، می‌تونید با پکیج Numba اون بخش رو به صورت JIT کامپایل کنید.
اولین باری که تابع فراخوانی میشه، ترجمه به زبان ماشین اتفاق میفته و از سری بعد با پرفورمنسی نزدیک به پرفورمنس native تابع اجرا میشه.
البته توجه کنید که پکیج Numba فقط تابع ها رو کامپایل می‌کنه و برای کامپایل کردن کد Coroutine ها نمیشه ازش استفاده کرد. بنابراین اگرمی‌خواهید همزمان از asyncio هم استفاده کنید مجبورید به جای این پکیج از Cython استفاده کنید.

https://numba.readthedocs.io/en/stable/user/5minguide.html