بازگشت بعد از 30 سال، LSTM با قدرت برگشت!

⚠️ هفته گذشته یک مقاله ی جالبی منتشر شد. اگه محقق هستین پیشنهاد میشه حتما این مقاله رو دنبال کنید.

مدل #xLSTM ، نسخه جدیدی از #LSTM ، توسط Sepp Hochreiter، مخترع اصلی LSTM، منتشر شده که دارای نوآوری‌های مهمی هستش و در مقایسه با LSTM بهبودهای قابل توجهی داره، از جمله دروازه‌گذاری نمایی (sLSTM) و حافظه ماتریسی (mLSTM). این تغییرات باعث بهبود کارایی و عملکرد مدل شده.

رویکرد xLSTM میتونه رقیب مهمی برای #transformer باشه. اینا LSTM رو طوری توسعه دادن که قابلیت Scale شدن پیدا کنه. یعنی شبکه‌های LSTM بیلیون پارامتری هم داشته باشیم! مثل #LLM هایی که امروز استفاده میکنیم.

به‌صورت کلی، ساختار شبکه xLSTM در تصویر بالا نشون داده شده. سمت چپ که LSTM رو می‌بینید. با توسعه همون LSTM اصلی، دو تا Memory Cell با نام‌های sLSTM و mLSTM ساخته شده. وقتی sLSTM و mLSTM رو در ساختار Residual Block (همون شورتکات‌ها) قرار بدیم، xLSTM Block ساخته میشه. نهایتا با Stack کردن بلوک‌های xLSTM به معماری یا شبکه xLSTM می‌رسیم.
مقاله | گیتهاب | پیپرویدکد
@silicon_brain | از هوش مصنوعی عقب نمانید

https://www.youtube.com/watch?v=y8NtMZ7VGmU&t=1s
(1) With Spatial Intelligence, AI Will Understand the Real World | Fei-Fei Li | TED - YouTube

تجربیات آرتین از سرویس‌های اجاره GPU داخلی و خارجی:

سلام، من سرویسای مختلفی رو برای اجاره GPU تست کردم و توی سرویس های ایرانی به مشکلات زیادی برخوردم که قبلا بهش اشاره شده.

ولی توی سرویس های خارجی، به نظرم اگه از کولب پرو استفاده میکنین، میتونید به جاش برید سراغ runpod

این سرویس هم قیمت کولب هست و سرویساش کلا pay as you go هست.

هم میتونید مدلاتونو باهاش هاست کنین، هم میتونین ازش GPU رو اجاره کنین و هم از طریق SSH هم یه سرور جوپیتر بهش دسترسی داشته باشین.
جای فایلاتونم همیشه محفوظه.

به نظرم ارزششو داره.

فرآیندکاوی و مدل‌های زبانی بزرگ (LLMs)🔎

فرآیندکاوی ابزارهای متنوعی برای کشف فرآیندها، انطباق سنجی، سازمان کاوی و پیش‌بینی ارائه می‌دهد. استفاده از دانش تخصصی در این زمینه‌ها، مثل شناسایی الگوهای غیرعادی، برای سازمان بسیار مفید است.

مدل‌های زبانی بزرگ (LLMs) می‌توانند این دانش را فراهم کنند و به این سوالات پاسخ دهند.

در این وبینار به ارتباط بین مدل‌های زبانی بزرگ و فرآیندکاوی از جمله وظایفی مانند مدل‌سازی و شناسایی فرآیند می‌پردازیم. همچنین به مزایا و محدودیت‌های استفاده از این مدل‌ها در فرآیندکاوی اشاره می‌کنیم.



سخنران وبینار 🗣:
🔹Alessandro Berti
🔸پژوهشگر گروه PADS در دانشگاه RWTH Aachen

موضوع وبینار 🗒:
نقش مدل‌های زبانی بزرگ در توسعه، تسریع و دسترسی پذیری فرآیندکاوی

زمان 📅:
چهارشنبه ۳۰ خرداد ۱۴۰۳ ساعت ۱۸ - ۲۰

پلتفرم 🖥:
اسکای روم

وبینار کاملا رایگان و به زبان انگلیسی می‌باشد.



همین حالا ثبت نام کنید:
🔗 https://evand.com/events/llms-increasing-the-scope-of-process-mining



🧠 بهفالب، سامانه فرایندکاوی مبتنی بر هوش مصنوعی

---------------

🌐 Behfalab.com

◀️ استفاده از ابزارهای هوش مصنوعی در Google Colab

✅ ویدیو زیر یه ویدیو خوب و سر راست از روش های استفاده از Gemini در Google Colab هست. نکته جالبی که من نمیدونستم ، پیشنهاد رسم نمودار بود که خیلی مفید میتونه باشه.


https://www.youtube.com/watch?v=V7RXyqFUR98

[دوره مرتبط : پایتون ویژه یادگیری ماشین]

#هوش_مصنوعی #یادگیری_ماشین #یادگیری_عمیق
➖➖➖➖➖➖➖➖➖

🔴 آکادمی ربوتک: آموزش هوش مصنوعی به زبان واقعا ساده
@robotech_academy

راهنمای تصمیم درباره Tune کردن یا Tune نکردن داده ها

https://cloud.google.com/blog/products/ai-machine-learning/to-tune-or-not-to-tune-a-guide-to-leveraging-your-data-with-llms

#LLM
#Google

مدتی هست که Lightning.ai سرویسی بنام Studio معرفی کرده که میشه رقیب گوگل کولب هست.

اما مزایای این سرویس چی هست:
* می‌تونید به‌صورت لوکال هم کد بزنید. یعنی توی VSCode یا پایچارم روی سیستم خودتون کد بزنید، ولی از سخت‌افزار استودیو استفاده کنید.
* داده‌هاتون حفظ میشه و حذف نمیشه.
* می‌تونید Web App بالا بیارید یا وزن مدل‌هایی که ساختید رو به اشتراک بذارید.
* 22 ساعت GPU رایگان برای یک ماه هم میده.

بعضی از مزایاش جالب هستن ولی خب مثلا مدت زمان GPU آنچنان زیاد نیست. بد نیست ویدئوی بالا رو ببینید.

به‌هرصورت، رفتیم که تستش کنیم؛ درخواست فرستادیم و بعد از سه روز درخواست تایید شد. وارد فاز بعدی شدیم که باید دوباره چند مرحله ثبت نام رو پشت سر میذاشتیم. رفتیم جلو و رسیدیم به شماره تلفن برای Verification! اول، خیلی سرخوش شماره ایران رو زدیم که خب هیچی! بعدش، رفتیم یه شماره مجازی گرفتیم که اونم هیچی! 😢 بعدشم که دیگه کلا Mission Failed! 😭 خلاصه اینکه، به قول بانو هایده: تا میخواستیم لب معشوقو ببوسیم. پریدیم که...

حالا شما اگه تجربه کردی به ما بگو که اینجا به اشتراک بذاریم...
link

@pytorch_howsam

سلام به همه!

اگه دنبال شغل‌های بین‌المللی با امکان دورکاری، ریلوکیشن یا Visa Sponsorship هستید، پیشنهاد می‌کنم حتماً یه سر به وب‌سایت جابزکیت بزنید.

معرفی این سایت رو به این صورت از لینکدین دیدم گفتم به شما هم معرفی کنم

https://jobs-kit.com/

دیروز شرکت OpenAI جدیدترین مدل خود را که پیش‌نمایشی از مدل o1 است معرفی کرد. این مدل که قبلا با نام‌های *Q و توت‌فرنگی در رسانه‌ها مطرح شده بود، قدرت استنتاج و استدلال پیشرفته‌تری از مدل‌های قبلی ارائه می‌دهد. البته این فرآیند استدلال باعث کندتر بودن تولید پاسخ شده است. برای بررسی این مدل، یک سوال ساده‌ی استدلالی را از دو مدل ChatGPT o1-preview و ChatGPT 4o پرسیدیم. همانطور که مشاهده می‌کنید مدل جدید برخلاف مدل قبلی توانسته است به این سوال به درستی پاسخ دهد. البته این یک تست ساده برای یک بررسی اولیه است، درحالی‌که ادعا شده است که این مدل برای حل مسائل پیچیده‌ی ریاضی، کدینگ و علوم توانمندی قابل توجهی دارد. بعنوان نمونه، مدل 4o برای مسائل المپیاد ریاضی دقت ۱۳٪ را به‌دست آورده است، درحالی‌که نسل جدید به دقت ۸۳٪ رسیده است.

مدل o1 و معرفی پارادایم جدید برای مقیاس Inference


تا الان روال این بوده که بودجه محاسباتی و پردازشی LLM ها، عمدتا صرف مرحله Pre-train یا همون ساخت LLM ها می‌شه و بودجه عجیبی برای Inference در نظر گرفته نمیشه. چرا که به ازای هر پرامپتی که سمت LLM میاد، یک بار یک جنریشن رخ می‌ده و پاسخ تحویل کاربر داده می‌شه. این روال فعلی تمام LLM ها چه Open و چه Close source هست. هرچند که خود جنریت کردن رو اگر بعنوان تسک پیش‌بینی توکن بعدی ببینیم، استراتژی‌های زیادی براش وجود داره و اتفاقا استفاده از استراتژی‌های متفاوت منجر به نتایج متفاوت می‌شه. مثال معروفش Temperature است که بهتره برای تسک‌هایی که خلاقیت نیاز داره (مثل نوشتن شعر)، بالا باشه. ولی با این وجود در هرحال عرف تا الان این بوده که برای یک پرامپت، یک پاسخ جنریت می‌شده ولو با استراتژی‌های مختلف.

حالا بطور خلاصه اتفاق بزرگی که در o1 رخ داده، تغییر همین رواله. یعنی به ازای یک پرامپت لزوما یک پاسخ دیگه جنریت نمی‌شه. بلکه پاسخ‌های بسیاری چه بصورت موازی و چه متوالی تولید می‌شه و براساس یک سری مکانیزم‌های انتخاب و خودبهبودی درنهایت جواب نهایی تولید و به کاربر نمایش داده می‌شه. پاسخ‌های موازی یعنی گرفتن پاسخ از LLM با کانفیگ‌های جنریشن متفاوت و پاسخ‌های متوالی یعنی دادن جنریت قبلیِ مدل به مدل و خواستن جنریت بهتر. با اینکه در نهایت به کاربر یک پاسخ نمایش داده می‌شه ولی میزان توکن تولیدی توسط LLM با میزان توکن نمایش داده شده برابر نیست و این همون چیزیه که OpenAI به جهات مارکتینگی اسمش رو گذاشت Thinking.

سوالی که اینجا بوجود میاد اینه که این مکانیزم‌های انتخاب چی ها هستن؟ تقریبا یک ماه پیش Deep-Mind مقاله‌ای منتشر کرد که در اون برای اولین بار صحبت از قانون مقیاس Inference time شد و با آزمایشات مختلف مکانیزم‌های انتخاب رو بررسی کرد (قبلا در اینجا درمورد قانون مقیاس LLM ها نوشتم). مقاله بر محور این سوال می‌ره جلو که اگر ما یک بودجه محاسباتی ثابت (ولی نه ناچیز بلکه زیاد) برای Inference داشته باشیم، مدل چقدر می‌تونه دقت بیشتر روی پرامپت‌های چالشی بده؟ در ادامه مقاله دو روش برای خود-بهبودی مدل حین اینفرنس پیاده می‌کنه که بطور مختصر اشاره می‌کنم.

تو روش اول میایم distribution مدل رو برای پاسخ بهتر تغییر می‌دیم. مدل رو قبل از اینکه بره روی پروداکشن یک دور با یک سری دیتا و با یک سری متدهای الهام‌گرفته از یادگیری تقویتی مثل STaR یا ReST فاین‌تیون می‌کنیم. به محض اینکه روی پروداکشن پرامپتی بیاد که شبیه به اون پرامپت‌هایی باشه که در فاین‌تیون دیده، فورا بعد از جنریت اولیه، پاسخ بهتر رو به روش CoT تولید می‌کنه. حالا این پاسخ‌ها می‌تونه بصورت موازی باشه و چه متوالی و همچنین می‌تونه با روش بعدی ترکیب بشه. خالق این روش گوگل و دیپ‌مایند نبوده و اینها صرفا برای مساله مدنظر (یعنی بررسی افزایش دقت با افزایش بودجه محاسباتی زمان Inference) ازش استفاده کردند.

تو روش دوم، مدل پاسخ‌های متعددی رو چه بصورت موازی و چه سری جنریت می‌کنه و یک مدل دیگه‌ای (Reward Model) میاد بعنوان Verifier عمل می‌کنه و Score میده به پاسخ‌ها و بهترین پاسخ رو به کاربر نمایش می‌ده. جذابیت این روش اینه که می‌شه تمام پاسخ‌ها رو به فرمت CoT از مدل گرفت و این بار Verifier به‌جای دادن Score روی کل پاسخ بیاد روی هر قسمت از پاسخ‌ها Score بده. به این شکل می‌شه جواب‌ها رو در هم ترکیب کرد و با اجرای الگوریتم‌های Tree Search بهترین پاسخ رو تولید کرد. مثلا اگر از مدل، سه تا پاسخ به صورت CoT یا همون Chain of thought گرفتیم، بیایم مقدمه اول از پاسخ اول رو با مقدمه دوم از پاسخ دوم ترکیب کنیم و از قسمت نتیجه پاسخ سه استفاده کنیم و درنهایت پاسخ نهایی رو تولید کنیم. این روش تا 4 برابر میزان Inference time رو نسبت به زمانی که Verifier روی کل پاسخ (و نه بخشی‌اش) رای بده کاهش داده.

در نهایت این مقاله به یک نتیجه‌گیری مهم رسیده و اون اینکه برای تسک‌های ساده تا کمی دشوار (و نه خیلی دشوار) اگر یک مدل از چنین روشی استفاده کنه، به فرض بودجه محاسباتی ثابت، دقت خروجی این مدل برابری می‌کنه با دقت یک مدل با 14برابر! وزن بیشتر در حالتی که فقط یک پاسخ جنریت می‌کنه. این یعنی می‌شه با همون مدل قبلی GPT4 تا 14 برابر هوشمندی بیشتر دریافت کرد. این همون نتایج شگفت‌انگیزیه که OpenAI خیلی زودتر از بقیه متوجه شد و الان ما اون چیزی که روی کاغذهای دیپ‌مایند می‌خونیم رو توی ChatGPT حسش می‌کنیم. در این مقاله به این موضوع هم اشاره شده که برای تسک‌های خیلی دشوار به‌صرفه‌تر اینه که بیشترین حجم بودجه پردازشی رو بدیم به Pre-training ولی برای بقیه تسک‌ها فرض اینه که حجم زیادی از بودجه محاسباتی برای Inference time خواهد بود.

@AI_360