Forwarded from video_aut
Forwarded from Silicon Brain | جامعه هوش مصنوعی
بازگشت بعد از 30 سال، LSTM با قدرت برگشت!
⚠️ هفته گذشته یک مقاله ی جالبی منتشر شد. اگه محقق هستین پیشنهاد میشه حتما این مقاله رو دنبال کنید.
مدل #xLSTM ، نسخه جدیدی از #LSTM ، توسط Sepp Hochreiter، مخترع اصلی LSTM، منتشر شده که دارای نوآوری‌های مهمی هستش و در مقایسه با LSTM بهبودهای قابل توجهی داره، از جمله دروازه‌گذاری نمایی (sLSTM) و حافظه ماتریسی (mLSTM). این تغییرات باعث بهبود کارایی و عملکرد مدل شده.
رویکرد xLSTM میتونه رقیب مهمی برای #transformer باشه. اینا LSTM رو طوری توسعه دادن که قابلیت Scale شدن پیدا کنه. یعنی شبکه‌های LSTM بیلیون پارامتری هم داشته باشیم! مثل #LLM هایی که امروز استفاده میکنیم.
به‌صورت کلی، ساختار شبکه xLSTM در تصویر بالا نشون داده شده. سمت چپ که LSTM رو می‌بینید. با توسعه همون LSTM اصلی، دو تا Memory Cell با نام‌های sLSTM و mLSTM ساخته شده. وقتی sLSTM و mLSTM رو در ساختار Residual Block (همون شورتکات‌ها) قرار بدیم، xLSTM Block ساخته میشه. نهایتا با Stack کردن بلوک‌های xLSTM به معماری یا شبکه xLSTM می‌رسیم.
مقاله | گیتهاب | پیپرویدکد
@silicon_brain | از هوش مصنوعی عقب نمانید
⚠️ هفته گذشته یک مقاله ی جالبی منتشر شد. اگه محقق هستین پیشنهاد میشه حتما این مقاله رو دنبال کنید.
مدل #xLSTM ، نسخه جدیدی از #LSTM ، توسط Sepp Hochreiter، مخترع اصلی LSTM، منتشر شده که دارای نوآوری‌های مهمی هستش و در مقایسه با LSTM بهبودهای قابل توجهی داره، از جمله دروازه‌گذاری نمایی (sLSTM) و حافظه ماتریسی (mLSTM). این تغییرات باعث بهبود کارایی و عملکرد مدل شده.
رویکرد xLSTM میتونه رقیب مهمی برای #transformer باشه. اینا LSTM رو طوری توسعه دادن که قابلیت Scale شدن پیدا کنه. یعنی شبکه‌های LSTM بیلیون پارامتری هم داشته باشیم! مثل #LLM هایی که امروز استفاده میکنیم.
به‌صورت کلی، ساختار شبکه xLSTM در تصویر بالا نشون داده شده. سمت چپ که LSTM رو می‌بینید. با توسعه همون LSTM اصلی، دو تا Memory Cell با نام‌های sLSTM و mLSTM ساخته شده. وقتی sLSTM و mLSTM رو در ساختار Residual Block (همون شورتکات‌ها) قرار بدیم، xLSTM Block ساخته میشه. نهایتا با Stack کردن بلوک‌های xLSTM به معماری یا شبکه xLSTM می‌رسیم.
مقاله | گیتهاب | پیپرویدکد
@silicon_brain | از هوش مصنوعی عقب نمانید
https://www.youtube.com/watch?v=y8NtMZ7VGmU&t=1s
(1) With Spatial Intelligence, AI Will Understand the Real World | Fei-Fei Li | TED - YouTube
(1) With Spatial Intelligence, AI Will Understand the Real World | Fei-Fei Li | TED - YouTube
YouTube
With Spatial Intelligence, AI Will Understand the Real World | Fei-Fei Li | TED
In the beginning of the universe, all was darkness — until the first organisms developed sight, which ushered in an explosion of life, learning and progress. AI pioneer Fei-Fei Li says a similar moment is about to happen for computers and robots. She shows…
Forwarded from Out of Distribution
توکنایزر‌ها چه قدر خوب شدند
مدل‌هایی مثل GPT و اینها با این که بعضا روی فارسی خیلی خوب جواب می‌دادند اما برای فارسی توکنایزر درست حسابی نداشتند، به این معنا که دنباله ورودی را به کاراکتر‌ها می‌شکستند و همین باعث می‌شد که هم بعضی اوقات جواب خوبی ندهند و هم به خاطر زیادشدن تعداد توکن‌ها هزینه اینفرنس گرفتن از آن‌ها زیاد شود. اما حالا مدل‌های جدید مثل Gemma و Llama3 به نظر توکنایزرهای فارسی‌فهم‌تر بهتری دارند و احتمالا به خاطر همین توکنایزرهای فارسی‌پذیرشان، عملکرد و آینده بهتری در انتظار است.
از این جا می‌توانید امتحان کنید:
https://huggingface.co/spaces/Xenova/the-tokenizer-playground
مدل‌هایی مثل GPT و اینها با این که بعضا روی فارسی خیلی خوب جواب می‌دادند اما برای فارسی توکنایزر درست حسابی نداشتند، به این معنا که دنباله ورودی را به کاراکتر‌ها می‌شکستند و همین باعث می‌شد که هم بعضی اوقات جواب خوبی ندهند و هم به خاطر زیادشدن تعداد توکن‌ها هزینه اینفرنس گرفتن از آن‌ها زیاد شود. اما حالا مدل‌های جدید مثل Gemma و Llama3 به نظر توکنایزرهای فارسی‌فهم‌تر بهتری دارند و احتمالا به خاطر همین توکنایزرهای فارسی‌پذیرشان، عملکرد و آینده بهتری در انتظار است.
از این جا می‌توانید امتحان کنید:
https://huggingface.co/spaces/Xenova/the-tokenizer-playground
Forwarded from PyTorch Howsam (Howsam Support)
تجربیات آرتین از سرویس‌های اجاره GPU داخلی و خارجی:
سلام، من سرویسای مختلفی رو برای اجاره GPU تست کردم و توی سرویس های ایرانی به مشکلات زیادی برخوردم که قبلا بهش اشاره شده.
ولی توی سرویس های خارجی، به نظرم اگه از کولب پرو استفاده میکنین، میتونید به جاش برید سراغ runpod
این سرویس هم قیمت کولب هست و سرویساش کلا pay as you go هست.
هم میتونید مدلاتونو باهاش هاست کنین، هم میتونین ازش GPU رو اجاره کنین و هم از طریق SSH هم یه سرور جوپیتر بهش دسترسی داشته باشین.
جای فایلاتونم همیشه محفوظه.
به نظرم ارزششو داره.
Forwarded from کانال فرایندکاوی - بهفالَب
فرآیندکاوی و مدل‌های زبانی بزرگ (LLMs)🔎
فرآیندکاوی ابزارهای متنوعی برای کشف فرآیندها، انطباق سنجی، سازمان کاوی و پیش‌بینی ارائه می‌دهد. استفاده از دانش تخصصی در این زمینه‌ها، مثل شناسایی الگوهای غیرعادی، برای سازمان بسیار مفید است.
مدل‌های زبانی بزرگ (LLMs) می‌توانند این دانش را فراهم کنند و به این سوالات پاسخ دهند.
در این وبینار به ارتباط بین مدل‌های زبانی بزرگ و فرآیندکاوی از جمله وظایفی مانند مدل‌سازی و شناسایی فرآیند می‌پردازیم. همچنین به مزایا و محدودیت‌های استفاده از این مدل‌ها در فرآیندکاوی اشاره میکنیم.
سخنران وبینار 🗣:
🔹Alessandro Berti
🔸پژوهشگر گروه PADS در دانشگاه RWTH Aachen
موضوع وبینار 🗒:
نقش مدل‌های زبانی بزرگ در توسعه، تسریع و دسترسی پذیری فرآیندکاوی
زمان 📅:
چهارشنبه ۳۰ خرداد ۱۴۰۳ ساعت ۱۸ - ۲۰
پلتفرم 🖥:
اسکای روم
وبینار کاملا رایگان و به زبان انگلیسی می‌باشد.
همین حالا ثبت نام کنید:
🔗 https://evand.com/events/llms-increasing-the-scope-of-process-mining
🧠 بهفالب، سامانه فرایندکاوی مبتنی بر هوش مصنوعی
---------------
🌐 Behfalab.com
فرآیندکاوی ابزارهای متنوعی برای کشف فرآیندها، انطباق سنجی، سازمان کاوی و پیش‌بینی ارائه می‌دهد. استفاده از دانش تخصصی در این زمینه‌ها، مثل شناسایی الگوهای غیرعادی، برای سازمان بسیار مفید است.
مدل‌های زبانی بزرگ (LLMs) می‌توانند این دانش را فراهم کنند و به این سوالات پاسخ دهند.
در این وبینار به ارتباط بین مدل‌های زبانی بزرگ و فرآیندکاوی از جمله وظایفی مانند مدل‌سازی و شناسایی فرآیند می‌پردازیم. همچنین به مزایا و محدودیت‌های استفاده از این مدل‌ها در فرآیندکاوی اشاره میکنیم.
سخنران وبینار 🗣:
🔹Alessandro Berti
🔸پژوهشگر گروه PADS در دانشگاه RWTH Aachen
موضوع وبینار 🗒:
نقش مدل‌های زبانی بزرگ در توسعه، تسریع و دسترسی پذیری فرآیندکاوی
زمان 📅:
چهارشنبه ۳۰ خرداد ۱۴۰۳ ساعت ۱۸ - ۲۰
پلتفرم 🖥:
اسکای روم
وبینار کاملا رایگان و به زبان انگلیسی می‌باشد.
همین حالا ثبت نام کنید:
🔗 https://evand.com/events/llms-increasing-the-scope-of-process-mining
🧠 بهفالب، سامانه فرایندکاوی مبتنی بر هوش مصنوعی
---------------
🌐 Behfalab.com
Forwarded from آکادمی ربوتک
◀️ استفاده از ابزارهای هوش مصنوعی در Google Colab
✅ ویدیو زیر یه ویدیو خوب و سر راست از روش های استفاده از Gemini در Google Colab هست. نکته جالبی که من نمیدونستم ، پیشنهاد رسم نمودار بود که خیلی مفید میتونه باشه.
https://www.youtube.com/watch?v=V7RXyqFUR98
[دوره مرتبط : پایتون ویژه یادگیری ماشین]
#هوش_مصنوعی #یادگیری_ماشین #یادگیری_عمیق
➖➖➖➖➖➖➖➖➖
🔴 آکادمی ربوتک: آموزش هوش مصنوعی به زبان واقعا ساده
@robotech_academy
✅ ویدیو زیر یه ویدیو خوب و سر راست از روش های استفاده از Gemini در Google Colab هست. نکته جالبی که من نمیدونستم ، پیشنهاد رسم نمودار بود که خیلی مفید میتونه باشه.
https://www.youtube.com/watch?v=V7RXyqFUR98
[دوره مرتبط : پایتون ویژه یادگیری ماشین]
#هوش_مصنوعی #یادگیری_ماشین #یادگیری_عمیق
➖➖➖➖➖➖➖➖➖
🔴 آکادمی ربوتک: آموزش هوش مصنوعی به زبان واقعا ساده
@robotech_academy
Forwarded from آکادمی ربوتک
💬 توضیح : در زمینه تولید اجسام سه بعدی تا حالا مقالات خوبی ارایه شده که خروجی کار اونها هم کیفیت بالایی داره ولی برای استفاده از اینها در صنعت حتما باید به Mesh تبدیل بشن و روش های کنونی برای استخراج Mesh عملکرد خیلی خوبی ندارند. این مقاله اومده تا این مشکل رو حل کنه. برای این کار هم از مدل VQ-VAE و یک Decoder-Only Transformer استفاده کرده.
✅ لینک مقاله :
https://arxiv.org/pdf/2406.10163
[دوره مرتبط : مهمترین مقالات هوش مصنوعی در ۲۰۲۳]
#هوش_مصنوعی #یادگیری_ماشین #یادگیری_عمیق
➖➖➖➖➖➖➖➖➖
🔴 آکادمی ربوتک: آموزش هوش مصنوعی به زبان واقعا ساده
@robotech_academy
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Apply Kite
یکی از چیزهایی که عموما بین مباحث رزومه و ویزا و سفارت گم میشه، اهمیت مقصده. شاید در وهله اول تنها چیز مهم گرفتن فاند و سکیور کردن استاد به نظر برسه، ولی اینکه کجا می‌خواد مقصد تحصیل «و زندگی» شما بشه، چیزیه که باید جزو مسائل ابتدایی‌ای باشه که بررسی می‌کنید؛ وگرنه ممکنه وسط تحصیل‌تون با همون استاد حمایتگر و همون فاند خوب، یهو احساس کنید جایی که هستید، برای شما نیست.
اگه آفری دارید یا تازه دارید اپلای رو شروع می‌کنید و دارید پلن a و b و c می‌ریزید، یه تحقیق اساسی راجع به مقصد/مقصدها بکنید؛ از فرهنگ ملی اون کشور و فرهنگ شهری و زندگی روزمره، تا آب‌وهوا در زمان‌های مختلف سال و مکان‌های تفریحی و دسترسی به امکانات مختلف، و حتی چیزهایی مثل چگونگی فرآیندهای بوروکراتیک و رسمی. اینا چیزهاییه که نه فقط کشور به کشور، که شهر به شهر فرق می‌کنه. در نهایت مقصد میتونه به شما یه خونه دائمی بده یا اینکه شما رو مجبور به یک مهاجرت دوم بکنه. از این داستان غافل نشید خلاصه.
ـــــــــــــــــــــــــــــــــــــــ
لینکدین کایت رو برای پوزیشن‌های بیشتر و مطالب مرتبط دنبال کنید: Linkedin📱
❤️ @ApplyKiteBot
📱 twitter
🌐 Telegram
اگه آفری دارید یا تازه دارید اپلای رو شروع می‌کنید و دارید پلن a و b و c می‌ریزید، یه تحقیق اساسی راجع به مقصد/مقصدها بکنید؛ از فرهنگ ملی اون کشور و فرهنگ شهری و زندگی روزمره، تا آب‌وهوا در زمان‌های مختلف سال و مکان‌های تفریحی و دسترسی به امکانات مختلف، و حتی چیزهایی مثل چگونگی فرآیندهای بوروکراتیک و رسمی. اینا چیزهاییه که نه فقط کشور به کشور، که شهر به شهر فرق می‌کنه. در نهایت مقصد میتونه به شما یه خونه دائمی بده یا اینکه شما رو مجبور به یک مهاجرت دوم بکنه. از این داستان غافل نشید خلاصه.
ـــــــــــــــــــــــــــــــــــــــ
لینکدین کایت رو برای پوزیشن‌های بیشتر و مطالب مرتبط دنبال کنید: Linkedin
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from DLeX: AI Python (NaviD DariYa)
راهنمای تصمیم درباره Tune کردن یا Tune نکردن داده ها
https://cloud.google.com/blog/products/ai-machine-learning/to-tune-or-not-to-tune-a-guide-to-leveraging-your-data-with-llms
#LLM
#Google
https://cloud.google.com/blog/products/ai-machine-learning/to-tune-or-not-to-tune-a-guide-to-leveraging-your-data-with-llms
#LLM
Forwarded from PyTorch Howsam (Howsam Support)
Media is too big
VIEW IN TELEGRAM
مدتی هست که Lightning.ai سرویسی بنام Studio معرفی کرده که میشه رقیب گوگل کولب هست.
اما مزایای این سرویس چی هست:
* میتونید به‌صورت لوکال هم کد بزنید. یعنی توی VSCode یا پایچارم روی سیستم خودتون کد بزنید، ولی از سخت‌افزار استودیو استفاده کنید.
* داده‌هاتون حفظ میشه و حذف نمیشه.
* میتونید Web App بالا بیارید یا وزن مدل‌هایی که ساختید رو به اشتراک بذارید.
* 22 ساعت GPU رایگان برای یک ماه هم میده.
بعضی از مزایاش جالب هستن ولی خب مثلا مدت زمان GPU آنچنان زیاد نیست. بد نیست ویدئوی بالا رو ببینید.
به‌هرصورت، رفتیم که تستش کنیم؛ درخواست فرستادیم و بعد از سه روز درخواست تایید شد. وارد فاز بعدی شدیم که باید دوباره چند مرحله ثبت نام رو پشت سر میذاشتیم. رفتیم جلو و رسیدیم به شماره تلفن برای Verification! اول، خیلی سرخوش شماره ایران رو زدیم که خب هیچی! بعدش، رفتیم یه شماره مجازی گرفتیم که اونم هیچی! 😢 بعدشم که دیگه کلا Mission Failed! 😭 خلاصه اینکه، به قول بانو هایده: تا میخواستیم لب معشوقو ببوسیم. پریدیم که...
حالا شما اگه تجربه کردی به ما بگو که اینجا به اشتراک بذاریم...
link
@pytorch_howsam
اما مزایای این سرویس چی هست:
* میتونید به‌صورت لوکال هم کد بزنید. یعنی توی VSCode یا پایچارم روی سیستم خودتون کد بزنید، ولی از سخت‌افزار استودیو استفاده کنید.
* داده‌هاتون حفظ میشه و حذف نمیشه.
* میتونید Web App بالا بیارید یا وزن مدل‌هایی که ساختید رو به اشتراک بذارید.
* 22 ساعت GPU رایگان برای یک ماه هم میده.
بعضی از مزایاش جالب هستن ولی خب مثلا مدت زمان GPU آنچنان زیاد نیست. بد نیست ویدئوی بالا رو ببینید.
به‌هرصورت، رفتیم که تستش کنیم؛ درخواست فرستادیم و بعد از سه روز درخواست تایید شد. وارد فاز بعدی شدیم که باید دوباره چند مرحله ثبت نام رو پشت سر میذاشتیم. رفتیم جلو و رسیدیم به شماره تلفن برای Verification! اول، خیلی سرخوش شماره ایران رو زدیم که خب هیچی! بعدش، رفتیم یه شماره مجازی گرفتیم که اونم هیچی! 😢 بعدشم که دیگه کلا Mission Failed! 😭 خلاصه اینکه، به قول بانو هایده: تا میخواستیم لب معشوقو ببوسیم. پریدیم که...
حالا شما اگه تجربه کردی به ما بگو که اینجا به اشتراک بذاریم...
link
@pytorch_howsam
Forwarded from NLP stuff
معرفی دوره آموزشی و مسابقه rayan
• دانشگاه شریف، مسابقه و دوره پیشرفته و جالبی با نام RAYAN AI در زمینه اعتمادپذیری در یادگیری عمیق (Trustworthiness in Deep Learning) برگزار می‌کنه. این مسابقه ۳۵ هزار دلار جایزه نقدی داره (درست خوندید) و پاییز برگزار میشه.
• دو تا دوره با اساتید خفن (مثل دکتر رهبان، دکتر سلیمانی و دکتر نجفی و ...) هم برگزار می‌کنه؛ یکی دوره مقدمه یادگیری ماشین و یادگیری عمیق و دومی هم اعتمادپذیری در یادگیری عمیق.
• دوره‌ها تمرین و پروژه دارند، هم برای مسابقه آماده میشید و هم گواهی پایان دوره از دانشگاه شریف میگیرید. و واقعا سیلابس خوبی دارند (تصویر دو و سه را ببینید).
• دقت کنید که تا ۲۰ تیر (سه روز دیگه) وقت برای ثبت نام دوره‌ها دارید و از ۲۴ تیر تا ۲۸ شهریور برگزار میشه. هزینه ثبت‌نام هر دوره فقط ۱۰۰ هزار تومنه و مجازی هم هست. تکرار میکنم که ۳۵ هزار دلار جایزه مسابقه‌ست!
پ.ن. ما دوره آموزشی، مسابقه و ایونتی در کانال قرار میدیم که خودمون هم دوست داشته باشیم در اون شرکت کنیم.
لینک ثبت نام دوره آموزشی و مسابقه:
https://rayancup.ir/ai
کانال تلگرام:
@Rayan_AI_Course
#other
@nlp_stuff
• دانشگاه شریف، مسابقه و دوره پیشرفته و جالبی با نام RAYAN AI در زمینه اعتمادپذیری در یادگیری عمیق (Trustworthiness in Deep Learning) برگزار می‌کنه. این مسابقه ۳۵ هزار دلار جایزه نقدی داره (درست خوندید) و پاییز برگزار میشه.
• دو تا دوره با اساتید خفن (مثل دکتر رهبان، دکتر سلیمانی و دکتر نجفی و ...) هم برگزار می‌کنه؛ یکی دوره مقدمه یادگیری ماشین و یادگیری عمیق و دومی هم اعتمادپذیری در یادگیری عمیق.
• دوره‌ها تمرین و پروژه دارند، هم برای مسابقه آماده میشید و هم گواهی پایان دوره از دانشگاه شریف میگیرید. و واقعا سیلابس خوبی دارند (تصویر دو و سه را ببینید).
• دقت کنید که تا ۲۰ تیر (سه روز دیگه) وقت برای ثبت نام دوره‌ها دارید و از ۲۴ تیر تا ۲۸ شهریور برگزار میشه. هزینه ثبت‌نام هر دوره فقط ۱۰۰ هزار تومنه و مجازی هم هست. تکرار میکنم که ۳۵ هزار دلار جایزه مسابقه‌ست!
پ.ن. ما دوره آموزشی، مسابقه و ایونتی در کانال قرار میدیم که خودمون هم دوست داشته باشیم در اون شرکت کنیم.
لینک ثبت نام دوره آموزشی و مسابقه:
https://rayancup.ir/ai
کانال تلگرام:
@Rayan_AI_Course
#other
@nlp_stuff
سلام به همه!
معرفی این سایت رو به این صورت از لینکدین دیدم گفتم به شما هم معرفی کنم
https://jobs-kit.com/
اگه دنبال شغل‌های بین‌المللی با امکان دورکاری، ریلوکیشن یا Visa Sponsorship هستید، پیشنهاد میکنم حتماً یه سر به وب‌سایت جابزکیت بزنید.
معرفی این سایت رو به این صورت از لینکدین دیدم گفتم به شما هم معرفی کنم
https://jobs-kit.com/
JobsKit
جابزکیت - پلتفرم کاریابی بین المللی و دلاری برای ایرانیان
جابزکیت، مرجع تخصصی فرصت‌های شغلی بین‌المللی برای ایرانیان. آگهی‌های استخدامی ریموت، جاب‌آفر با ویزای کاری و موقعیت‌های جذاب کاری در سراسر جهان.
Forwarded from یادگیری ماشین
دیروز شرکت OpenAI جدیدترین مدل خود را که پیش‌نمایشی از مدل o1 است معرفی کرد. این مدل که قبلا با نام‌های *Q و توت‌فرنگی در رسانه‌ها مطرح شده بود، قدرت استنتاج و استدلال پیشرفته‌تری از مدل‌های قبلی ارائه می‌دهد. البته این فرآیند استدلال باعث کندتر بودن تولید پاسخ شده است. برای بررسی این مدل، یک سوال ساده‌ی استدلالی را از دو مدل ChatGPT o1-preview و ChatGPT 4o پرسیدیم. همانطور که مشاهده می‌کنید مدل جدید برخلاف مدل قبلی توانسته است به این سوال به درستی پاسخ دهد. البته این یک تست ساده برای یک بررسی اولیه است، درحالی‌که ادعا شده است که این مدل برای حل مسائل پیچیده‌ی ریاضی، کدینگ و علوم توانمندی قابل توجهی دارد. بعنوان نمونه، مدل 4o برای مسائل المپیاد ریاضی دقت ۱۳٪ را به‌دست آورده است، درحالی‌که نسل جدید به دقت ۸۳٪ رسیده است.