Audio
ویدئوی معرفی کگل در یوتوب هوسم رو به Notebook LM دادم و یک پادکست 7 دقیقه‌ای ازش ساخت. به نظرم، با وجود یکسری اشتباهات تلفظ، مفید هست و ارزش گوش کردن رو داره. 😊
چند ماه پیش، این ویدئو رو منتشر کردیم. بازخورد خوبی گرفت. لینک ویدئو
چند ماه پیش، این ویدئو رو منتشر کردیم. بازخورد خوبی گرفت. لینک ویدئو
مسابقه Detect Behavior with Sensor Data به‌تازگی در کگل معرفی شده. این مسابقه 3 ماه زمان داره و تازه 5 روزه که ازش گذشته. حجم داده هم زیاد نیست و زیر 1 گیگ هست. باتوجه به اینکه تعطیلی تابستون رو در پیش داریم، فرصت خوبی هست که برای این مسابقه وقت بذارید. ما هم در هوسم برنامه‌هایی داریم و کار روی این مسابقه رو شروع کردیم.
من عمدا درمورد موضوع مسابقه صحبت نکردم. برای اینکه، حتی برای درک موضوع هم وقت بذارید و از صفر شروع کنید.
پیشنهاد میکنم، به کدهای موجود در مسابقه نگاه نکنید. سعی کنید، گام‌های اول رو خودتون جلو برید. برای اینکه ذهنتون انقدر وابسته به کدهای آماده نشه. بعد اینکه، کمی جلو رفتید، به کدهای دیگران هم نگاه بندازید.
لینک مسابقه
من عمدا درمورد موضوع مسابقه صحبت نکردم. برای اینکه، حتی برای درک موضوع هم وقت بذارید و از صفر شروع کنید.
پیشنهاد میکنم، به کدهای موجود در مسابقه نگاه نکنید. سعی کنید، گام‌های اول رو خودتون جلو برید. برای اینکه ذهنتون انقدر وابسته به کدهای آماده نشه. بعد اینکه، کمی جلو رفتید، به کدهای دیگران هم نگاه بندازید.
لینک مسابقه
Kaggle
CMI - Detect Behavior with Sensor Data
Predicting Body Focused Repetitive Behaviors from a Wrist-Worn Device
مدل سری زمانی جدید TiRex که بر پایه معماری xLSTM ارائه شده، در لیدربرد Gift-Eval صدرنشینه.
در تصویر، لیدربرد GIFT-Eval دیده میشه که شامل لیستی از بهترین مدل‌های سری زمانی هست.
TiRex | GIFT-Eval
در تصویر، لیدربرد GIFT-Eval دیده میشه که شامل لیستی از بهترین مدل‌های سری زمانی هست.
حالا GIFT-Eval چیه؟
سیستمی برای ارزیابی مدل‌های پیش‌بینی سری زمانی که با کلی دیتای متنوع کار میکنه.
۲۴ تا دیتاست داره که مجموعا شامل بیشتر از ۱۴۴ هزار سری زمانی و ۱۷۷ میلیون دیتاپوینت هست.
از ۷ حوزه مختلف جمع شده، با ۱۰ تا بازه زمانی متفاوت، ورودی‌های چندمتغیره و بازه پیش‌بینی از کوتاه‌مدت تا بلندمدت.
هدفش اینه که بشه مدل‌ها رو توی شرایط مختلف راحت‌تر و منصفانه‌تر با هم مقایسه کرد.
البته که به ما لیستی از بهترین‌های مدل‌های سری زمانی رو هم میده!
TiRex | GIFT-Eval
PyTorch Howsam
اگر تازه وارد دنیای Kaggle شدی:
🔍 تمرکزت رو روی یادگیری بگذار، نه صرفا بردن.
🧠 راه‌حل‌های برتر رو عمیق بررسی کن.
🤝 با دیگران همکاری کن.
نتایج خواهند اومد، به شرطی که اونقدر بمونی که شاهدشون باشی.
🔍 تمرکزت رو روی یادگیری بگذار، نه صرفا بردن.
🧠 راه‌حل‌های برتر رو عمیق بررسی کن.
🤝 با دیگران همکاری کن.
نتایج خواهند اومد، به شرطی که اونقدر بمونی که شاهدشون باشی.
بعد از معرفی این مسابقه، یکسری پیام در این راستا دیدم که احساس کردم بد نیست کمی توضیح بدم. سمت صحبتم با کسانی هست که دوست دارن برای مسابقه وقت بذارن، ولی...
ببینید، وقتی گفتم توی این مسابقه شرکت کنید، مطلقا به خاطر جایزه نبود. تقریبا غیرممکن هست که من و شما مسابقه رو برنده بشیم! پیشنهاد من صرفا به خاطر یادگیری و تجربه بود. اتفاقا، قبلا از نفر اول کگل خوندیم که میگفت دنبال یادگیری باشید، نه بردن. پیامش رو ریپلای کردم.
حالا وقتی بحث یادگیری هست، دیگه اهمیتی نداره که کگل ما رو تحریم کرده یا شماره تلفن نمی‌تونیم ثبت کنیم یا کوچه ما رو روی نقشه نمیاره! یک‌جوری ما حلش کردیم، تو هم راه حل دور زدنش رو پیدا کن. اتفاقا یادگیری از همین نقطه شروع میشه!
با بهانه‌ها خودت رو گول نزن! نگو، نه بذار من اول یک دور یادگیری ماشین و یادگیری عمیق رو مرور کنم و بعد برم سراغ کگل، یا اصلا من در حد کگل نیستم، ناامیدم و ...
همون حداقل کاری که می‌تونی توی این مسابقه انجام بدی رو انجام بده. صرفا می‌تونی حسابت رو وریفای کنی و توی مسابقه شرکت کنی؟ خب، همین هم بد نیست. ویدئوی معرفی کگل ما رو ببین، یکمی توی اون بخش‌ها و تب‌های مختلف مسابقه بچرخ، ببین چی عایدت میشه. یکمی کدنویسی بلدی؟ چه خوب! یک نوتبوک بساز، دیتاست رو توی اون نوتبوک لود کن و فقط نگاهش کن! یکمی تحلیل داده بلدی؟ خوبه، چهار تا نمودار روی دیتاست دموگرافیکش بکش و ذوق کنی. بلد نیستی؟ از دیتاست اسکرین‌شات بگیر، بفرست برای ChatGPT و بهش بگو، به نظرت چه نمودارهایی روی این دیتاست میشه کشید؟ هم بهت توضیح میده و هم کد میده.
همونطوری که یک روزی راه رفتن رو با انجام دادنش یاد گرفتی و وسطش آسیب هم دیدی، الان هم با هر دانش و مهارتی که داری برو و یک قدم بردار...
به این مقاومت اولیه غلبه کن. خیلی جاها این مقاومت اولیه جلوی رشد رو میگیره: فردی که گواهینامه داره، اما جرات نشستن پشت فرمون رو نداره. کسی که توی باشگاه همش خودش رو با وزنه‌ها و حرکات سبک مشغول میکنه. کسی که کلاس انگلیسی میره، ولی با بهانه‌های مختلف از صحبت کردن به انگلیسی طفره میره.
این جمله آخر هم از ChatGPT:
ببینید، وقتی گفتم توی این مسابقه شرکت کنید، مطلقا به خاطر جایزه نبود. تقریبا غیرممکن هست که من و شما مسابقه رو برنده بشیم! پیشنهاد من صرفا به خاطر یادگیری و تجربه بود. اتفاقا، قبلا از نفر اول کگل خوندیم که میگفت دنبال یادگیری باشید، نه بردن. پیامش رو ریپلای کردم.
حالا وقتی بحث یادگیری هست، دیگه اهمیتی نداره که کگل ما رو تحریم کرده یا شماره تلفن نمی‌تونیم ثبت کنیم یا کوچه ما رو روی نقشه نمیاره! یک‌جوری ما حلش کردیم، تو هم راه حل دور زدنش رو پیدا کن. اتفاقا یادگیری از همین نقطه شروع میشه!
با بهانه‌ها خودت رو گول نزن! نگو، نه بذار من اول یک دور یادگیری ماشین و یادگیری عمیق رو مرور کنم و بعد برم سراغ کگل، یا اصلا من در حد کگل نیستم، ناامیدم و ...
همون حداقل کاری که می‌تونی توی این مسابقه انجام بدی رو انجام بده. صرفا می‌تونی حسابت رو وریفای کنی و توی مسابقه شرکت کنی؟ خب، همین هم بد نیست. ویدئوی معرفی کگل ما رو ببین، یکمی توی اون بخش‌ها و تب‌های مختلف مسابقه بچرخ، ببین چی عایدت میشه. یکمی کدنویسی بلدی؟ چه خوب! یک نوتبوک بساز، دیتاست رو توی اون نوتبوک لود کن و فقط نگاهش کن! یکمی تحلیل داده بلدی؟ خوبه، چهار تا نمودار روی دیتاست دموگرافیکش بکش و ذوق کنی. بلد نیستی؟ از دیتاست اسکرین‌شات بگیر، بفرست برای ChatGPT و بهش بگو، به نظرت چه نمودارهایی روی این دیتاست میشه کشید؟ هم بهت توضیح میده و هم کد میده.
همونطوری که یک روزی راه رفتن رو با انجام دادنش یاد گرفتی و وسطش آسیب هم دیدی، الان هم با هر دانش و مهارتی که داری برو و یک قدم بردار...
به این مقاومت اولیه غلبه کن. خیلی جاها این مقاومت اولیه جلوی رشد رو میگیره: فردی که گواهینامه داره، اما جرات نشستن پشت فرمون رو نداره. کسی که توی باشگاه همش خودش رو با وزنه‌ها و حرکات سبک مشغول میکنه. کسی که کلاس انگلیسی میره، ولی با بهانه‌های مختلف از صحبت کردن به انگلیسی طفره میره.
این جمله آخر هم از ChatGPT:
مسابقهٔ واقعی بین نسخهٔ امروز و دیروز توست. برو جلو، حتی اگر قدمت اندازهٔ یک «print(df.head())» باشد! 😉🚀
Audio
آقای Ilya Sutskever برای دریافت مدرک افتخاری از دانشگاه تورنتو در روز ۹ ژوئن ۲۰۲۵ یک سخنرانی درباره هوش مصنوعی داشته. پادکست فارسی این سخنرانی رو می‌تونید گوش بدید. خودم هم گوش دادم.
این دومین پادکستی هست که با هوش مصنوعی میذارم. هدفم این نیست که صرفا یک محتوایی توی این کانال بذارم و بگم تولید محتوا کردم. هدفم این هست که از ابزارهای خوب هوش مصنوعی برای بهتر شدن استفاده کنم. منِ تولیدکننده محتوا با هوش مصنوعی می‌تونم محتوای متنوع‌تر و باکیفیت‌تری رو در زمان کمتری آماده کنم. میدونم بی اشتباه نیست، ولی نکته مهم اینه که قابل استفاده هست. اتفاقا آقای ایلیا توی همین سخنرانی به این مساله اشاره میکنه. فرصت‌ها برای بهتر شدن با هوش مصنوعی بسیار زیاد شده.
ویدئوی اصلی
این دومین پادکستی هست که با هوش مصنوعی میذارم. هدفم این نیست که صرفا یک محتوایی توی این کانال بذارم و بگم تولید محتوا کردم. هدفم این هست که از ابزارهای خوب هوش مصنوعی برای بهتر شدن استفاده کنم. منِ تولیدکننده محتوا با هوش مصنوعی می‌تونم محتوای متنوع‌تر و باکیفیت‌تری رو در زمان کمتری آماده کنم. میدونم بی اشتباه نیست، ولی نکته مهم اینه که قابل استفاده هست. اتفاقا آقای ایلیا توی همین سخنرانی به این مساله اشاره میکنه. فرصت‌ها برای بهتر شدن با هوش مصنوعی بسیار زیاد شده.
ویدئوی اصلی
متا، گوگل دیپ‌مایند، دانشگاه کورنل و انویدیا اخیرا مقاله‌ای با موضوع «مدل‌های زبانی چقدر حفظ میکنن؟» منتشر کردن. عنوان مقاله:
این مقاله نشون میده مدل‌های GPT-style حدود ۳.۶ بیت به ازای هر پارامتر حافظه دارن. یعنی، یک مدل 1 میلیاردی، حدودا 3.6 گیگابایت حافظه برای ذخیره‌سازی داده داره!
تا زمانی که ظرفیت پر بشه، مدل‌ها داده‌ها رو حفظ میکنن؛ بعد از اون، به سمت تعمیم (generalization) میرن.
پدیده double descent رو یادتون میاد؟ دقیقا زمانی اتفاق می‌افته که داده‌ها از ظرفیت مدل بیشتر بشن.
به نظرم مقاله آموزنده‌ای هست. میتونه خیلی از مفاهیم مثل یادگیری، حفظ کردن، تعمیم‌پذیری و دابل دیسنت رو برامون شفاف‌تر کنه. من هنوز مقاله رو نخوندم، خلاصه‌هاش رو خوندم. امیدوارم، وقت کنم که بخونم. این منابع رو پیدا کردم:
مقاله اصلی | وبلاگ 1 | وبلاگ 2 | رشتو
How much do language models memorize?
این مقاله نشون میده مدل‌های GPT-style حدود ۳.۶ بیت به ازای هر پارامتر حافظه دارن. یعنی، یک مدل 1 میلیاردی، حدودا 3.6 گیگابایت حافظه برای ذخیره‌سازی داده داره!
تا زمانی که ظرفیت پر بشه، مدل‌ها داده‌ها رو حفظ میکنن؛ بعد از اون، به سمت تعمیم (generalization) میرن.
پدیده double descent رو یادتون میاد؟ دقیقا زمانی اتفاق می‌افته که داده‌ها از ظرفیت مدل بیشتر بشن.
به نظرم مقاله آموزنده‌ای هست. میتونه خیلی از مفاهیم مثل یادگیری، حفظ کردن، تعمیم‌پذیری و دابل دیسنت رو برامون شفاف‌تر کنه. من هنوز مقاله رو نخوندم، خلاصه‌هاش رو خوندم. امیدوارم، وقت کنم که بخونم. این منابع رو پیدا کردم:
مقاله اصلی | وبلاگ 1 | وبلاگ 2 | رشتو
Audio
چند خبر جالب امروز رو به Notebook LM دادم و یک پادکست از اخبار هوش مصنوعی تولید کرد.
به نظرم خوب بود. هم توی وقتم صرفه‌جویی شد و هم از اخبار به‌صورت مختصر مطلع شدم.
شاید به این روند ادامه بدم. هم تعداد خبرها رو بیشتر کنم و هم محدود به هوش مصنوعی نکنم. مثلا، به مقدار کمی اخباری از ورزش و سایر موارد هم داخلش بذارم...
منابع:
به نظرم خوب بود. هم توی وقتم صرفه‌جویی شد و هم از اخبار به‌صورت مختصر مطلع شدم.
شاید به این روند ادامه بدم. هم تعداد خبرها رو بیشتر کنم و هم محدود به هوش مصنوعی نکنم. مثلا، به مقدار کمی اخباری از ورزش و سایر موارد هم داخلش بذارم...
منابع:
• منبع اول به پیشرفتهای اپل در زمینه هوش مصنوعی تولیدکننده تصویر با سیستم "STARFlow" می‌پردازد که با مدل‌های پیشرفتهای مانند DALL-E و Midjourney رقابت می‌کند. لینک
• منبع دوم به بحث پیرامون اثربخشی "Fine-tuning" (تنظیم دقیق) مدل‌های زبان بزرگ (LLMs) می‌پردازد و دیدگاه‌های متفاوتی را در مورد مفید بودن یا نبودن آن برای تزریق دانش یا تغییر رفتار مدل ارائه می‌دهد. لینک
• منبع سوم به بررسی نحوه همکاری و تکمیل‌کنندگی ابزارهای هوش مصنوعی NotebookLM و Perplexity برای بهبود فرآیند تحقیق می‌پردازد. لینک
• منبع چهارم در مورد آزمایش گوگل برای فرمت جدید در "Google Discover" است که به‌جای عناوین مقالات، گزیده‌هایی از متن اصلی را نمایش می‌دهد تا با "clickbait" مبارزه کند. لینک
Audio
شرکت Etched با توسعه نخستین چیپ ASIC مخصوص معماری «ترنسفورمر» توانسته سریع‌ترین سخت‌افزار جهان را برای اجرای این نوع مدل‌ها بسازد.
این چیپ که «Sohu» نام دارد، با هدف اجرای مدل‌هایی مثل LLaMA 70B طراحی شده و ادعا می‌شود که قادر است با نرخ بیش از ۵۰۰٬۰۰۰ توکن بر ثانیه عمل کند، سرعتی که به گفته آن‌ها بسیار فراتر از توان B200 یا H100 انویدیا است! 🤯
منابع: 1 | 2
این چیپ که «Sohu» نام دارد، با هدف اجرای مدل‌هایی مثل LLaMA 70B طراحی شده و ادعا می‌شود که قادر است با نرخ بیش از ۵۰۰٬۰۰۰ توکن بر ثانیه عمل کند، سرعتی که به گفته آن‌ها بسیار فراتر از توان B200 یا H100 انویدیا است! 🤯
منابع: 1 | 2
This media is not supported in your browser
VIEW IN TELEGRAM
توی دوره OpenCV یک تمرینی داده بودم که با دستورهای هندسی OpenCV ویدئو بسازید. این یک نمونه کار! 😁 یک نمونه هم قبلا اینجا گذاشته بودم.
سلام
از همین تریبون تشکر میکنم از:
هوسم❤️، استاد اشرفی عزیز❤️، chatgpt 🫣و کودک درون👻
😁😁😁😁
به گفته دوروف:
هوش مصنوعی آینده برادرش با مدل‌های زبان بزرگ فعلی متفاوت خواهد بود و قادر به «درک جهان» است.
دوروف در مصاحبه‌ای با نشریه «لو پوینت» اظهار داشت:
«مشکل اینجاست که هوش مصنوعی مولد مدرن مانند LLM (مدل زبان بزرگ) فکر نمی‌کند، بلکه فقط مقدار زیادی متن را می‌خواند و نسخه‌ای توافقی را ارائه می‌دهد.
این موضوع قابل قبول به نظر می‌رسد، اما لزوماً درست نیست.
و ما انسان‌ها فریب می‌خوریم زیرا زبان پیچیده را با هوش مرتبط می‌دانیم، اما این مدل‌ها هوشمند نیستند.
برادرم نیکلای در حال حاضر روی یک هوش مصنوعی واقعی کار می‌کند - هوش مصنوعی که می‌تواند منطقی فکر کند و جهان را درک کند.»
او از برادرش به عنوان یک «نابغه» یاد کرد.
در همین حال، دوروف تأکید کرد که نیکلای سال‌هاست در فعالیت‌های عملیاتی تلگرام دخالتی نداشته است.
دوروف گفت: «در سال‌های اخیر، او بر تحقیقات بنیادی، مانند طراحی یک معماری بلاک‌چین با قابلیت مقیاس‌پذیری بی‌نهایت، تمرکز کرده است.»
Telegram co-founder Durov says his brother working on ‘real AI’
هوش مصنوعی آینده برادرش با مدل‌های زبان بزرگ فعلی متفاوت خواهد بود و قادر به «درک جهان» است.
دوروف در مصاحبه‌ای با نشریه «لو پوینت» اظهار داشت:
«مشکل اینجاست که هوش مصنوعی مولد مدرن مانند LLM (مدل زبان بزرگ) فکر نمی‌کند، بلکه فقط مقدار زیادی متن را می‌خواند و نسخه‌ای توافقی را ارائه می‌دهد.
این موضوع قابل قبول به نظر می‌رسد، اما لزوماً درست نیست.
و ما انسان‌ها فریب می‌خوریم زیرا زبان پیچیده را با هوش مرتبط می‌دانیم، اما این مدل‌ها هوشمند نیستند.
برادرم نیکلای در حال حاضر روی یک هوش مصنوعی واقعی کار می‌کند - هوش مصنوعی که می‌تواند منطقی فکر کند و جهان را درک کند.»
او از برادرش به عنوان یک «نابغه» یاد کرد.
در همین حال، دوروف تأکید کرد که نیکلای سال‌هاست در فعالیت‌های عملیاتی تلگرام دخالتی نداشته است.
دوروف گفت: «در سال‌های اخیر، او بر تحقیقات بنیادی، مانند طراحی یک معماری بلاک‌چین با قابلیت مقیاس‌پذیری بی‌نهایت، تمرکز کرده است.»
Telegram co-founder Durov says his brother working on ‘real AI’
دوستان، تخفیف تابستونی روی دوره‌های هوسم شروع شده و تا پایان روز جمعه برقرار هست.
همچنین، یک دوره جدید بنام "مسابقه Kaggle: تحلیل و پیش‌بینی رفتار با داده‌های چندحسگری سری زمانی" معرفی کردیم. تلاشم این هست که با این دوره و دوره‌های پروژه-محور مشابه (مثل دیپ کاتالیست یا ChatGPT)، بیشتر و بیشتر شما رو به کار عملی سوق بدم. چیزی که در بسیار از شماها کم‌رنگ هست و صرفا به آموزش دیدن بسنده می‌کنید و وارد انجام پروژه نمی‌شید و یا می‌ترسید.
مسابقات زیادی در کگل برگزار میشه. اما ما این مسابقه رو انتخاب کردیم. چون، ساختار داده جالب و کمیابی داره. اغلب اوقات پروژه‌ها رو با داده‌های جدولی، متنی و تصویری می‌بینیم. درحالی‌که اینجا با یک داده سری زمانی خوب سروکار داریم. همچنین، در تابستون برگزار میشه و فرصت مناسبی هست که شما هم برید در مسابقه شرکت کنید و رکوردهاتون رو ثبت کنید. خیلی حس خوبی داره که اسمتون وارد جدول میشه.
این دوره الان 50 درصد تخفیف برای 100 نفر اول داره که 30+ نفر فعلا ثبت‌نام کردن.
من قبلا درباره این مسابقه و کگل پست‌هایی کار کرده بودم: اینجا | اینجا | اینجا
لینک دوره مسابقه کگل در هوسم: لینک
همچنین، یک دوره جدید بنام "مسابقه Kaggle: تحلیل و پیش‌بینی رفتار با داده‌های چندحسگری سری زمانی" معرفی کردیم. تلاشم این هست که با این دوره و دوره‌های پروژه-محور مشابه (مثل دیپ کاتالیست یا ChatGPT)، بیشتر و بیشتر شما رو به کار عملی سوق بدم. چیزی که در بسیار از شماها کم‌رنگ هست و صرفا به آموزش دیدن بسنده می‌کنید و وارد انجام پروژه نمی‌شید و یا می‌ترسید.
مسابقات زیادی در کگل برگزار میشه. اما ما این مسابقه رو انتخاب کردیم. چون، ساختار داده جالب و کمیابی داره. اغلب اوقات پروژه‌ها رو با داده‌های جدولی، متنی و تصویری می‌بینیم. درحالی‌که اینجا با یک داده سری زمانی خوب سروکار داریم. همچنین، در تابستون برگزار میشه و فرصت مناسبی هست که شما هم برید در مسابقه شرکت کنید و رکوردهاتون رو ثبت کنید. خیلی حس خوبی داره که اسمتون وارد جدول میشه.
این دوره الان 50 درصد تخفیف برای 100 نفر اول داره که 30+ نفر فعلا ثبت‌نام کردن.
من قبلا درباره این مسابقه و کگل پست‌هایی کار کرده بودم: اینجا | اینجا | اینجا
لینک دوره مسابقه کگل در هوسم: لینک
خاطرتون باشه، چند وقت پیش یک وبینار دو ساعته برای هاگینگ‌فیس برای مرکز نوآوری هم‌فکر برگزار کردم. دوستان زیادی جا موندن.
یک ویدئوی 1 ساعته از جزئیات سایت هاگینگ‌فیس ضبط کردیم و در یوتوب گذاشتیم. تلاش میکنم فعالیتم رو در یوتوب بیشتر کنم. لطفا فیدبک بدید و بگید چه محتواهایی رو دوست دارید که روش کار کنم.
ویدئوی هاگینگ‌فیس در یوتوب
تصویر تزئینی هست...
یک ویدئوی 1 ساعته از جزئیات سایت هاگینگ‌فیس ضبط کردیم و در یوتوب گذاشتیم. تلاش میکنم فعالیتم رو در یوتوب بیشتر کنم. لطفا فیدبک بدید و بگید چه محتواهایی رو دوست دارید که روش کار کنم.
ویدئوی هاگینگ‌فیس در یوتوب
تصویر تزئینی هست...
یک وبلاگ بسیار خوب از راشکا 👏
در این وبلاگ، LLM-ها از GPT تا MoE رو بررسی کرده. باید مطالعه کنم!
https://magazine.sebastianraschka.com/p/the-big-llm-architecture-comparison
در این وبلاگ، LLM-ها از GPT تا MoE رو بررسی کرده. باید مطالعه کنم!
From GPT to MoE: I reviewed & compared the main LLMs of 2025 in terms of their architectural design from DeepSeek-V3 to Kimi 2.
Multi-head Latent Attention, sliding window attention, new Post- & Pre-Norm placements, NoPE, shared-expert MoEs, and more...
https://magazine.sebastianraschka.com/p/the-big-llm-architecture-comparison
Audio
چند وقت پیش، با کورس CS197 از دانشگاه هاروارد آشنا شدم. اسم دقیق کورس این هست:
و در معرفی دوره گفته شده:
به نظر میرسه، متاسفانه ویدئوهاش در دسترس نیست. اما، Lecture Note داره که تمیز و با کیفیت هست. من لکچر 3 با موضوع Reading AI Research Papers رو پادکست کردم و دو بار گوش کردم.
شاید برای دیپ لرنینگ 1000 منبع آموزشی وجود داشته باشه، ولی منبع آموزشی برای این مباحث مهم کمیاب هست.
در این لکچر درباره paperswithcode هم صحبت شده که من بارها در آموزش‌هام بهش اشاره کردم. در یوتوب هم یک ویدئوی معرفی و کار با این سایت گذاشتیم.
لینک صفحه دوره
لینک ویدئوی paperswithcode در یوتوب
AI Research Experiences
Harvard CS197
Learn to do applied deep learning research
و در معرفی دوره گفته شده:
در این دوره، مهارت‌های عملی مورد نیاز برای کار در زمینه‌ی یادگیری عمیق کاربردی را خواهید آموخت، از جمله تجربه‌ی عملی در توسعه‌ی مدل‌ها. همچنین مهارت‌های نگارش فنی مورد نیاز برای تحقیقات کاربردی در حوزه‌ی هوش مصنوعی را یاد می‌گیرید، که شامل تجربه در نوشتن بخش‌های مختلف یک مقاله‌ی تحقیقاتی کامل می‌شود.
به نظر میرسه، متاسفانه ویدئوهاش در دسترس نیست. اما، Lecture Note داره که تمیز و با کیفیت هست. من لکچر 3 با موضوع Reading AI Research Papers رو پادکست کردم و دو بار گوش کردم.
شاید برای دیپ لرنینگ 1000 منبع آموزشی وجود داشته باشه، ولی منبع آموزشی برای این مباحث مهم کمیاب هست.
در این لکچر درباره paperswithcode هم صحبت شده که من بارها در آموزش‌هام بهش اشاره کردم. در یوتوب هم یک ویدئوی معرفی و کار با این سایت گذاشتیم.
لینک صفحه دوره
لینک ویدئوی paperswithcode در یوتوب
از امیررضا:
باتوجه به موقعیت پایتورچ کار عجیبی نیست. اما به این فکر میکنم که گذر از سایکیت به پایتورچ برای مخاطب این کتاب مشکل نیست؟ این کتاب خیلی عمیق نمیشه و به مخاطب یاد میده که در سایکیت با ()fit. می‌تونی مدلت رو آموزش بدی. اما توی پایتورچ دیگه ()fit. جواب نیست و باید خودش کل پروسه آموزش رو کد بزنه. جز اینکه به سمت پایتورچ لایتنینگ یا کراس با بکند پایتورچ بره...
حتی نویسنده کتاب معروف hands on ML and tensorflow دیگه قرار نیست نسخه جدید کتابش رو منتشر کنه. نسخه جدید که بعدا منتشر می شه با پایتورچ هست
باتوجه به موقعیت پایتورچ کار عجیبی نیست. اما به این فکر میکنم که گذر از سایکیت به پایتورچ برای مخاطب این کتاب مشکل نیست؟ این کتاب خیلی عمیق نمیشه و به مخاطب یاد میده که در سایکیت با ()fit. می‌تونی مدلت رو آموزش بدی. اما توی پایتورچ دیگه ()fit. جواب نیست و باید خودش کل پروسه آموزش رو کد بزنه. جز اینکه به سمت پایتورچ لایتنینگ یا کراس با بکند پایتورچ بره...
متاسفانه سایت خوب paperswithcode.com متوقف شد. 💔
چقدر این سایت خوب بود و چقدر برای کارهای مختلف مثل بینایی کامیپوتر حرفه‌ای ازش استفاده کردم. مقاله‌های ترند + مقاله‌های دسته‌بندی‌شده در شاخه‌های مختلف...
همیشه، توی دوره‌ها و جاهای مختلف تاکید می‌کردم که از این سایت استفاده کنید. حتی می‌تونید برای پیدا کردن موضوع پایان‌نامه هم ازش استفاده کنید. توی یوتوب یک ویدئوی معرفی گذاشتم. لینک
البته، گویا قرار هست که نمایش مقاله‌های ترند به همون شکل و ساختار paperswithcode در سایت هاگینگ‌فیس ادامه پیدا کنه. اما خب، فعلا نمایش مقاله‌های دسته‌بندی‌شده رو در هاگینگ‌فیس ندیدم. امیدوارم اضافه بشه.
لینک مقاله‌های ترند در هاگینگ‌فیس
چقدر این سایت خوب بود و چقدر برای کارهای مختلف مثل بینایی کامیپوتر حرفه‌ای ازش استفاده کردم. مقاله‌های ترند + مقاله‌های دسته‌بندی‌شده در شاخه‌های مختلف...
همیشه، توی دوره‌ها و جاهای مختلف تاکید می‌کردم که از این سایت استفاده کنید. حتی می‌تونید برای پیدا کردن موضوع پایان‌نامه هم ازش استفاده کنید. توی یوتوب یک ویدئوی معرفی گذاشتم. لینک
البته، گویا قرار هست که نمایش مقاله‌های ترند به همون شکل و ساختار paperswithcode در سایت هاگینگ‌فیس ادامه پیدا کنه. اما خب، فعلا نمایش مقاله‌های دسته‌بندی‌شده رو در هاگینگ‌فیس ندیدم. امیدوارم اضافه بشه.
ما با همکاری Meta AI و Papers with Code در حال ساخت نسخه‌ای جانشین برای Papers with Code هستیم (که دیروز متوقف شد). Papers with Code، طی سال‌ها منبعی فوق‌العاده برای دانشمندان و مهندسان هوش مصنوعی بوده (و الهام‌بخش ما برای ساخت Hugging Face نیز بود). ما خوشحالیم که راه آن‌ها را ادامه می‌دهیم و بخشی جدید در Hugging Face برای جامعه فراهم می‌کنیم تا بتوانند مقالات ترند را دنبال کنند، با لینک مستقیم به پیاده‌سازی‌هایشان در GitHub 🔥
منبع
لینک مقاله‌های ترند در هاگینگ‌فیس
YouTube
سایت paperswithcode.com: معرفی و آموزش بخش‌های مختلف سایت
سلام به همه علاقه‌مندان حوزه هوش مصنوعی 🖐
آشنایی با ابزارهای هوش مصنوعی مانند سایت PapersWithCode برای علاقه‌مندان به هوش مصنوعی بسیار اهمیت دارد. این ابزارها، به عنوان منابع بسیار ارزشمند، به افراد این امکان را می‌دهند تا به‌روزترین تحقیقات و پیشرفتهای…
آشنایی با ابزارهای هوش مصنوعی مانند سایت PapersWithCode برای علاقه‌مندان به هوش مصنوعی بسیار اهمیت دارد. این ابزارها، به عنوان منابع بسیار ارزشمند، به افراد این امکان را می‌دهند تا به‌روزترین تحقیقات و پیشرفتهای…
Media is too big
VIEW IN TELEGRAM
از مهدی. ببینید، جالبه...
We Built an Auto-aiming Trash Can
This media is not supported in your browser
VIEW IN TELEGRAM
وبلاگ درباره Embedding
این وبلاگ در هاگینگ‌فیس منتشر شده و درباره روش‌های مختلف امبدینگ به‌صورت تعاملی توضیح داده.
در X این پست رو معرفی کرده بودن و یک ویدئو هم براش گذاشته بودن. میخوام بخونمش. اتفاقا باید برای امبدینگ وبلاگ بنویسم. امبدینگ واقعا موجود جذابی هست...
https://huggingface.co/spaces/hesamation/primer-llm-embedding
این وبلاگ در هاگینگ‌فیس منتشر شده و درباره روش‌های مختلف امبدینگ به‌صورت تعاملی توضیح داده.
در X این پست رو معرفی کرده بودن و یک ویدئو هم براش گذاشته بودن. میخوام بخونمش. اتفاقا باید برای امبدینگ وبلاگ بنویسم. امبدینگ واقعا موجود جذابی هست...
https://huggingface.co/spaces/hesamation/primer-llm-embedding