اولا، ممنون که ری‌اکشن نشون میدید. 🙏
دوم هم اینکه، نوتبوک مهدی آماده شده و می‌تونید بهش نگاه بندازید.

این هم توضیحات مهدی برای این نوتبوک:

لینک نوت بوکی که برای مسابقه حال حاضر کگل منتشر کردم رو در ادامه این پیام قرار دادم.

از روش های مختلف مثل LGBM و XGBoost , Random Forest و Catboost و همچنین میانگین خروجی احتمالاتی پیش بینی های این روش ها استفاده شده.

توی بخش داده هم میسینگ ولیو ها و اوتلایرها و EDA تک متغیره و دو متغیره و نرمالیزیشن بررسی شده.

بهترین دقت نهایی بدست اومده مربوط به حالتی بود که از خروجی های مدل های مختلف میانگین گرفته شد ( 0.89389 )

https://www.kaggle.com/code/mahdiasghari5731/lgbm-catboost-xgb-eda-accuracy-0-8940

می‌تونید با upvote کردن نوتبوک بالا، مهدی رو تشویق کنید. 😊

کتاب درباره LLM با عنوان Build a Large Language Model

نویسنده این کتاب آقای سباستین راشکا (Sebastian Raschka) هست که فرد شناخته‌شده‌ای هست. همچنین، این کتاب در Manning منتشر شده. البته، هنوز کامل نشده و فصل‌های ابتدایی کتاب منتشر شده.

به‌صورت آنلاین و البته با یکسری محدودیت‌هایی می‌تونید این کتاب رو مطالعه کنید. ریپوی گیتهاب هم داره که کدها رو اونجا میذاره. یک شکل جالب از این کتاب رو براتون پیوست کردیم.

لینک کتاب | لینک گیتهاب

@pytorch_howsam

Neural-ABC is a neural implicit parametric model with latent spaces of human identity, clothing, shape and pose. It can generate various human identities and different clothes. The clothed human body can deform into different body shapes and poses.

Git : Neural-ABC: Neural Parametric Models for Articulated Body with Clothes

Amazon's Just Walk Out technology relies on hundreds of workers in India watching you shop.
فروشگاه تمام اوتوماتیک آمازون ؟!
- هوش مصنوعی ؟
- پردازش تصویر ؟
- یا باز هم نظارت انسانی !

EU-USA-Today

Washington Times

از طریق لینک زیر (توی سایت هاگینگ‌فیس) می‌تونید مقاله‌های ترند هوش مصنوعی رو ببینید. کسی که مقاله‌ها رو معرفی میکنه، فرد شناخته‌شده‌ای در توییتر هست و چند سالی هست که توی توییتر همین کار رو انجام میده.

https://huggingface.co/papers

سرویس پولی کولب GPUهای جدید داده :)
توی لیست بالا، L4 رو می‌بینیم که تازه اضافه شده.
@pytorch_howsam

پایتورچ یک کتابخونه جدید به نام torchtune معرفی کرده که مخصوص فاین‌تیون کردن LLM-هاست.

torchtune is a Native-PyTorch library for LLM fine-tuning.

با این کتابخونه می‌تونید LLM-ها رو Finetune کنید و روشون آزمایش انجام بدید. آدرس کتابخونه:
https://pytorch.org/torchtune/0.1/

اینجا معرفی مختصری از تورچ‌تیون گفته شده:
https://pytorch.org/torchtune/0.1/overview.html

توی لینک زیر، درمورد Llama3 گفته که شامل بخش‌های معرفی مدل، دسترسی به مدل، فایل‌تیون کردن با تورچ‌تیون، ارزیابی کردن مدل فایل‌تیون‌شدن، جنریت متن، جنریت سریع‌تر با کوانتیزیشن هست:
https://pytorch.org/torchtune/0.1/tutorials/llama3.html

@pytorch_howsam

کتاب خوبیه
@pytorch_howsam

در مقاله زیر، شبکه Kolmogorov-Arnold Networks (KAN) پیشنهاد شده که مولفانش اون رو آلترناتیوی برای MLP میدونن که البته دقیق‌تر و تفسیرپذیرتر هست.

حالا چیکار کردن؟ ما توی شبکه MLP، اکتیویشن فانکشن رو روی نورون میذاریم (یعنی آخر کار میذاریم). اما، توی این مقاله، اکتیویشن فانکشن روی وزن‌های نورون گذاشته میشه و قابلیت یادگیری داره. این مقاله مورد توجه قرار گرفته.

Paper: https://arxiv.org/abs/2404.19756
Github: https://github.com/KindXiaoming/pykan
Documentation: https://kindxiaoming.github.io/pykan/

@pytorch_howsam

یک Talk نیم ساعته درباره ویژن ترنسفورمرها

طبیعتا، درس نمیده. ولی خیلی خوب به مهم‌ترین کارهای مبتنی بر ترنسفورمرها در حوزه کامپیوتر ویژن اشاره میکنه. حالا حوصله هم نداشتید نگاه کنید، تند تند بزنید جلو، ببینید چه مقاله‌هایی رو معرفی میکنه! :)

https://www.youtube.com/watch?v=BnM-S50P_so

خانـــم‌ها و آقایــــان،
شبکه xLSTM تنه به تنه LLM-های ترنسفوری می‌زند!

شبکه جدیدی به نام xLSTM یا Extended LSTM معرفی شده که توجه زیادی رو به خودش جلب کرده. این مقاله رو آقای Sepp Hochreiter همراه با تیمش ارائه کرده. حالا آقای Sepp Hochreiter کی هستن؟ همون کسی که 30 سال پیش LSTM رو همراه با آقای Jürgen Schmidhuber پیشنهاد کردن. حالا بعد از 30 سال، نسخه امروزی (شاید مدرن!) شبکه LSTM رو همراه با تیمش پیشنهاد کردن.

اونها LSTM رو طوری توسعه دادن که قابلیت Scale شدن پیدا کنه. یعنی شبکه‌های LSTM بیلیون پارامتری داشته باشیم! مثل LLM-های امروزی...

به‌صورت کلی، ساختار شبکه xLSTM در تصویر بالا نشون داده شده. سمت چپ که LSTM رو می‌بینید. با توسعه همون LSTM اصلی، دو تا Memory Cell با نام‌های sLSTM و mLSTM ساخته شده. وقتی sLSTM و mLSTM رو در ساختار Residual Block (همون شورتکات‌ها) قرار بدیم، xLSTM Block ساخته میشه. نهایتا با Stack کردن بلوک‌های xLSTM به معماری یا شبکه xLSTM می‌رسیم! حالا نسبت این دو بلوک میتونه متفاوت باشه. به عنوان مثال، در تصویر بالا (سمت راست) نسبت 1:1 از sLSTM و mLSTM رو می‌بینید.

مقاله
.

یک خبر جالب اینکه، Jetbrains (سازنده پایچارم)، IDE-هاش رو به مدل لوکال 100 میلیون پارامتری با Context سایز 1500 توکن مجهز کرده. و این یعنی، کد نوشتن با پایچارم لذت‌بخش‌تر از قبل میشه. مدل هم از سخت‌‎افزار شما برای اجرا استفاده میکنه و نیازی به اینترنت نیست.

حالا چطوری کار میکنه؟ اگه با پایچارم کار کرده باشید، میدونید که auto complete قوی داره و همین که یکی دو تا حرف از دستور رو بنویسیم، سریع دستورات مرتبط رو پیشنهاد میده. حالا اینطوریه که دیگه کلا دستور رو همراه با ورودی و خروجی به شما پیشنهاد میده. به خاطر همین بهش میگن full line code complete!

وبلاگ Jetbrains برای اطلاعات بیشتر:
https://blog.jetbrains.com/blog/2024/04/04/full-line-code-completion-in-jetbrains-ides-all-you-need-to-know/

@pytorch_howsam

.
بعد از معرفی شبکه KAN، حالا کارهای مختلفی مبتنی بر این شبکه داره انجام میشه. یکی از کارهای جالب، ترکیب GPT و KAN هست. در ریپوی گیتهاب زیر، دو کد minGPT با pyKAN ترکیب شده. نمونه کدش:

from kan_gpt.model import GPT
from transformers import GPT2Tokenizer

model_config = GPT.get_default_config()
model_config.model_type = "gpt2"
model_config.vocab_size = 50257
model_config.block_size = 1024
model = GPT(model_config)

tokenizer = GPT2Tokenizer.from_pretrained('gpt2')

prompt = "Bangalore is often described as the "

prompt_encoded = tokenizer.encode(
  text=prompt, add_special_tokens=False
)

x = torch.tensor(prompt_encoded).unsqueeze(0)

model.eval()
y = model.generate(x, 50)  # sample 50 tokens

result = tokenizer.decode(y)

print(result)

# Bangalore is often described as the Silicon Valley of India.
# The city has witnessed rapid growth in the past two decades.....

لینک ریپوی گیتهاب KAN-GPT

@pytorch_howsam

یکی از حوزه‌های پرطرف‌دار در تعریف موضوع پایان نامه ارشد/دکترا، حوزه پزشکی هست. سایت فیزیونت، یکی از بهترین منابع آموزشی و تحقیقاتی برای حوزه پزشکی هست. دیتاست‌ها و نرم‌افزارهای اوپن‌سورس زیادی رو ارائه میدن. برای تعریف موضوع پایان‌نامه این سایت رو مدنظر داشته باشید.
https://physionet.org/

@pytorch_howsam

🟠 رایگان شد! 🟠

🔰 آموزش Faster RCNN از امروز، به صورت رایگان، در اختیار مخاطبان و همراهان هوسم قرار گرفته است.😍

📋 این دوره شامل 4 ساعت آموزش ویدیویی (تئوری و کدنویسی) است. برای کسب اطلاعات بیشتر و ثبت‌نام، روی لینک زیر کلیک کنید:

🔗لینک آموزش


@howsam_org

گاد آو یوتوب، چَنِلز، آقای Grant Sanderson، خالق 3Blue1Brown توی توییتر گفته:

I often prefer to read math than to watch videos on it.

بعد، گفته که اگه شما هم مثل من هستید، می‌تونید درس‌نامه‌های متنی محتواهای کانال یوتوب 3Blue1Brown رو مطالعه کنید.

درس‌نامه‌های متنی هم مثل ویدئوها عالی هست. این هم آدرس درس‌نامه‌ها:
https://www.3blue1brown.com/#lessons

چقدر خفنی تو آخه...

@pytorch_howsam

A decoder-only foundation model for time-series forecasting

اخیرا، گوگل در مقاله بالا مدلی بنام TimesFM برای پیش‌بینی در داده‌های سری زمانی ارائه کرده.

این مدل با الهام‌گیری از LLM-ها در NLP توسعه داده شده. ما در Language Modeling یک مدل زبانی (LM) روی داده‌های متنی آموزش میدیم. هدفمون این هست که زبان رو مدل کنیم. در LLM هم اون L اول (Large) نشون دهنده این هست که یک مدل زبانی بسیار بزرگ داریم که روی حجم بسیار زیادی داده آموزش داده شده.

توی این مقاله، محققان گوگل مدلی توسعه دادن که داده سری زمانی رو مدل میکنه. مشابه با LLM به دنبال ساختن Foundation Model هستن.

این مدل به بزرگی مدل‌های LLM نیست و فقط ۲۰۰ میلیون پارامتر داره. مقایسه کنید با مدل‌های بیلیون پارامتری LLM.

دو نوع دیتاست برای آموزش مدل استفاده شده: (۱) داده‌های ساختگی، (۲) داده‌های واقعی که شامل ۱۰۰ بیلیون دیتا‌پوینت هست! 🫡

نتایج بدست اومده، بسیار امیدوارکننده هست. ازجمله اینکه مدل TimesFM خاصیت Zero-shot داره و روی دیتاست‌هایی که آموزش ندیده، عملکرد خوبی از خودش نشون داده.

مقاله | وبلاگ | گیتهاب | هاگینگ‌فیس

@pytorch_howsam

گوگل پکیجی بنام model_explorer داره که به شما امکان ویژوالایز کردن مدل‌ها رو میده. تصویر بالا رو ببینید.

ما هم در قالب یک نوتبوک، دستورات لازم برای نصب و استفاده از کتابخونه برای یک مدل نمونه رو گفتیم.

گیتهاب | نوتبوک هوسم

@pytorch_howsam