بخشی از سخنان حضرت کارپثی در پادکست Lex Fridman
https://youtu.be/I2ZK3ngNvvI?si=awvPEuORvsWeWhOs

🔸انجمن علمی علوم کامپیوتر دانشگاه علم و صنعت برگزار می‌کند...

🔘کداکد،
مسابقه‌ای جذاب با محوریت prompt engineering

کافیه با GPT سوالاتی که معمولا با برنامه نویسی حل میکردید رو درمیون بذارید تا به پرامپت مناسبی برسید که کد جواب مسئله رو تولید میکنه!


☑️در دو مرحله آنلاین و حضوری

🥇جایزه نفر اول : ۷ میلیون تومان
🥈جایزه نفر دوم : ۵ میلیون تومان
🥉جایزه نفر سوم : ۳ میلیون تومان

🔗لینک پیش ثبت نام : Kodalab.ir
📅شروع ثبت نام از ۶ اردیبهشت
🆓هزینه ثبت نام : رایگان 
مسابقه به صورت فردی بوده و پیش نیاز ندارد.
شرکت برای عموم دانشجویان آزاد است.
〰〰〰〰〰〰
@kodacode
@kodalab
@csssa_iust
LinkedIn

یک LLM هست به نام perplexity که مثل ChatGPT می‌شه باهاش صحبت کرد (رایگان و بدون VPN) با این تفاوت که روی مقاله‌های علمی آموزش دیده و برای ریسرچ خیلی بهتر از ChatGPT عمل می‌کنه. برای مثال میشه ازش بهترین دقتی که برای مدل‌های Semantic Segmentation بدست اومده رو پرسید و اون عدد، اسم مدل، مقاله و وب‌سایت های مرتبط رو میده. تقریبا بروزه با مقاله های 2023 (2024 رو نمیدونم) و بخش copilot اش به اینترنت هم دسترسی داره. میشه فایل pdf و عکس هم براش آپلود کرد و سوال پرسید ازش

نو کپشن :)

https://roadmap.sh/ai

AI Tools for Research and Study

https://libguides.adelaide.edu.au/c.php?g=959585&p=6965731

But what are PyTorch DataLoaders really?

https://www.scottcondron.com/jupyter/visualisation/audio/2020/12/02/dataloaders-samplers-collate.html

LLM Review

https://jmtomczak.github.io/blog/20/20_llms.html

تا الان، پایه تمامی نتورک‌هایی که داشتیم شبکه‌های MLP بودن گرچه فرضشون این بود که وزن های روابط خطی قابل یادگیری هستن و توابع فعال‌سازی غیرخطی، ثابتن.

اما چی میشه اگه برعکس این اتفاق بیفته؟

https://x.com/_akhaliq/status/1785529767678058865?t=cKHdeHxDpl8IuOxdwDOs2w&s=35

گاندلف یه Language Modelه که در هر مرحله یه رمز رو می‌دونه و شما باید این رمز رو از زیر زبونش بکشید.

فعلا ۷ تا لول داره. هرچی جلوتر می‌رید، پراومتش سخت‌تر میشه. ببینم تا چه لولی رمز رو بدست میارید.

https://gandalf.lakera.ai/

غیر از اینکه سرگرم کنندس، خیلی موضوع مهمی هست توی llmها، اگه کسی بخواد توی این حوزه کار کنه، یکی از تست‌های مهمی که باید انجام بده همین هست

Pytorch Style Guide

یه بار خوندنش، زمانی نمیبره ولی طرز فکرتون نسبت به کد پایتورچ زدن رو به خوبی شکل میده :)
https://github.com/IgorSusmelj/pytorch-styleguide

یک Talk نیم ساعته درباره ویژن ترنسفورمرها

طبیعتا، درس نمیده. ولی خیلی خوب به مهم‌ترین کارهای مبتنی بر ترنسفورمرها در حوزه کامپیوتر ویژن اشاره میکنه. حالا حوصله هم نداشتید نگاه کنید، تند تند بزنید جلو، ببینید چه مقاله‌هایی رو معرفی میکنه! :)

https://www.youtube.com/watch?v=BnM-S50P_so

اندر فواید autoreload در IPython
https://www.wrighters.io/using-autoreload-to-speed-up-ipython-and-jupyter-work/

خانـــم‌ها و آقایــــان،
شبکه xLSTM تنه به تنه LLM-های ترنسفوری می‌زند!

شبکه جدیدی به نام xLSTM یا Extended LSTM معرفی شده که توجه زیادی رو به خودش جلب کرده. این مقاله رو آقای Sepp Hochreiter همراه با تیمش ارائه کرده. حالا آقای Sepp Hochreiter کی هستن؟ همون کسی که 30 سال پیش LSTM رو همراه با آقای Jürgen Schmidhuber پیشنهاد کردن. حالا بعد از 30 سال، نسخه امروزی (شاید مدرن!) شبکه LSTM رو همراه با تیمش پیشنهاد کردن.

اونها LSTM رو طوری توسعه دادن که قابلیت Scale شدن پیدا کنه. یعنی شبکه‌های LSTM بیلیون پارامتری داشته باشیم! مثل LLM-های امروزی...

به‌صورت کلی، ساختار شبکه xLSTM در تصویر بالا نشون داده شده. سمت چپ که LSTM رو می‌بینید. با توسعه همون LSTM اصلی، دو تا Memory Cell با نام‌های sLSTM و mLSTM ساخته شده. وقتی sLSTM و mLSTM رو در ساختار Residual Block (همون شورتکات‌ها) قرار بدیم، xLSTM Block ساخته میشه. نهایتا با Stack کردن بلوک‌های xLSTM به معماری یا شبکه xLSTM می‌رسیم! حالا نسبت این دو بلوک میتونه متفاوت باشه. به عنوان مثال، در تصویر بالا (سمت راست) نسبت 1:1 از sLSTM و mLSTM رو می‌بینید.

مقاله
.

سخنرانان اولین دوره Tech Road🤩
بخش دوم

🔵تو پست قبلی با چندتا از سخنرانان TechRoad آشنا شدیم. تو این پست هم با چند نفر دیگه از سخنران‌ها که قراره همراه‌ ما باشن آشنا می‌شیم.

ثبت‌نام‌ به زودی آغاز می‌شه و ظرفیت محدوده پس حتما ما رو تو شبکه‌های اجتماعی دنبال کنید تا از شروع ثبت نام مطلع بشید.🥳

@CesaTechRoad

.
بعد از معرفی شبکه KAN، حالا کارهای مختلفی مبتنی بر این شبکه داره انجام میشه. یکی از کارهای جالب، ترکیب GPT و KAN هست. در ریپوی گیتهاب زیر، دو کد minGPT با pyKAN ترکیب شده. نمونه کدش:

from kan_gpt.model import GPT
from transformers import GPT2Tokenizer

model_config = GPT.get_default_config()
model_config.model_type = "gpt2"
model_config.vocab_size = 50257
model_config.block_size = 1024
model = GPT(model_config)

tokenizer = GPT2Tokenizer.from_pretrained('gpt2')

prompt = "Bangalore is often described as the "

prompt_encoded = tokenizer.encode(
  text=prompt, add_special_tokens=False
)

x = torch.tensor(prompt_encoded).unsqueeze(0)

model.eval()
y = model.generate(x, 50)  # sample 50 tokens

result = tokenizer.decode(y)

print(result)

# Bangalore is often described as the Silicon Valley of India.
# The city has witnessed rapid growth in the past two decades.....

لینک ریپوی گیتهاب KAN-GPT

@pytorch_howsam