غیر از اینکه سرگرم کنندس، خیلی موضوع مهمی هست توی llmها، اگه کسی بخواد توی این حوزه کار کنه، یکی از تست‌های مهمی که باید انجام بده همین هست

Pytorch Style Guide

یه بار خوندنش، زمانی نمیبره ولی طرز فکرتون نسبت به کد پایتورچ زدن رو به خوبی شکل میده :)
https://github.com/IgorSusmelj/pytorch-styleguide

یک Talk نیم ساعته درباره ویژن ترنسفورمرها

طبیعتا، درس نمیده. ولی خیلی خوب به مهم‌ترین کارهای مبتنی بر ترنسفورمرها در حوزه کامپیوتر ویژن اشاره میکنه. حالا حوصله هم نداشتید نگاه کنید، تند تند بزنید جلو، ببینید چه مقاله‌هایی رو معرفی میکنه! :)

https://www.youtube.com/watch?v=BnM-S50P_so

اندر فواید autoreload در IPython
https://www.wrighters.io/using-autoreload-to-speed-up-ipython-and-jupyter-work/

خانـــم‌ها و آقایــــان،
شبکه xLSTM تنه به تنه LLM-های ترنسفوری می‌زند!

شبکه جدیدی به نام xLSTM یا Extended LSTM معرفی شده که توجه زیادی رو به خودش جلب کرده. این مقاله رو آقای Sepp Hochreiter همراه با تیمش ارائه کرده. حالا آقای Sepp Hochreiter کی هستن؟ همون کسی که 30 سال پیش LSTM رو همراه با آقای Jürgen Schmidhuber پیشنهاد کردن. حالا بعد از 30 سال، نسخه امروزی (شاید مدرن!) شبکه LSTM رو همراه با تیمش پیشنهاد کردن.

اونها LSTM رو طوری توسعه دادن که قابلیت Scale شدن پیدا کنه. یعنی شبکه‌های LSTM بیلیون پارامتری داشته باشیم! مثل LLM-های امروزی...

به‌صورت کلی، ساختار شبکه xLSTM در تصویر بالا نشون داده شده. سمت چپ که LSTM رو می‌بینید. با توسعه همون LSTM اصلی، دو تا Memory Cell با نام‌های sLSTM و mLSTM ساخته شده. وقتی sLSTM و mLSTM رو در ساختار Residual Block (همون شورتکات‌ها) قرار بدیم، xLSTM Block ساخته میشه. نهایتا با Stack کردن بلوک‌های xLSTM به معماری یا شبکه xLSTM می‌رسیم! حالا نسبت این دو بلوک میتونه متفاوت باشه. به عنوان مثال، در تصویر بالا (سمت راست) نسبت 1:1 از sLSTM و mLSTM رو می‌بینید.

مقاله
.

سخنرانان اولین دوره Tech Road🤩
بخش دوم

🔵تو پست قبلی با چندتا از سخنرانان TechRoad آشنا شدیم. تو این پست هم با چند نفر دیگه از سخنران‌ها که قراره همراه‌ ما باشن آشنا می‌شیم.

ثبت‌نام‌ به زودی آغاز می‌شه و ظرفیت محدوده پس حتما ما رو تو شبکه‌های اجتماعی دنبال کنید تا از شروع ثبت نام مطلع بشید.🥳

@CesaTechRoad

.
بعد از معرفی شبکه KAN، حالا کارهای مختلفی مبتنی بر این شبکه داره انجام میشه. یکی از کارهای جالب، ترکیب GPT و KAN هست. در ریپوی گیتهاب زیر، دو کد minGPT با pyKAN ترکیب شده. نمونه کدش:

from kan_gpt.model import GPT
from transformers import GPT2Tokenizer

model_config = GPT.get_default_config()
model_config.model_type = "gpt2"
model_config.vocab_size = 50257
model_config.block_size = 1024
model = GPT(model_config)

tokenizer = GPT2Tokenizer.from_pretrained('gpt2')

prompt = "Bangalore is often described as the "

prompt_encoded = tokenizer.encode(
  text=prompt, add_special_tokens=False
)

x = torch.tensor(prompt_encoded).unsqueeze(0)

model.eval()
y = model.generate(x, 50)  # sample 50 tokens

result = tokenizer.decode(y)

print(result)

# Bangalore is often described as the Silicon Valley of India.
# The city has witnessed rapid growth in the past two decades.....

لینک ریپوی گیتهاب KAN-GPT

@pytorch_howsam

نقشه راه Andrej Karpathy برای اینکه بتونیم مثل خودش یک GPT رو با زبان C و CUDA به صورت Parallel بنویسیم (llm.c) و البته CUDA و Parallel Programming هم یاد بگیریم:

۱_ کتاب Programming Massively Parallel Processors: A Hands-on Approach
که ویرایش چهارمش هم میتونید در اینترنت پیدا کنید.

۲_ بلاگ
How to Optimize a CUDA Matmul Kernel for cuBLAS-like Performance: a Worklog

@deeptimeai

یکی از پروژه های جالبی که حداقل از چشم خودم دور مونده بود این همه مدت Quick, Draw هست که توش از کاربرا درخواست میشه تا یه شی رو در ۲۰ ثانیه نقاشی کنن تا AI بتونه حدس بزنه اون چیه.

این پروژه که توسط گوگل طراحی شده علاوه بر اینکه یه ابزار سرگرمی برای کاربرا هست، یکی از بزرگترین دیتاست‌های نقاشی رو هم تونسته جمع آوری کنه (۵۰ میلیون نقاشی). نکته جالب تر اینکه از طریق این لینک میتونید نقاشی های موجود رو ببینید و اگه فکر می کنید که یه سریاشون بد کشیده شدن و شبیه شی مورد نظر نیستن پیشنهاد بدید که از دیتاست حذفش کنن.

یه کار جالب از تیم Anthropic در جهت تفسیر کردن عملکرد مدل بزرگشون Sonnet 3

https://anthropic.com/research/mapping-mind-language-model
https://youtu.be/CJIbCV92d88

🛑 کارگاه مجازی تاکچه با موضوع پردازش داده‌های فوتبال

🔹جلسه‌ی قبل (۲۳ شهریور ۱۴۰۲) گفت‌وگویی دل‌نشین را با مهندس شاهین جعفری، Data Engineer در باشگاه آرسنال، پیراموش کاربرد تکنولوژی در صنعت فوتبال داشتیم و به موضوعات مختلفی اعم از ساختار باشگاه آرسنال، وظایف مهندس و دانشمند داده در فوتبال، و مثال‌های واقعی از بازیکنان و تیم‌ها پرداختیم.

🔹در جلسه‌ی دوم بر داده‌های متن‌باز فوتبالی متمرکز شده و با یکدیگر کد می‌زنیم. این کارگاه به صورت تعاملی برگزار می‌شود و ایده‌های شما برای حل مسائل مختلف در کار با داده‌های فوتبالی نیز مورد بررسی قرار می‌گیرد.

🔹در این کارگاه بر روی داده‌های متن‌باز یکی از برترین بازیکنان تاریخ فوتبال، Lionel Messi، در باشگاه Barcelona کار خواهیم کرد.

🔹اگر به فوتبال و پردازش داده‌های فوتبالی علاقه‌مندید، شرکت در این کارگاه به شدت توصیه می‌شود.

🔸 در این کارگاه در خدمت محمدصادق سلیمی، فارغ‌التحصیل مقطع کارشناسی صنعتی شریف هستیم.

⏳ زمان جلسه: چهارشنبه ۱۶ خرداد، ساعت ۱۷

📍 محل ارائه مجازی: اتاق مجازی انجمن علمی

📆 اضافه کردن به تقویم گوگل

☕️ @cafe_ssc
📚 @ssc_talkche
@sharifharekat

ثبت‌نام وبینار مسیر شغلی مهندسی ماشین لرنینگ شروع شد❗️

در دنیای امروز، داده‌ها به عنوان طلای جدید شناخته می‌شوند و ماشین لرنینگ یکی از کلیدهای استخراج ارزش از این داده‌هاست. یادگیری ماشین لرنینگ نه تنها یک مهارت اساسی برای تبدیل شدن به یک متخصص داده است، بلکه درهای بسیاری از فرصت‌های شغلی و ارتقای شغلی را به روی شما باز می‌کند.

در یک گفت‌و‌گوی یک ساعته،با اساتید و منتورهای رهنما کالج همراه می‌شویم تا مسیر شغلی حوزه ماشین لرنینگ را برایمان ترسیم کنند و از توانمندی‌های مورد نیاز این رشته و چالش‌های این مسیر بگویند.از راه‌های یادگیری این رشته و منابع آموزشی گرفته تا چم‌وخم ماشین لرنینگ در بازار کار می‌توانید هر سوالی در این زمینه دارید بپرسید و در نهایت با فرآیند بوت‌کمپ ماشین لرنینگ رهنما کالج آشنا شوید.

⭕️ این وبینار رایگان است و ویدئو هم دارد، ولی باید حتما از قبل ثبت‌نام کرده باشید.

ثبت‌نام رایگان وبینار

📍ثبت‌نام بوت‌کمپ ماشین لرنینگ و ارسال چالش تا ۱۰ تیرماه

به امید دیدن‌تون در رهنما کالج

🆔@rahnemacollege

شرکت جدید کارپثی عزیز در زمینه‌ی آموزش AI:

https://x.com/karpathy/status/1813263734707790301

https://eurekalabs.ai/

https://github.com/EurekaLabsAI

یک ویدیو بامزه و در عین حال آموزنده :)

https://www.youtube.com/watch?v=jGCvY4gNnA8

لایو تجربه‌ی زندگی، تحصیل و کار در چهار کشور اروپایی با حسین فیروز - مهندس یادگیری ماشین

در این لایو، میزبان حسین فیروز، مهندس یادگیری ماشین با تجربه زندگی، تحصیل و کار در چهار کشور اروپایی:
فنلاند، سوئد، سوئیس و فرانسه خواهیم بود.
در این لایو، شما فرصت خواهید داشت تا درباره مزایا و چالش‌های زندگی در هر یک از این کشورها اطلاعات کسب کنید و سوالات خود را مستقیماً از حسین بپرسید.
اگردر حال برنامه‌ریزی برای مهاجرت یا تغییر کشور در اروپا هستید و می‌خواید که بهترین تصمیم ممکن رو بگیرید، این لایو رو از دست ندید.

📅 تاریخ: دوشنبه ۱ مرداد
🕔ساعت: ۷ شب ایران
🎙 میزبان: سحر

برای شرکت در لایو روی لینک زیر کلیک کنید.
https://www.youtube.com/watch?v=IimHm3UcxV4

افزودن به کلندر:
برای اضافه کردن این لایو به کلندر خود، روی این لینک کلیک کنید.

تمام کورس‌های 365datascience به مدت سه روز رایگان شده
اگر به دنبال این هستین که داخل رزومتون و لینکدین مدرکی بزارین فرصت خوبیه.
https://365datascience.com/

حواستون باشه به اسم و فامیلی ایمیلی که رجیستر میکنید ثبت میشه من مجبور شدم ایمیل بزنم اصلاح کنند فامیلیم رو .

منبع : توییت برنامه نویسی

حقِ صبگاهی