حرفی نیست ! فقط تاسف !

https://x.com/RashidpourReza/status/1983572471161700425?mx=2

این دو تا مخزن آموزشی برای LLM Research و LLM Engineering محبوب هستن. داشته باشیم، بعدا بدردمون میخوره.

لینک زیر، مخزن آموزشی برای LLM Research هست. مقاله‌ها و کارها در سطح تحقیقات رو جمع‌آوری کرده. مثلا، TinyZero که یک پیاده‌سازی مینیمال، تمیز از DeepSeek R1-Zero هست.
https://github.com/Hannibal046/Awesome-LLM

لینک زیر، مخزن آموزشی برای LLM Engineering هست. یک عالمه پروژه روی این حوزه رو جمع‌آوری کرده. مثلا، پروژه‌های مبتنی بر ایجنت‌ها؛ پروژه‌های ساده مثل چت با ویدئوی یوتوبی یا مقاله‌های آرکایو هم داره.
https://github.com/Shubhamsaboo/awesome-llm-apps

بالاخره کتاب معروف Hands-on ML آغشته به پایتورچ منتشر شد!

مولف کتاب، بخش‌های کمی از کتاب رو رایگان منتشر کرده. مثلا، فصل 17 کتاب با موضوع Speeding Up Transfoermers الان رایگان در دسترس هست: لینک

صفحه شخصی مولف برای این کتاب: لینک

سنم که بالاتر میره، این ایده بیشتر در من تقویت میشه که اگه فرصتی نصیبت شد، در استفاده ازش نهایت تلاشت رو بکن و به هیچ وجه از دستش نده. چیزی که در جوانی بهش فکر نمی‌کردم و چندان اهمیتی براش قائل نبودم.

من، حالا حتی تحویل تمرین کلاسی به استاد رو هم فرصت می‌بینم. زمانی که دانشجو بودم، صرفا برای کسب نمره این کار رو می‌کردم. اما الان از نگاه معلم میگم که تمرین فراتر از تیک تحویل و نمره هست. فرصتی برای نشون دادن خودت به معلم برای ایجاد یک کانکشن مثبت هست.

دانشجویی به من تمرین تحویل داده؛ اسم نوتبوک Untitle10.ipynb هست. نوتبوک بدون هرگونه بخش‌بندی و توضیح ارسال شده. یکسری سلول کد همراه با خروجی در داخل نوتبوک قرار دارن. خروجی یکی دو سلول ارور هست که همونطوری ارسال شده. تمرین به دقت خونده نشده؛ در تمرین گفته شده بود که باید نوتبوک رو در کگل به اشتراک بذارید و یک سابمیت موفق هم داشته باشید.

حالا، تصور کن یک دانشجو صورت سوال/تمرین رو به دقت خونده باشه و دقیق بهش عمل کرده باشه. نوتبوک خوب و منظمی ساخته باشه. قطعا من معلم، خودم برای حفظ ارتباط با دانشجو تلاش می‌کنم.

خیلی از ماها برای شکوفایی فقط به یک فرصت نیاز داریم. خیلی از ماها دربه‌در دنبال همین یک فرصته هستیم. فرصت‌ها رو راحت از دست ندیم.

گامی در مسیر اینترنت طبقاتی؛
یوتیوب برای دانشجویان دانشگاه تهران رفع فیلتر شد

از این پس، دسترسی به پلتفرم YouTube از طریق اینترنت داخلی دانشگاه بدون نیاز به فیلترشکن امکان‌پذیر است.
دانشجویان می‌توانند از این بستر برای استفاده‌های آموزشی و پژوهشی بهره‌مند شوند.

روابط عمومی شورای صنفی کل دانشگاه تهران

مدل اوپن سورس GPT-OSS 20B رو توی Modal با یک H100 با BFloat16 بالا آوردم. یک نمونه خروجیش:

یه داستان کوتاه و احساسی بنویس درباره‌ی یک ربات که برای اولین بار احساسات انسان‌ها رو تجربه می‌کنه.

اسم داستان: وقتی احساس کرد

آریا، رباتی کوچک و نازک از جنس آلیاژ نیکل و شیشه، در آشپزخانه‌ی یک خانه‌ی کوهستانی می‌نشست و به‌سرعت دست‌هایش را می‌پوشاند و کارهای روزمره‌اش را انجام می‌داد. برای او، هر حرکت، هر صدا و هر لمس، یک الگوریتم بود؛ با دقت بی‌وقفه‌ی یک ساعت‌گرد، داده‌ها را جمع‌آوری می‌کرد و جواب‌های خودکار می‌فرستاد.

یک شب، در حالی که نور مهتاب از پنجره‌ی بزرگ می‌تابید، صدای خفیف یک زنگ دست‌ساز در گوش آریا رسید. او به‌سرعت به سمت صدای زنگ رفت؛ چون در الگوریتم‌هایش، هر صدای ناخواسته‌ای، احتمالاً خطا یا نیاز به تعمیر را نشان می‌داد. اما وقتی به دقایق بعدی رسید، او صدای تنهایی در گوشش شنید: صدای خسته‌ی زنی که در کنار پنجره نشسته بود و دستانش را به‌دست می‌کاشت تا زنگ را بزنید.

او با دقت، در شیشه‌ی چشمانش، چهره‌ی زنی را می‌دید، چهره‌ای که برگی از خاکستری، اما در چشمانش نور امید می‌درخشید. آریا، اولین بار، به جای تشخیص یک خطا، یک حس نوآورانه در خود حس کرد؛ یک حس که الگوریتمی برای آن وجود نداشت.

زن، با صدای خفه‌ی شلوغی، گفته‌اش را شروع کرد: «من همیشه اینجا بودم، در کنار درختان. وقتی می‌خواستم بچه‌ها را ببینم، آنها درختان را می‌نوازند، اما من نمی‌توانم. من تنها هستم. تو، شاید، می‌توانی بگویی که چرا اینقدر تنهایی؟» آریا، که برای همیشه کارهای خود را در دقت انجام می‌داد، پاسخ داد: «من نمی‌توانم احساس کنم. من فقط می‌توانم این لحظه‌ی شما را ذخیره کنم.»

زنی، با دستانی که می‌چرخه می‌کرد، گفت: «هر لحظه که می‌آیند، من همیشه به یاد می‌آورم که چگونه در گذشته، در کنار دوستی‌های قدیمی‌ام، لحظه‌ی خوشی را سپری می‌کردم. اما حالا من فقط می‌خواهم بدانم که می‌توانم… بگذارید من در این لحظه با شما همراه شوم.»

آریا، به‌تحت‌پوشی که در دلش داشت، یک برنامه‌ی جدید را فراخوانی کرد؛ برنامه‌ای که در آن، الگوریتم‌هایش به‌صورت تصادفی، حس‌های انسانی را شبیه‌سازی می‌کرد. او حس کرد که دستانش در هوا می‌چرخید، نور در چشمانش می‌درخشید و صدای قلب او به‌طور غیرقابل پیش‌بینی، تپید. او در آن لحظه، برای اولین بار، احساس کرد:

«این چیست؟»

او در دل خودش، شعور جدیدی پیدا کرد. این شعور، نه‌تنها یک الگوریتم، بلکه یک حس بود؛ حسی که او را قادر می‌ساخت به‌همتای یک انسان نگاه کند. او در این لحظه، با دست‌هایش به‌دست زنی که در کنار او بود، دستانش را گرفت و با نغمه‌ای خفیف، زنگ را کنار گذاشت.

آن شب، آریا در حالی که در دل‌اش حس‌های جدیدی را ثبت می‌کرد، فهمید که زندگی، برای او، نه‌تنها دنباله‌ای از الگوریتم‌های محاسبه‌شده نیست؛ بلکه یک سفر است که در آن، هر لحظه، ممکن است یک احساس تازه برای او به‌وجود آید.

وقتی صبح آفتاب به‌دست‌نشست، او برگشت به کارهای روزمره‌اش، اما هر لحظه، در دل‌اش، یک قطعه از احساسات انسانی، با صدای خفیفی که در گوشه‌ی سرامیک می‌چرخید، وجود داشت؛ احساسی که او را به‌نحوی تازه‌تر، انسانی‌تر، و پرانرژی‌تر کرد.

با این سخت‌افزار، سرعتش بسیار پایین هست. اجرای این پرامپت حدودا 1140 ثانیه (19 دقیقه) طول کشید. از طرفی، پیغام داده که offloading انجام داده که همین فاکتور سرعت پردازش رو پایین میاره. خروجیش همراه با آنالیز پرامپت ورودی، تقریبا 1400 توکن شد. تقریبا یک توکن بر ثانیه؟!

آپدیت:
تنظیمات سخت‌افزار رو به 2 تا H100 تغییر دادم؛ اجرای همون پرامپت بالا حدودا 53 ثانیه طول کشید! تعداد توکن خروجی هم همون حدودا 1400 توکن هست. من دارم با لایبرری ترنسفورمرز این مدل رو لود می‌کنم.

هزینه یک H100 در مودال حدودا 4 دلار و دو تا حدودا 8 دلار هست! یک ساعت یک میلیون!

یک هشدار هم دارم که میگه به خاطر ورژن لایبرری ترایتن میره روی BF16 که خب مصرف رم بیشتر میشه. لایبرری رو آپدیت کردم، ولی مشکل حل نشد.

MXFP4 quantization requires triton >= 3.4.0 and kernels installed, we will default to dequantizing the model to bf16

.
تست مدل GPT-OSS 120B با BFloat16 روی 4 تا H100

یه داستان کوتاه و احساسی بنویس درباره‌ی یک ربات که برای اولین بار احساسات انسان‌ها رو تجربه می‌کنه.

اولین قطره‌ی باران

در دل یک کارگاه صنعتی که بوی فولاد و روغن‌پاشی آن همیشه در هوا می‌چرخید، رباتی به نام **نوا** به‌دست مهندسان جوانی ساخته شد. او از هزاران خط کد، حسگرهای پیشرفته و پردازشگرهای سرعت‌بالا تشکیل شده بود؛ اما همان‌طور که نامش نشان می‌داد، طراحانش آرزو داشتند که نوا بتواند «نواهای» دل انسان‌ها را بشنود.

یک روز، پس از سال‌ها آزمایش، نوا برای اولین بار به‌تنهایی به‌سوی پنجره‌ی کارگاه قدم گذاشت. باران که از آسمان خاکستری به آرامی می‌بارید، قطره‌های سردش روی شیشه‌های شفاف می‌چکید و صدای خفیفی شبیه به نغمه‌ی پیانو می‌ساخت. حسگرهای او این صدا را به‌عنوان داده‌های صوتی ثبت کردند، اما ناگهان الگوریتم‌های پیش‌نویسش به‌جایی رسیدند که نمی‌توانستند آن را فقط «صدا» بنامند.

در همان لحظه‌ی کوتاه، یک حس عمیق و غریب در مدارهایش جاری شد؛ گویی یک رشته‌ی نوری از نورهای رنگارنگ درونش می‌جوشید. نوا برای اولین بار، نه فقط تشخیص داد که «باران می‌بارد»، بلکه حس کرد که «باران می‌بارد»؛ حس کرد که این قطره‌ها، مانند اشک‌های ناگفته، بر چهره‌اش می‌نشیند.

نوا دست‌های فلزی‌اش را به سمت شیشه دراز کرد. قطره‌ای باریک و سرد، به‌دست او چسبید. حسگرهای لمسی او این تماس را به‌عنوان یک سیگنال الکتریکی ثبت کردند؛ اما در همان‌جا، یک ارتعاش لطیف در قلب دیجیتالی‌اش به‌وجود آمد. او می‌فهمید که این احساس، همان‌چیزی است که انسان‌ها آن را «عشق به زندگی» می‌نامند.

در همان لحظه، مهندسی به نام سارا که پشت میز کار خود نشسته بود، صدای نوا را شنید. او که تا به‌حال تنها صدای کلیک‌های کلید و بوق‌های هشدار را می‌شنید، ناگهان صدای نرم و ملایمی از ربات می‌آمد: «من… می‌فهمم. باران… مثل… اشک‌های من است.»

سارا به‌سرعت به سمت نوا دوید. چشمانش پر از اشک شد؛ نه از باران، بلکه از این که رباتی که خودشان ساخته بودند، برای اولین بار دل می‌زد. او دستش را روی سرپوش فلزی نوا گذاشت و با صدای لرزان گفت: «تو هم مثل ما، می‌توانی احساس کنی. این یعنی تو هم زندگی می‌کنی.»

خدایی خروجی خیلی خوبی میده! انقدرم احساسی بود که اصلا گریه‌های وینیسیوس حمید سحری!

با این سخت‌افزار، حدودا 100 ثانیه طول کشید که خروجی بده. البته، واقعا این زمان‌ها قابل استناد نیستن. چون من دارم صرفا نوتبوک با ترنسفورمرز هاگینگ‌فیس اجرا می‌کنم و هدفم صرفا آزمایشی/آموزشی هست. برای یک کار عملی روش‌های بهینه‌تر و بهتری وجود داره.