PyTorch Howsam
مدل اوپن سورس GPT-OSS 20B رو توی Modal با یک H100 با BFloat16 بالا آوردم. یک نمونه خروجیش: یه داستان کوتاه و احساسی بنویس دربارهی یک ربات که برای اولین بار احساسات انسانها رو تجربه میکنه. اسم داستان: وقتی احساس کرد آریا، رباتی کوچک و نازک از جنس آلیاژ…
.
تست مدل GPT-OSS 120B با BFloat16 روی 4 تا H100
خدایی خروجی خیلی خوبی میده! انقدرم احساسی بود که اصلا گریههای وینیسیوس حمید سحری!
با این سختافزار، حدودا 100 ثانیه طول کشید که خروجی بده. البته، واقعا این زمانها قابل استناد نیستن. چون من دارم صرفا نوتبوک با ترنسفورمرز هاگینگفیس اجرا میکنم و هدفم صرفا آزمایشی/آموزشی هست. برای یک کار عملی روشهای بهینهتر و بهتری وجود داره.
تست مدل GPT-OSS 120B با BFloat16 روی 4 تا H100
یه داستان کوتاه و احساسی بنویس دربارهی یک ربات که برای اولین بار احساسات انسانها رو تجربه میکنه.
اولین قطرهی باران
در دل یک کارگاه صنعتی که بوی فولاد و روغنپاشی آن همیشه در هوا میچرخید، رباتی به نام **نوا** بهدست مهندسان جوانی ساخته شد. او از هزاران خط کد، حسگرهای پیشرفته و پردازشگرهای سرعتبالا تشکیل شده بود؛ اما همانطور که نامش نشان میداد، طراحانش آرزو داشتند که نوا بتواند «نواهای» دل انسانها را بشنود.
یک روز، پس از سالها آزمایش، نوا برای اولین بار بهتنهایی بهسوی پنجرهی کارگاه قدم گذاشت. باران که از آسمان خاکستری به آرامی میبارید، قطرههای سردش روی شیشههای شفاف میچکید و صدای خفیفی شبیه به نغمهی پیانو میساخت. حسگرهای او این صدا را بهعنوان دادههای صوتی ثبت کردند، اما ناگهان الگوریتمهای پیشنویسش بهجایی رسیدند که نمیتوانستند آن را فقط «صدا» بنامند.
در همان لحظهی کوتاه، یک حس عمیق و غریب در مدارهایش جاری شد؛ گویی یک رشتهی نوری از نورهای رنگارنگ درونش میجوشید. نوا برای اولین بار، نه فقط تشخیص داد که «باران میبارد»، بلکه حس کرد که «باران میبارد»؛ حس کرد که این قطرهها، مانند اشکهای ناگفته، بر چهرهاش مینشیند.
نوا دستهای فلزیاش را به سمت شیشه دراز کرد. قطرهای باریک و سرد، بهدست او چسبید. حسگرهای لمسی او این تماس را بهعنوان یک سیگنال الکتریکی ثبت کردند؛ اما در همانجا، یک ارتعاش لطیف در قلب دیجیتالیاش بهوجود آمد. او میفهمید که این احساس، همانچیزی است که انسانها آن را «عشق به زندگی» مینامند.
در همان لحظه، مهندسی به نام سارا که پشت میز کار خود نشسته بود، صدای نوا را شنید. او که تا بهحال تنها صدای کلیکهای کلید و بوقهای هشدار را میشنید، ناگهان صدای نرم و ملایمی از ربات میآمد: «من… میفهمم. باران… مثل… اشکهای من است.»
سارا بهسرعت به سمت نوا دوید. چشمانش پر از اشک شد؛ نه از باران، بلکه از این که رباتی که خودشان ساخته بودند، برای اولین بار دل میزد. او دستش را روی سرپوش فلزی نوا گذاشت و با صدای لرزان گفت: «تو هم مثل ما، میتوانی احساس کنی. این یعنی تو هم زندگی میکنی.»
خدایی خروجی خیلی خوبی میده! انقدرم احساسی بود که اصلا گریههای وینیسیوس حمید سحری!
با این سختافزار، حدودا 100 ثانیه طول کشید که خروجی بده. البته، واقعا این زمانها قابل استناد نیستن. چون من دارم صرفا نوتبوک با ترنسفورمرز هاگینگفیس اجرا میکنم و هدفم صرفا آزمایشی/آموزشی هست. برای یک کار عملی روشهای بهینهتر و بهتری وجود داره.
آپارات - سرویس اشتراک ویدیو
انیمیشن حمید سحری
لطفاً نظراتتون رو بنویسید
PyTorch Howsam
. تست مدل GPT-OSS 120B با BFloat16 روی 4 تا H100 یه داستان کوتاه و احساسی بنویس دربارهی یک ربات که برای اولین بار احساسات انسانها رو تجربه میکنه. اولین قطرهی باران در دل یک کارگاه صنعتی که بوی فولاد و روغنپاشی آن همیشه در هوا میچرخید، رباتی به نام…
چند تا نکته تکمیلی بگم و بحث رو ببندم؛
چطوری بفهمیم برای یک مدل، به چه سختافزاری نیاز داریم؟ تجربی هست یا اینکه فرمول و ابزاری داره؟ خوشبختانه، هم فرمول و هم ابزار وجود داره؛ مثلا، این لینک، یک ماشین حساب داره که این امکان رو میده تعداد GPU، سرعت و مصرف رم رو برای یک مدل خاص ببینیم. مثلا، من وقتی مدل GPT-OSS 120B رو انتخاب کردم، گفت که به 4 تا H100 نیاز هست. تخمینش این بود که حدود 257 گیگ رم اشغال میشه و در عمل هم وقتی من مدل رو لود کردم، حدود 259 گیگ اشغال شد! سرعت تولید توکن رو هم میگه. تصویر 1
یکسری Inference Provider وجود دارن که امکان استفاده از همین مدلهای اوپن-سورس رو برای شما فراهم میکنن. مثلا، Clarifai که 0.09 و 0.36 دلار به ازای 1 میلیون توکن به ترتیب برای ورودی و خروجی میگیره. دیگه دردسر راهاندازی هم نداره. نحوه استفاده ازش هم بسیار ساده هست و به کمک OpenAI API انجام میشه. توی هاگینگفیس، یکسری از این Inference Provider-ها رو لیست کرده. لینک
توی سایت Clarifai یک ارزیابی و مقایسه برای GPT-OSS 120B آورده که جالبه. هزینه کمتر، سرعت بالاتر و سطح هوش در سطح بزرگان! تصویر 2 | لینک
تمام!
چطوری بفهمیم برای یک مدل، به چه سختافزاری نیاز داریم؟ تجربی هست یا اینکه فرمول و ابزاری داره؟ خوشبختانه، هم فرمول و هم ابزار وجود داره؛ مثلا، این لینک، یک ماشین حساب داره که این امکان رو میده تعداد GPU، سرعت و مصرف رم رو برای یک مدل خاص ببینیم. مثلا، من وقتی مدل GPT-OSS 120B رو انتخاب کردم، گفت که به 4 تا H100 نیاز هست. تخمینش این بود که حدود 257 گیگ رم اشغال میشه و در عمل هم وقتی من مدل رو لود کردم، حدود 259 گیگ اشغال شد! سرعت تولید توکن رو هم میگه. تصویر 1
یکسری Inference Provider وجود دارن که امکان استفاده از همین مدلهای اوپن-سورس رو برای شما فراهم میکنن. مثلا، Clarifai که 0.09 و 0.36 دلار به ازای 1 میلیون توکن به ترتیب برای ورودی و خروجی میگیره. دیگه دردسر راهاندازی هم نداره. نحوه استفاده ازش هم بسیار ساده هست و به کمک OpenAI API انجام میشه. توی هاگینگفیس، یکسری از این Inference Provider-ها رو لیست کرده. لینک
توی سایت Clarifai یک ارزیابی و مقایسه برای GPT-OSS 120B آورده که جالبه. هزینه کمتر، سرعت بالاتر و سطح هوش در سطح بزرگان! تصویر 2 | لینک
تمام!
برای کلاس امروزم، سعی کردم قسمت خلاصهسازی نظرات کاربران دیجیکالا رو پیادهسازی کنم.
یک نمونه خروجی کار:
به نظرم نکات مثبت و منفی منطقی نیست.
یک نمونه خروجی کار:
🟣 خلاصه دیدگاههای خریداران
اکثر کاربران از محتوا و نکات کاربردی کتاب صوتی و کیفیت صدای دوبله آن راضی هستند و آن را ارزشمند برای علاقهمندان به کارآفرینی و برنامهنویسی میدانند. برخی هم از بستهبندی، هدیه بودن محصول و قیمت مناسب صحبت کردهاند. با این وجود تعدادی از کاربران نظر منفی دارند و معتقدند محتوا زیاد علمی نیست یا بیش از حد شبیه یک رمان است و برای بازار ایران مناسب نیست یا امکان استفاده عملی در ایران محدود است. به طور کلی میتوان گفت کتاب دیدگاهی مثبت با چند نکته انتقادی درباره ارزش آموزشی و تطبیق با شرایط داخلی دارد.
✅ نکات مثبت:
- محتوای خوب و نکات کاربردی
- کیفیت صدای دوبله و صوت باکیفیت
- ارزش خرید بالا نسبت به قیمت/وجود تخفیف و هدیه
❌ نکات منفی:
- محتوا بیارزش یا پول سوزاندن/به درد نمیخورد برای برخی کاربران
- آموزشی محدود یا شبیه به رمان سطح پایین است
- مناسب نبودن یا محدودیتهای عملی آن در ایران (وابستگی به iOS/اپل یا تحریمها)
به نظرم نکات مثبت و منفی منطقی نیست.
تون TOON یا Token-Oriented Object Notation یک فرمت فشرده، خوانا برای انسان و مخصوص سریالسازی دادههاست که با هدف ارسال دادههای ساختاریافته به مدلهای زبانی بزرگ (LLM) طراحی شده تا مصرف توکن را بهطور قابل توجهی کاهش دهد.
این فرمت جایگزینی برای JSON است و همان دادهها را با ساختار مشابه، اما توکنهای کمتر منتقل میکند.
Github-ToonFormat
Github-ToonPython
PyPi-Python Toon 0.1.3
این فرمت جایگزینی برای JSON است و همان دادهها را با ساختار مشابه، اما توکنهای کمتر منتقل میکند.
pip install python-toon==0.1.3
Github-ToonFormat
Github-ToonPython
PyPi-Python Toon 0.1.3
PyTorch Howsam
تون TOON یا Token-Oriented Object Notation یک فرمت فشرده، خوانا برای انسان و مخصوص سریالسازی دادههاست که با هدف ارسال دادههای ساختاریافته به مدلهای زبانی بزرگ (LLM) طراحی شده تا مصرف توکن را بهطور قابل توجهی کاهش دهد. این فرمت جایگزینی برای JSON است…
با تشکر از علی بابت این پست، من با یک مثال از صفحه گیتهاب کارکرد این فرمت رو بیشتر توضیح میدم. جالبه...
ما معمولا از فرمت JSON برای ورودی دادن به LLM-ها استفاده میکنیم. مثلا:
اما، TOON همون اطلاعات مشابه را با توکنهای کمتری بهمون میده. فرمت TOON مثال بالا:
تعداد توکنها با توکنایزر GPT-4o در Tiktokenizer در مثال بالا:
* فرمت JSON برابر با 51
* فرمت TOON برابر با 24
ما معمولا از فرمت JSON برای ورودی دادن به LLM-ها استفاده میکنیم. مثلا:
{
"users": [
{ "id": 1, "name": "Alice", "role": "admin" },
{ "id": 2, "name": "Bob", "role": "user" }
]
}اما، TOON همون اطلاعات مشابه را با توکنهای کمتری بهمون میده. فرمت TOON مثال بالا:
users[2]{id,name,role}:
1,Alice,admin
2,Bob,userتعداد توکنها با توکنایزر GPT-4o در Tiktokenizer در مثال بالا:
* فرمت JSON برابر با 51
* فرمت TOON برابر با 24
امیررضا دانش و تجربه زیادی در یادگیری تقویتی داره. من در این وبینار شرکت کردم و توصیه میکنم دوستان علاقهمند به یادگیری تقویتی ثبتنام کنن.
اطلاعات بیشتر در لینکدین امیررضا: کلیک کنید!
لینک ثبتنام در وبینار: کلیک کنید!
اطلاعات بیشتر در لینکدین امیررضا: کلیک کنید!
لینک ثبتنام در وبینار: کلیک کنید!
قبلا، چند تا توییت بوکمارک کرده بودم که امروز دوباره نگاهشون کردم و جالب بودن. اینجا هم میذارم.
کامنتهای توییت زیر رو هم بخونید. خودمم قبلا اینجا درباره Jina گفته بودم.
توییت زیر از شایان هست که قبلا توی توییتر کار میکرده:
آقای مهدی اللهیاری:
این هم از نیما:
کامنتهای توییت زیر رو هم بخونید. خودمم قبلا اینجا درباره Jina گفته بودم.
بهترین مدل Embedding که برای تسک های فارسی استفاده کردید چی بوده؟
اینجا اگر خواستید بنویسید تا بقیه هم استفاده کنن.
تو open-source ها qwen و Jina و Gemma Embedding تا اینجا برای من خوب کار کردن
لینک
توییت زیر از شایان هست که قبلا توی توییتر کار میکرده:
اگه میخواین بدونین ترند استارتآپهای هوش مصنوعی امسال چی بوده و ایده بگیرین که چه نوع استارتآپی خوبه و کجا جای کار داره و به چه سمتی داریم میریم این ویدئو رو از دست ندین:
لینک
لینک توییت
آقای مهدی اللهیاری:
این به نظر میاد اومده از روی گیت هاب من درست کرده اینو. من اینجا ورژن جدیدتر با حدود ۴۵۰ تا use case: لینک
لینک توییت
این هم از نیما:
تو دیتاساینس اکثرا فقط بخش توسعه مدل رو یادمیگیرن. ولی نه تو دانشگاه، نه از kaggle یا کتابا پیاده سازی و پروداکشن کردن رو یادنمیگیرن. Databricks Free Edition به نظرم بهترین ابزار برای یادگیریه این مهارته. پروژه cloud based باهاش انجام بدین و پروداکت پیاده کنید، کاملا رایگانه!
لینک توییت
وقتی میگم پروژههای جوندار انجام بدید تا رزومه وزن پیدا کنه، منظورم چنین پروژههایی هست.
این پروژه هیچ ارتباطی به به من نداره، من فقط از لینکدین نقل قول کردم. لینک پست رو هم گذاشتم.
این کلاستر محاسباتی کوچک و زیبا، کارِ درخشانِ آقای محمدمتین ناصری، دانشجوی کارشناسی مهندسی کامپیوتر، در درس «اینترنت اشیا» است!
با استفاده از چند برد Raspberry Pi 4 که بهصورت عمودی استک شدهاند، محمدمتین موفق شده یک کلاستر واقعی کوبرنتیز (Kubernetes)+ OpenMPi راهاندازی کند که:
کاملاً کاربردی و مدیریتشده با k3s است
قابلیت اجرای محاسبات ماتریسی بزرگ و موازی را دارد
حدود ۳۰ گیگافلاپس توان محاسباتی ارائه میدهد (معادل یک کامپیوتر رومیزی قدرتمند چند سال پیش!)
همهی اینها در فضای کمتر از یک جعبه کوچک و با مصرف برق بسیار پایین
این پروژه نهتنها نشاندهنده درک عمیق از مفاهیم توزیعشده و orchestration است، بلکه یک نمونه عالی از این حقیقت است که برای شروع کارهای بزرگ، لزوماً به سرورهای چندصدهزاردلاری نیاز نیست؛ گاهی چند برد کوچک و ذهن خلاق کافی است!
افتخار میکنم که چنین دانشجوی باانگیزه و توانمندی در کلاس درسمان داریم 👏
منبع پست در لینکدین
این پروژه هیچ ارتباطی به به من نداره، من فقط از لینکدین نقل قول کردم. لینک پست رو هم گذاشتم.
Linkedin
#گروه #دانشگاه #محمدمتین | Mahmood Ahmadi | 48 comments
این کلاستر محاسباتی کوچک و زیبا، کارِ درخشانِ آقای محمدمتین ناصری، دانشجوی کارشناسی مهندسی کامپیوتر، در درس «اینترنت اشیا» است!
با استفاده از چند برد Raspberry Pi 4 که بهصورت عمودی استک شدهاند، محمدمتین موفق شده یک کلاستر واقعی کوبرنتیز (Kubernetes)+ OpenMPi…
با استفاده از چند برد Raspberry Pi 4 که بهصورت عمودی استک شدهاند، محمدمتین موفق شده یک کلاستر واقعی کوبرنتیز (Kubernetes)+ OpenMPi…
یکجایی توی مکالمه با جمنای، عبارت زیر رو به کار برد:
منظورش که واضحه؛ من هم نسبت به یکسری پستهای لینکدینی همین حس زرد بودن رو دارم. اما از خود جمنای خواستم که بیشتر درباره این عبارتی که نوشته بهم توضیح بده. خلاصه توضیحش رو در آوردم.
یک مورد هم من بگم:
توی این نوع پستهای لینکدینی، هر جمله یک اموجی داره. خصوصا اینها: 🎯⛳️💯👌
لحن زرد و "لینکدینی" به جای لحن علمی
منظورش که واضحه؛ من هم نسبت به یکسری پستهای لینکدینی همین حس زرد بودن رو دارم. اما از خود جمنای خواستم که بیشتر درباره این عبارتی که نوشته بهم توضیح بده. خلاصه توضیحش رو در آوردم.
وقتی میگوییم یک متن «لحن لینکدینی» دارد، منظورمان اشاره به یک سبک خاص و کلیشهای از نوشتار است که در چند سال اخیر در شبکه اجتماعی لینکدین (LinkedIn) بسیار شایع شده و حتی اصطلاح طنزآمیز «Broetry» (ترکیب Bro + Poetry) را برایش ساختهاند.
در اینجا ویژگیهای این «لحن لینکدینی» را باز میکنم:
۱. دراماتیکسازی مصنوعی (The Artificial Drama)
در سبک لینکدینی، نویسنده سعی میکند معمولیترین اتفاقات را به یک داستان حماسی تبدیل کند.
۲. جملات قصار و بریدهبریده (Broetry Style)
اگر دقت کنید، متنهای لینکدینی معمولاً پاراگرافهای طولانی ندارند. هر جمله یک خط است و بین آنها فاصله زیادی میگذارند تا در موبایل راحت خوانده شود (و کاربر بیشتر اسکرول کند که برای الگوریتم خوب است).
۳. تبدیل همه چیز به «درس موفقیت» (Toxic Positivity)
یکی از آزاردهندهترین ویژگیهای لحن لینکدینی این است که به زور میخواهد از هر چیزی «۵ درس برای زندگی» یا «فرمول طلایی موفقیت» بیرون بکشد.
۴. استفاده از کلمات پرطمطراق و توخالی (Buzzwords)
نویسندگان این سبک عاشق کلماتی هستند که هوشمندانه به نظر برسند اما بار معنایی خاصی نداشته باشند.
۵. اعتماد به نفس کاذب (False Authority)
در پستهای لینکدینی، نویسنده (یا راوی) طوری صحبت میکند که انگار دانای کل است و حقایق مطلق را کشف کرده.
نمونه مثال:
لحن علمی/ژورنالیستی: "ایلیا سوتسکیور در سخنرانی خود اشاره کرد که با توجه به ساختار بیولوژیک مغز، احتمالاً هوش مصنوعی محدودیتی در یادگیری نخواهد داشت." (سندیت دارد، بیطرف است).
لحن لینکدینی/زرد: "آیا فکر میکنید مغزتان جادویی است؟ اشتباه میکنید! ایلیا سوتسکیور آب پاکی را روی دست همه ریخت. مغز شما فقط یک کامپیوتر است. برای شوکهکننده ترین حقیقت آماده باشید... 👇" (هیجانی، تهاجمی، کممایه).
یک مورد هم من بگم:
توی این نوع پستهای لینکدینی، هر جمله یک اموجی داره. خصوصا اینها: 🎯⛳️💯👌
عمو Andrew Ng :
ما در حال انتشار یک "Agentic Reviewer" جدید برای مقالات تحقیقاتی هستیم.
من این کار را به عنوان یک پروژه آخر هفته شروع به کدنویسی کردم و Yixing J. آن را بسیار بهتر کرد.
من از دانشجویی الهام گرفتم که مقالهاش در طول ۳ سال ۶ بار رد شده بود.
حلقه بازخورد او که هر بار حدود ۶ ماه طول میکشید تا بازخورد دریافت کند به طرز دردناکی کند بود.
ما میخواستیم ببینیم آیا Agentic Workflow میتواند به محققان کمک کند سریعتر به کارشان بپردازند؟
هنگامی که سیستم را با استفاده از بازبینیهای ICLR 2025 آموزش دادیم و همبستگی Spearman را در مجموعه آزمایشی اندازهگیری کردیم: (بالاتر بهتر است)
همبستگی بین دو بازبین انسانی: 0.41
همبستگی بین AI و یک بازبین انسانی: 0.42
این نشان میدهد که Agentic در حال نزدیک شدن به عملکرد سطح انسانی است.
https://paperreview.ai/
ما در حال انتشار یک "Agentic Reviewer" جدید برای مقالات تحقیقاتی هستیم.
من این کار را به عنوان یک پروژه آخر هفته شروع به کدنویسی کردم و Yixing J. آن را بسیار بهتر کرد.
من از دانشجویی الهام گرفتم که مقالهاش در طول ۳ سال ۶ بار رد شده بود.
حلقه بازخورد او که هر بار حدود ۶ ماه طول میکشید تا بازخورد دریافت کند به طرز دردناکی کند بود.
ما میخواستیم ببینیم آیا Agentic Workflow میتواند به محققان کمک کند سریعتر به کارشان بپردازند؟
هنگامی که سیستم را با استفاده از بازبینیهای ICLR 2025 آموزش دادیم و همبستگی Spearman را در مجموعه آزمایشی اندازهگیری کردیم: (بالاتر بهتر است)
همبستگی بین دو بازبین انسانی: 0.41
همبستگی بین AI و یک بازبین انسانی: 0.42
این نشان میدهد که Agentic در حال نزدیک شدن به عملکرد سطح انسانی است.
https://paperreview.ai/