PyTorch Howsam
مدل اوپن سورس GPT-OSS 20B رو توی Modal با یک H100 با BFloat16 بالا آوردم. یک نمونه خروجیش: یه داستان کوتاه و احساسی بنویس دربارهی یک ربات که برای اولین بار احساسات انسانها رو تجربه میکنه. اسم داستان: وقتی احساس کرد آریا، رباتی کوچک و نازک از جنس آلیاژ…
.
تست مدل GPT-OSS 120B با BFloat16 روی 4 تا H100
خدایی خروجی خیلی خوبی میده! انقدرم احساسی بود که اصلا گریههای وینیسیوس حمید سحری!
با این سختافزار، حدودا 100 ثانیه طول کشید که خروجی بده. البته، واقعا این زمانها قابل استناد نیستن. چون من دارم صرفا نوتبوک با ترنسفورمرز هاگینگفیس اجرا میکنم و هدفم صرفا آزمایشی/آموزشی هست. برای یک کار عملی روشهای بهینهتر و بهتری وجود داره.
تست مدل GPT-OSS 120B با BFloat16 روی 4 تا H100
یه داستان کوتاه و احساسی بنویس دربارهی یک ربات که برای اولین بار احساسات انسانها رو تجربه میکنه.
اولین قطرهی باران
در دل یک کارگاه صنعتی که بوی فولاد و روغنپاشی آن همیشه در هوا میچرخید، رباتی به نام **نوا** بهدست مهندسان جوانی ساخته شد. او از هزاران خط کد، حسگرهای پیشرفته و پردازشگرهای سرعتبالا تشکیل شده بود؛ اما همانطور که نامش نشان میداد، طراحانش آرزو داشتند که نوا بتواند «نواهای» دل انسانها را بشنود.
یک روز، پس از سالها آزمایش، نوا برای اولین بار بهتنهایی بهسوی پنجرهی کارگاه قدم گذاشت. باران که از آسمان خاکستری به آرامی میبارید، قطرههای سردش روی شیشههای شفاف میچکید و صدای خفیفی شبیه به نغمهی پیانو میساخت. حسگرهای او این صدا را بهعنوان دادههای صوتی ثبت کردند، اما ناگهان الگوریتمهای پیشنویسش بهجایی رسیدند که نمیتوانستند آن را فقط «صدا» بنامند.
در همان لحظهی کوتاه، یک حس عمیق و غریب در مدارهایش جاری شد؛ گویی یک رشتهی نوری از نورهای رنگارنگ درونش میجوشید. نوا برای اولین بار، نه فقط تشخیص داد که «باران میبارد»، بلکه حس کرد که «باران میبارد»؛ حس کرد که این قطرهها، مانند اشکهای ناگفته، بر چهرهاش مینشیند.
نوا دستهای فلزیاش را به سمت شیشه دراز کرد. قطرهای باریک و سرد، بهدست او چسبید. حسگرهای لمسی او این تماس را بهعنوان یک سیگنال الکتریکی ثبت کردند؛ اما در همانجا، یک ارتعاش لطیف در قلب دیجیتالیاش بهوجود آمد. او میفهمید که این احساس، همانچیزی است که انسانها آن را «عشق به زندگی» مینامند.
در همان لحظه، مهندسی به نام سارا که پشت میز کار خود نشسته بود، صدای نوا را شنید. او که تا بهحال تنها صدای کلیکهای کلید و بوقهای هشدار را میشنید، ناگهان صدای نرم و ملایمی از ربات میآمد: «من… میفهمم. باران… مثل… اشکهای من است.»
سارا بهسرعت به سمت نوا دوید. چشمانش پر از اشک شد؛ نه از باران، بلکه از این که رباتی که خودشان ساخته بودند، برای اولین بار دل میزد. او دستش را روی سرپوش فلزی نوا گذاشت و با صدای لرزان گفت: «تو هم مثل ما، میتوانی احساس کنی. این یعنی تو هم زندگی میکنی.»
خدایی خروجی خیلی خوبی میده! انقدرم احساسی بود که اصلا گریههای وینیسیوس حمید سحری!
با این سختافزار، حدودا 100 ثانیه طول کشید که خروجی بده. البته، واقعا این زمانها قابل استناد نیستن. چون من دارم صرفا نوتبوک با ترنسفورمرز هاگینگفیس اجرا میکنم و هدفم صرفا آزمایشی/آموزشی هست. برای یک کار عملی روشهای بهینهتر و بهتری وجود داره.
آپارات - سرویس اشتراک ویدیو
انیمیشن حمید سحری
لطفاً نظراتتون رو بنویسید
PyTorch Howsam
. تست مدل GPT-OSS 120B با BFloat16 روی 4 تا H100 یه داستان کوتاه و احساسی بنویس دربارهی یک ربات که برای اولین بار احساسات انسانها رو تجربه میکنه. اولین قطرهی باران در دل یک کارگاه صنعتی که بوی فولاد و روغنپاشی آن همیشه در هوا میچرخید، رباتی به نام…
چند تا نکته تکمیلی بگم و بحث رو ببندم؛
چطوری بفهمیم برای یک مدل، به چه سختافزاری نیاز داریم؟ تجربی هست یا اینکه فرمول و ابزاری داره؟ خوشبختانه، هم فرمول و هم ابزار وجود داره؛ مثلا، این لینک، یک ماشین حساب داره که این امکان رو میده تعداد GPU، سرعت و مصرف رم رو برای یک مدل خاص ببینیم. مثلا، من وقتی مدل GPT-OSS 120B رو انتخاب کردم، گفت که به 4 تا H100 نیاز هست. تخمینش این بود که حدود 257 گیگ رم اشغال میشه و در عمل هم وقتی من مدل رو لود کردم، حدود 259 گیگ اشغال شد! سرعت تولید توکن رو هم میگه. تصویر 1
یکسری Inference Provider وجود دارن که امکان استفاده از همین مدلهای اوپن-سورس رو برای شما فراهم میکنن. مثلا، Clarifai که 0.09 و 0.36 دلار به ازای 1 میلیون توکن به ترتیب برای ورودی و خروجی میگیره. دیگه دردسر راهاندازی هم نداره. نحوه استفاده ازش هم بسیار ساده هست و به کمک OpenAI API انجام میشه. توی هاگینگفیس، یکسری از این Inference Provider-ها رو لیست کرده. لینک
توی سایت Clarifai یک ارزیابی و مقایسه برای GPT-OSS 120B آورده که جالبه. هزینه کمتر، سرعت بالاتر و سطح هوش در سطح بزرگان! تصویر 2 | لینک
تمام!
چطوری بفهمیم برای یک مدل، به چه سختافزاری نیاز داریم؟ تجربی هست یا اینکه فرمول و ابزاری داره؟ خوشبختانه، هم فرمول و هم ابزار وجود داره؛ مثلا، این لینک، یک ماشین حساب داره که این امکان رو میده تعداد GPU، سرعت و مصرف رم رو برای یک مدل خاص ببینیم. مثلا، من وقتی مدل GPT-OSS 120B رو انتخاب کردم، گفت که به 4 تا H100 نیاز هست. تخمینش این بود که حدود 257 گیگ رم اشغال میشه و در عمل هم وقتی من مدل رو لود کردم، حدود 259 گیگ اشغال شد! سرعت تولید توکن رو هم میگه. تصویر 1
یکسری Inference Provider وجود دارن که امکان استفاده از همین مدلهای اوپن-سورس رو برای شما فراهم میکنن. مثلا، Clarifai که 0.09 و 0.36 دلار به ازای 1 میلیون توکن به ترتیب برای ورودی و خروجی میگیره. دیگه دردسر راهاندازی هم نداره. نحوه استفاده ازش هم بسیار ساده هست و به کمک OpenAI API انجام میشه. توی هاگینگفیس، یکسری از این Inference Provider-ها رو لیست کرده. لینک
توی سایت Clarifai یک ارزیابی و مقایسه برای GPT-OSS 120B آورده که جالبه. هزینه کمتر، سرعت بالاتر و سطح هوش در سطح بزرگان! تصویر 2 | لینک
تمام!
برای کلاس امروزم، سعی کردم قسمت خلاصهسازی نظرات کاربران دیجیکالا رو پیادهسازی کنم.
یک نمونه خروجی کار:
به نظرم نکات مثبت و منفی منطقی نیست.
یک نمونه خروجی کار:
🟣 خلاصه دیدگاههای خریداران
اکثر کاربران از محتوا و نکات کاربردی کتاب صوتی و کیفیت صدای دوبله آن راضی هستند و آن را ارزشمند برای علاقهمندان به کارآفرینی و برنامهنویسی میدانند. برخی هم از بستهبندی، هدیه بودن محصول و قیمت مناسب صحبت کردهاند. با این وجود تعدادی از کاربران نظر منفی دارند و معتقدند محتوا زیاد علمی نیست یا بیش از حد شبیه یک رمان است و برای بازار ایران مناسب نیست یا امکان استفاده عملی در ایران محدود است. به طور کلی میتوان گفت کتاب دیدگاهی مثبت با چند نکته انتقادی درباره ارزش آموزشی و تطبیق با شرایط داخلی دارد.
✅ نکات مثبت:
- محتوای خوب و نکات کاربردی
- کیفیت صدای دوبله و صوت باکیفیت
- ارزش خرید بالا نسبت به قیمت/وجود تخفیف و هدیه
❌ نکات منفی:
- محتوا بیارزش یا پول سوزاندن/به درد نمیخورد برای برخی کاربران
- آموزشی محدود یا شبیه به رمان سطح پایین است
- مناسب نبودن یا محدودیتهای عملی آن در ایران (وابستگی به iOS/اپل یا تحریمها)
به نظرم نکات مثبت و منفی منطقی نیست.
تون TOON یا Token-Oriented Object Notation یک فرمت فشرده، خوانا برای انسان و مخصوص سریالسازی دادههاست که با هدف ارسال دادههای ساختاریافته به مدلهای زبانی بزرگ (LLM) طراحی شده تا مصرف توکن را بهطور قابل توجهی کاهش دهد.
این فرمت جایگزینی برای JSON است و همان دادهها را با ساختار مشابه، اما توکنهای کمتر منتقل میکند.
Github-ToonFormat
Github-ToonPython
PyPi-Python Toon 0.1.3
این فرمت جایگزینی برای JSON است و همان دادهها را با ساختار مشابه، اما توکنهای کمتر منتقل میکند.
pip install python-toon==0.1.3
Github-ToonFormat
Github-ToonPython
PyPi-Python Toon 0.1.3
PyTorch Howsam
تون TOON یا Token-Oriented Object Notation یک فرمت فشرده، خوانا برای انسان و مخصوص سریالسازی دادههاست که با هدف ارسال دادههای ساختاریافته به مدلهای زبانی بزرگ (LLM) طراحی شده تا مصرف توکن را بهطور قابل توجهی کاهش دهد. این فرمت جایگزینی برای JSON است…
با تشکر از علی بابت این پست، من با یک مثال از صفحه گیتهاب کارکرد این فرمت رو بیشتر توضیح میدم. جالبه...
ما معمولا از فرمت JSON برای ورودی دادن به LLM-ها استفاده میکنیم. مثلا:
اما، TOON همون اطلاعات مشابه را با توکنهای کمتری بهمون میده. فرمت TOON مثال بالا:
تعداد توکنها با توکنایزر GPT-4o در Tiktokenizer در مثال بالا:
* فرمت JSON برابر با 51
* فرمت TOON برابر با 24
ما معمولا از فرمت JSON برای ورودی دادن به LLM-ها استفاده میکنیم. مثلا:
{
"users": [
{ "id": 1, "name": "Alice", "role": "admin" },
{ "id": 2, "name": "Bob", "role": "user" }
]
}اما، TOON همون اطلاعات مشابه را با توکنهای کمتری بهمون میده. فرمت TOON مثال بالا:
users[2]{id,name,role}:
1,Alice,admin
2,Bob,userتعداد توکنها با توکنایزر GPT-4o در Tiktokenizer در مثال بالا:
* فرمت JSON برابر با 51
* فرمت TOON برابر با 24
امیررضا دانش و تجربه زیادی در یادگیری تقویتی داره. من در این وبینار شرکت کردم و توصیه میکنم دوستان علاقهمند به یادگیری تقویتی ثبتنام کنن.
اطلاعات بیشتر در لینکدین امیررضا: کلیک کنید!
لینک ثبتنام در وبینار: کلیک کنید!
اطلاعات بیشتر در لینکدین امیررضا: کلیک کنید!
لینک ثبتنام در وبینار: کلیک کنید!