Forwarded from دستاوردهای یادگیری عمیق(InTec)
این پست
https://t.iss.one/pyHints/801
و پست بعدیش رو بخونید.
معمولاً پستهای من توی کانالهای مختلف (خودم) پراکنده هست.
برای همین ۸۰٪ سوالات تکراری رو جواب نمیدم.
لیست کانالها :
@pytens
@pyhints
@pyrust
@per3onal
@pytensMusic
https://t.iss.one/pyHints/801
و پست بعدیش رو بخونید.
معمولاً پستهای من توی کانالهای مختلف (خودم) پراکنده هست.
برای همین ۸۰٪ سوالات تکراری رو جواب نمیدم.
لیست کانالها :
@pytens
@pyhints
@pyrust
@per3onal
@pytensMusic
Telegram
Python Hints
بیشترین سوال:
ما امکان خرید کتابهای معرفی شده توی کانال رو نداریم، چاپ شده هم گرون هست.
۱- شخصاً مخالف خرید کتابهای چاپ شده هستم، چون هیچکدوم هیچ پولی به نویسنده نمیده
چند مورد رو به نویسنده هم ایمیل زدم، تأیید کردند. (قدیم)
۲- کتاب به هیچوجه توی…
ما امکان خرید کتابهای معرفی شده توی کانال رو نداریم، چاپ شده هم گرون هست.
۱- شخصاً مخالف خرید کتابهای چاپ شده هستم، چون هیچکدوم هیچ پولی به نویسنده نمیده
چند مورد رو به نویسنده هم ایمیل زدم، تأیید کردند. (قدیم)
۲- کتاب به هیچوجه توی…
Forwarded from Laravel News
Encrypt and Decrypt String Helpers in Laravel 12.18 https://laravel-news.com/laravel-12-18-0
Laravel News
Encrypt and Decrypt String Helpers in Laravel 12.18 - Laravel News
The Laravel team released v12.18.0, with encrypt and decrypt string helpers, per-request truncation limit for HTTP client responses, a new command option to make batchable jobs, and more.
Forwarded from 🎄 یک برنامه نویس تنبل (The Lazy 🌱)
🔶 حالا که بحث طرح شیشه ای مایع داغه که شروع کننده آن اپل بود, یه طرح شیشه ای با HTML و CSS با کلاد ۴ زدم.
جهت یاد آوری اولین طرح شیشه ای که مطرح شد مال ویندوز ویستا مایکروسافت بود که در مرور زمان با ویندوز ۷ طرح شیشه ای به بلوغ رسید.
گیت هاب :
https://github.com/Rayiumir/liquid-glass
پیش نمایش :
https://rayiumir.github.io/liquid-glass/
@TheRaymondDev
جهت یاد آوری اولین طرح شیشه ای که مطرح شد مال ویندوز ویستا مایکروسافت بود که در مرور زمان با ویندوز ۷ طرح شیشه ای به بلوغ رسید.
گیت هاب :
https://github.com/Rayiumir/liquid-glass
پیش نمایش :
https://rayiumir.github.io/liquid-glass/
@TheRaymondDev
Forwarded from DevTwitter | توییت برنامه نویسی
اگه مث من بعضی وقتا توی دستورات ترمینال گیر میکنی و نمیدونی دقیقاً هر بخشش چی کار میکنه، این ابزار رو از دست نده:
explainshell.com
فقط کافیه دستورت رو تایپ کنی، خودش یکییکی قسمتاشو باز میکنه و میگه هر آپشن یا آرگومان دقیقاً چیه و چیکار میکنه — اونم بر اساس help خود دستور.
مثلاً دستور زیر:
میخوای بدونی -x چیه؟ -v چی؟ خودش میاد برات دونهدونه میگه.
برای وقتایی که حوصله گشتن تو man page نداری، خیلی نجاتدهندس
@DevTwitter | <Milad Niroee/>
explainshell.com
فقط کافیه دستورت رو تایپ کنی، خودش یکییکی قسمتاشو باز میکنه و میگه هر آپشن یا آرگومان دقیقاً چیه و چیکار میکنه — اونم بر اساس help خود دستور.
مثلاً دستور زیر:
tar -xvf archive.tar
میخوای بدونی -x چیه؟ -v چی؟ خودش میاد برات دونهدونه میگه.
برای وقتایی که حوصله گشتن تو man page نداری، خیلی نجاتدهندس
@DevTwitter | <Milad Niroee/>
Forwarded from Geek Alerts
ارتش آمریکا داره به استفاده از پرینترهای سهبعدی تو میدان نبرد فکر میکنه. هدف اینه که سربازا بتونن قطعات مورد نیاز رو همونجا بسازن و نیازی به جابجایی قطعات سنگین یا استفاده از قطعات یدکی نباشه. یعنی هرچیزی که لازم دارن رو در محل خودشون بسازن، ایده میتونه مشکلات لجستیکی رو، مخصوصا تو مناطق دورافتاده حل کنه.
البته همین الان هم چند ساله که دارن پرینترهای سهبعدی رو آزمایش میکنن، اخیرا هم دو تا پادگان تو تگزاس با استفاده از پرینترهای مبتنی بر بتن ساختن. [L]
🤓 @geekalerts
البته همین الان هم چند ساله که دارن پرینترهای سهبعدی رو آزمایش میکنن، اخیرا هم دو تا پادگان تو تگزاس با استفاده از پرینترهای مبتنی بر بتن ساختن. [L]
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Geek Alerts
This media is not supported in your browser
VIEW IN TELEGRAM
ویدیویی که میبینید اولین روبوتاکسیهای تسلا هستن که شروع به کار کردن، اینها تسلا مدل Y معمولی هستن که دست نخورده از کارخونه بیرون میان و قابلیت رانندگی خودکار بدون نظارت رو دارن، ایلان ماسک قبلا گفته بود از ماه ژوئن به شکل رسمی خدمات میدن. اهمیتش از این نظر هست که توان تولید کارخونههای تسلا بهش کمک میکنه تا احتمالا در آینده بزرگترین سرویس تاکسی بدون راننده دنیارو با ناوگان مدل Y درست کنه. [L]
بعد از انتشار این ویدیوها سهام تسلا بعد از مدتها افت، شاهد ۵.۷ درصد رشد بود. [L]
🤓 @geekalerts
بعد از انتشار این ویدیوها سهام تسلا بعد از مدتها افت، شاهد ۵.۷ درصد رشد بود. [L]
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Laravel News
Keep Your Place: Enhancing User Experience with Fragment Method https://laravel-news.com/keep-your-place-enhancing-user-experience-with-fragment-method
Laravel News
Keep Your Place: Enhancing User Experience with Fragment Method - Laravel News
Introducing Lateral's Fragment method—your key to seamless user navigation. By targeting specific sections with anchors, users remain focused on their current content without those annoying page jumps. Perfect for comment sections or product reviews, this…
Forwarded from Geek Alerts
خاورمیانه سالهای اخیر شاهد گسترش تکنولوژی پهپادهای نظامی ارزان بود، یکی از دلایلش اینه که هزینه نابودی این پهپادها از قیمت اون پهپاد به مراتب بیشتره برای مثال برخی از این موشکها تا ۴ میلیون دلار هزینه ساختشون بوده که برای از بین بردن پهپاد ۵۰ هزار دلاری استفاده شدن.
حالا گزارشها نشون میده جتهای جنگنده آمریکا (F-16 و F-15) تو عملیات Rough Rider از موشکهای لیزری ارزونقیمت APKWS برای نابودی پهپادهای حوثی استفاده کردن. ژنرال مایکل کوریلا گفت این مهمات ۲۵ هزار دلاری در برابر پهپادهای ۵۰ تا ۱۰۰ هزار دلاری مؤثر بودن و نشون میده آمریکا با جایگزین کردن سلاحهای انرژی حالا هزینه هر شلیک رو به نصف قیمت یک پهپاد رسونده. [L]
🤓 @geekalerts
حالا گزارشها نشون میده جتهای جنگنده آمریکا (F-16 و F-15) تو عملیات Rough Rider از موشکهای لیزری ارزونقیمت APKWS برای نابودی پهپادهای حوثی استفاده کردن. ژنرال مایکل کوریلا گفت این مهمات ۲۵ هزار دلاری در برابر پهپادهای ۵۰ تا ۱۰۰ هزار دلاری مؤثر بودن و نشون میده آمریکا با جایگزین کردن سلاحهای انرژی حالا هزینه هر شلیک رو به نصف قیمت یک پهپاد رسونده. [L]
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from DevTwitter | توییت برنامه نویسی
دیروز از آیتی هلو یه کتاب گرفتم که امروز چاپ و ارسال کردن برام.
خدایی کیفیت کتاباشون خیلی خوبه، من راضیام.
اگر شماهم به کتابهای برنامهنویسی علاقه دارید میتونید بهشون سفارش بدید و مطمئن باشید که با بهترین کیفیت براتون چاپش میکنن.
اگر خودتون هم فایل داشته باشید میتونن به شکل کتاب چاپش کنن.
من با مدیر مجموعه صحبتکردم و یک کد تخفیف 10 درصدی براتون گرفتم.
کد :
آرشیوشون کامله و اکثر کتابها رو دارن.
میتونید نمونهکارهاشون رو اینجا ببینید: @ITBook_Images
کانالشون:
@itbook_pub
خدایی کیفیت کتاباشون خیلی خوبه، من راضیام.
اگر شماهم به کتابهای برنامهنویسی علاقه دارید میتونید بهشون سفارش بدید و مطمئن باشید که با بهترین کیفیت براتون چاپش میکنن.
اگر خودتون هم فایل داشته باشید میتونن به شکل کتاب چاپش کنن.
من با مدیر مجموعه صحبتکردم و یک کد تخفیف 10 درصدی براتون گرفتم.
کد :
DevTwitterآرشیوشون کامله و اکثر کتابها رو دارن.
میتونید نمونهکارهاشون رو اینجا ببینید: @ITBook_Images
کانالشون:
@itbook_pub
Forwarded from Laravel News
Encrypt and Decrypt String Helpers in Laravel 12.18 https://laravel-news.com/laravel-12-18-0
Laravel News
Encrypt and Decrypt String Helpers in Laravel 12.18 - Laravel News
The Laravel team released v12.18.0, with encrypt and decrypt string helpers, per-request truncation limit for HTTP client responses, a new command option to make batchable jobs, and more.
Forwarded from DevTwitter | توییت برنامه نویسی
مایکروسافت خوب تونسته محصولاتی رو در اختیارمون بذاره که باش Agent بسازیم..
مدل SaaS خیلی کار و ساده کرده برای ساخت ایجنت هایی که شما میخوای با Docuementهاتون بسازین... نیاز به کد زدن ندارین
از اونور IaaS میشه همون AutoGen و اینا که شما کنترل بیشتری روی رفتار Agentتون دارین..
@DevTwitter | <Sam92/>
مدل SaaS خیلی کار و ساده کرده برای ساخت ایجنت هایی که شما میخوای با Docuementهاتون بسازین... نیاز به کد زدن ندارین
از اونور IaaS میشه همون AutoGen و اینا که شما کنترل بیشتری روی رفتار Agentتون دارین..
@DevTwitter | <Sam92/>
Forwarded from linuxtnt(linux tips and tricks) (hosein seilany https://seilany.ir/)
دستور بررسی سلامت هارد:
sudo smartctl -a /dev/sdX
❗ جایگزین کن sdX با نام دیسک موردنظر، مثلاً sda یا nvme0n1
بخشهای کلیدی خروجی:
Power_On_Hours:
تعداد کل ساعتهایی که دیسک روشن بوده (طول عمر تقریبی).
Reallocated_Sector_Ct:
تعداد سکتورهای معیوب جایگزینشده (اگر > 0، نشانه خطر).
Temperature_Celsius:
دمای فعلی دیسک.
Wear_Leveling_Count یا Media_Wearout_Indicator
(برای SSD): میزان فرسایش.
sudo smartctl -a /dev/sdX
❗ جایگزین کن sdX با نام دیسک موردنظر، مثلاً sda یا nvme0n1
بخشهای کلیدی خروجی:
Power_On_Hours:
تعداد کل ساعتهایی که دیسک روشن بوده (طول عمر تقریبی).
Reallocated_Sector_Ct:
تعداد سکتورهای معیوب جایگزینشده (اگر > 0، نشانه خطر).
Temperature_Celsius:
دمای فعلی دیسک.
Wear_Leveling_Count یا Media_Wearout_Indicator
(برای SSD): میزان فرسایش.
Forwarded from Geek Alerts
جنسن هوانگ، مدیرعامل انویدیا قبلا به کامپیوترهای کوانتومی خوشبین نبود، ولی تو گفتگوی جدید گفته محاسبات کوانتومی داره به یه نقطه عطف میرسه و تو سالهای آینده میشه ازش برای حل مشکلات واقعی استفاده کرد. [L]
ماکرون، رئیسجمهور فرانسه، گفته اگه اتحادیه اروپا اقدامی نکنه، فرانسه دسترسی افراد زیر ۱۵ سال به شبکههای اجتماعی رو ممنوع میکنه. [L]
اپل تریلر جدید فیلم F1 با بازی برد پیت رو معرفی کرده که لرزش هپتیک داره، یعنی وقتی تریلر رو با آیفون میبینی، گوشی با حرکت ماشینها روی صفحه میلرزه، این در واقع با موتور Taptic آیفون کار میکنه و اولین باره که تو صنعت فیلمسازی استفاده میشه. [L]
ترامپ گفته جنگ تجاری آمریکا و چین تموم شده و دو طرف به توافقی رسیدن که هنوز باید توسط خودش و شی جینپینگ تایید بشه. طبق این توافق، آمریکا مواد معدنی کمیاب رو دریافت میکنه، تعرفهها روی ۵۵ درصد ثابت میمونن و دانشگاههای آمریکایی میتونن دانشجویان چینی رو بپذیرن. چین هم ۱۰ درصد تعرفه روی کالاهای آمریکایی اعمال میکنه. [L]
یک مطالعه جدید میگه ChatGPT بیشتر اطلاعاتش رو از ویکیپدیا میگیره، در حالی که Google AI Overviews و Perplexity عمدتا به Reddit متکی هستن. ۳۰ میلیون ارجاع رو برای این تحقیق بررسی کردن. [L]
موزیلا از اومدن Gemini Nano توی مرورگر کروم نگران شده. میگه این کار رقابت رو برای مرورگرهای دیگه سختتر میکنه، چون توسعهدهندهها ممکنه اپهاشون رو بر پایه Gemini بسازن، (یعنی برنامهها به کروم وابستگی پیدا کنن) [L]
فرانسه ۱۰۹ میلیارد یورو روی AI سرمایهگذاری میکنه، با همکاری انویدیا و میسترال AI جلو میرن و میخوان پلتفرمهای محاسباتی پیشرفته با استفاده از ۱۸۰۰۰ پردازنده گرافیکی Grace Blackwell انویدیا بسازن. [L]
آلمان هم داره چند ده هزار GPU انویدیا میخره، بیشتر هدفشون اقتصاد آلمان هست، سوپرکامپیوتر JUPITER هم که اولین سیستم اگزاسکیل اروپا خواهد بود، با ۲۴ هزار تراشه NVIDIA GH200 Grace Hopper قراره به محققها کمک کنه مدلهای زبانی بزرگ با بیش از ۱۰۰ میلیارد پارامتر رو آموزش بدن. [L]
داریو آمودی مدیرعامل Anthropic توی یه اظهار نظر کمی AI رو ترسناک توصیف کرد و گفته بود بیشتر مشاغل رو از بین میبره، جنسن هوانگ، مدیرعامل انویدیا هم گفته آمودی میگه AI خیلی ترسناکه و فقط خودشون باید روش کار کنن. [L]
🤓 @geekalerts
ماکرون، رئیسجمهور فرانسه، گفته اگه اتحادیه اروپا اقدامی نکنه، فرانسه دسترسی افراد زیر ۱۵ سال به شبکههای اجتماعی رو ممنوع میکنه. [L]
اپل تریلر جدید فیلم F1 با بازی برد پیت رو معرفی کرده که لرزش هپتیک داره، یعنی وقتی تریلر رو با آیفون میبینی، گوشی با حرکت ماشینها روی صفحه میلرزه، این در واقع با موتور Taptic آیفون کار میکنه و اولین باره که تو صنعت فیلمسازی استفاده میشه. [L]
ترامپ گفته جنگ تجاری آمریکا و چین تموم شده و دو طرف به توافقی رسیدن که هنوز باید توسط خودش و شی جینپینگ تایید بشه. طبق این توافق، آمریکا مواد معدنی کمیاب رو دریافت میکنه، تعرفهها روی ۵۵ درصد ثابت میمونن و دانشگاههای آمریکایی میتونن دانشجویان چینی رو بپذیرن. چین هم ۱۰ درصد تعرفه روی کالاهای آمریکایی اعمال میکنه. [L]
یک مطالعه جدید میگه ChatGPT بیشتر اطلاعاتش رو از ویکیپدیا میگیره، در حالی که Google AI Overviews و Perplexity عمدتا به Reddit متکی هستن. ۳۰ میلیون ارجاع رو برای این تحقیق بررسی کردن. [L]
موزیلا از اومدن Gemini Nano توی مرورگر کروم نگران شده. میگه این کار رقابت رو برای مرورگرهای دیگه سختتر میکنه، چون توسعهدهندهها ممکنه اپهاشون رو بر پایه Gemini بسازن، (یعنی برنامهها به کروم وابستگی پیدا کنن) [L]
فرانسه ۱۰۹ میلیارد یورو روی AI سرمایهگذاری میکنه، با همکاری انویدیا و میسترال AI جلو میرن و میخوان پلتفرمهای محاسباتی پیشرفته با استفاده از ۱۸۰۰۰ پردازنده گرافیکی Grace Blackwell انویدیا بسازن. [L]
آلمان هم داره چند ده هزار GPU انویدیا میخره، بیشتر هدفشون اقتصاد آلمان هست، سوپرکامپیوتر JUPITER هم که اولین سیستم اگزاسکیل اروپا خواهد بود، با ۲۴ هزار تراشه NVIDIA GH200 Grace Hopper قراره به محققها کمک کنه مدلهای زبانی بزرگ با بیش از ۱۰۰ میلیارد پارامتر رو آموزش بدن. [L]
داریو آمودی مدیرعامل Anthropic توی یه اظهار نظر کمی AI رو ترسناک توصیف کرد و گفته بود بیشتر مشاغل رو از بین میبره، جنسن هوانگ، مدیرعامل انویدیا هم گفته آمودی میگه AI خیلی ترسناکه و فقط خودشون باید روش کار کنن. [L]
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Geek Alerts
اچپی اولین دستگاه سازگار با تکنولوژی گوگل Beam رو به اسم Dimension رونمایی کرد، این همون تکنولوژی مکالمه تصویری سهبعدی هست که حس حضور فیزیکی فرد مقابل رو میده و نیازی به هدست و عینک نداره.
قیمتش ۲۵ هزار دلار هست، یک نمایشگر ۶۵ اینچی با شش دوربین داره که امکان تماسهای ویدیویی سهبعدی رو فراهم میکنه. برای استفادههای سازمانی طراحی شده و نیاز به لایسنس جداگانه گوگل بیم هم داره. [L]
🤓 @geekalerts
قیمتش ۲۵ هزار دلار هست، یک نمایشگر ۶۵ اینچی با شش دوربین داره که امکان تماسهای ویدیویی سهبعدی رو فراهم میکنه. برای استفادههای سازمانی طراحی شده و نیاز به لایسنس جداگانه گوگل بیم هم داره. [L]
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from DevTwitter | توییت برنامه نویسی
Forwarded from DevTwitter | توییت برنامه نویسی
چند وقت پیش، کانال DevTwitter دیتای تلگرامش رو منتشر کرد به صورت عمومی و جالب بود برام که ببینم چه مواردی خیلی پرتکرار بودن توی این دورهای که این کانال زده شده و فعالیت داشته...
بخاطر همین رفتم و یه سری کارهایی روش کردم.
یه دید جالبی میده از این کانال و همچنین شاید یه جرقهای باشه برای کسانی که میخوان شروع کنن به کار کردن روی دیتاها و کلا کار دیتا کنن.
به درخواست چنل devtwitter تو گیتهاب چنل گذاشتم. فقط برای فان و دیگر هیچ...
پیشنمایشها و Visualizationها رو توی خود README میتونین ببینین.
https://github.com/DevTwitter/devtwitter-data-exploration
@DevTwitter | <Ryan Heida/>
بخاطر همین رفتم و یه سری کارهایی روش کردم.
یه دید جالبی میده از این کانال و همچنین شاید یه جرقهای باشه برای کسانی که میخوان شروع کنن به کار کردن روی دیتاها و کلا کار دیتا کنن.
به درخواست چنل devtwitter تو گیتهاب چنل گذاشتم. فقط برای فان و دیگر هیچ...
پیشنمایشها و Visualizationها رو توی خود README میتونین ببینین.
https://github.com/DevTwitter/devtwitter-data-exploration
@DevTwitter | <Ryan Heida/>
Forwarded from Bardiaism
Media is too big
VIEW IN TELEGRAM
آموزش Qt6 - قسمت بیست و یکم - استایل و تم در QML
در این قسمت کمی بیشتر وارد ماژول Controls میشیم و روی استایل و تمها بیشتر تمرکز میکنیم و یاد میدیم چطوری توی QML و ماژول Controls از تمها استفاده کنید.
لینک ویدیو در یوتیوب:
https://youtu.be/nxTDISkm4W8
@Bardiaism
در این قسمت کمی بیشتر وارد ماژول Controls میشیم و روی استایل و تمها بیشتر تمرکز میکنیم و یاد میدیم چطوری توی QML و ماژول Controls از تمها استفاده کنید.
لینک ویدیو در یوتیوب:
https://youtu.be/nxTDISkm4W8
@Bardiaism
Forwarded from Frontend with Erfun👨🏻💻 (Erfun Ghodoosi)
بعد از چند سال تلاش برای رسیدن به کد تمیز و پرفورمنس بالا به صورت همزمان
فهمیدم که این دو خیلی کم پیش میاد که در کنار هم حضور داشته باشن.
و برای هرکدوم باید trade-off انجام داد.
همیشه پرفورمنس متوسط و کار راه بنداز مساوی با تجربهی کم توسعه دهنده نیست. شاید موضوع مهم تری برای پیاده سازی وجود داره که اولویتش نسبت به پرفورمنس و سرعت لود بیشتره.
فهمیدم که این دو خیلی کم پیش میاد که
و برای هرکدوم باید trade-off انجام داد.
همیشه پرفورمنس متوسط و کار راه بنداز مساوی با تجربهی کم توسعه دهنده نیست. شاید موضوع مهم تری برای پیاده سازی وجود داره که اولویتش نسبت به پرفورمنس و سرعت لود بیشتره.
Forwarded from دستاوردهای یادگیری عمیق(InTec)
برای اینکه
رو اجرا کنید احتمالا راهکاری به ذهنتون نمیرسه که بیشتر از ۱.۳ توکن خروجی بده تازه به شرط اینکه بیش از ۰.۵ ترابایت رم هم داشته باشید.
بعد از اینکه کانفیگ لوکال خودم رو گذاشتم و روی سورس کدهام تست گرفتم دیدم چندتا چیز برای بهبود نتایج لازم دارم :
۱- استفاده از
۲- استفاده همزمان از حداقل ۳ مدل
۳- مدل نهایی به جهت بررسی کدهای تولید شده توسط ۳ مدل دیگه
اگر این ترکیب رو استفاده کنم؛ فکرم این بود که ۳ مدل زیری رو بدون
اول اومدم ایده رو تست کردم؛ یک مقدار هزینه و سرعت و ... رو گذاشتم کنار هر ۳ تا مدل رو تک تک اجرا کردم (هرکدوم روی یکی از
و درنهایت بصورت دستی نتابج رو دادم به مدل
استایل رو رعایت میکرد
جاهایی از کد که رعایت نکرده بودم رو هم بهم گزارش میداد و ...
اینجوری بودم که خب اگر این روی لوکال کار بکنه من که دیگه
از نظر زمانی هم بصرفه بود؛ اگر و تنها اگر میتونستم هر ۳ مدل لایه پایینتر رو همزمان اجرا کنم؛خلاصه که گشتم دنبال راهکارهای منطقی همزمان اجرا کردن؛ یادمون باشه که اینجا مدلها معماریهای متفاوتی دارند و مثل حالتی نیست که معماری زیرین مدلها یکی باشه و ... (اگر اون تکنیک رو بلدید برای بهینه پروداکشن کردن)
بگذریم توی تحقیقات رسیدم به
ایده جذاب این تیم اینه که بخشهایی که هزینه سنگین برای اجرا داره رو روی
آیا این فریمورک مشکل من رو حل میکنه ؟ کوتاه : خیر
اما ایده خوبی رو بهم داد.
من دارم تلاش میکنم از راهکاری که گیمرها چندسال قبل برای تقسیم
ترکیب این راهکار با دستاورد این کد احتمالا من رو بتونه به جاهای خوبی برسونه اگر هم نشد اشکالی نداره یادگیری مفیدی بوده (حتی تا همینجا) و البته به کمک
احتمالا شما هم بتونی مدل
Ktransformers Github
Deepseek coder v3 671B رو اجرا کنید احتمالا راهکاری به ذهنتون نمیرسه که بیشتر از ۱.۳ توکن خروجی بده تازه به شرط اینکه بیش از ۰.۵ ترابایت رم هم داشته باشید.
بعد از اینکه کانفیگ لوکال خودم رو گذاشتم و روی سورس کدهام تست گرفتم دیدم چندتا چیز برای بهبود نتایج لازم دارم :
۱- استفاده از
embedding بهتر مثل Qwen3-8b ۲- استفاده همزمان از حداقل ۳ مدل
۳- مدل نهایی به جهت بررسی کدهای تولید شده توسط ۳ مدل دیگه
اگر این ترکیب رو استفاده کنم؛ فکرم این بود که ۳ مدل زیری رو بدون
think اجرا کنم ولی مدلهای تخصصی coder باشند و مدلی که قابلیت think داره رو بذارم که نهایتا با یک context خوب + embedding خوب بتونه کار رو در بیاره.اول اومدم ایده رو تست کردم؛ یک مقدار هزینه و سرعت و ... رو گذاشتم کنار هر ۳ تا مدل رو تک تک اجرا کردم (هرکدوم روی یکی از
GPU ها) نتابجشون رو ذخیره کردمو درنهایت بصورت دستی نتابج رو دادم به مدل
think که خیلی دقت کدهای تولید شده بالارفت استایل رو رعایت میکرد
جاهایی از کد که رعایت نکرده بودم رو هم بهم گزارش میداد و ...
اینجوری بودم که خب اگر این روی لوکال کار بکنه من که دیگه
cloud لازم نخواهم داشت.از نظر زمانی هم بصرفه بود؛ اگر و تنها اگر میتونستم هر ۳ مدل لایه پایینتر رو همزمان اجرا کنم؛خلاصه که گشتم دنبال راهکارهای منطقی همزمان اجرا کردن؛ یادمون باشه که اینجا مدلها معماریهای متفاوتی دارند و مثل حالتی نیست که معماری زیرین مدلها یکی باشه و ... (اگر اون تکنیک رو بلدید برای بهینه پروداکشن کردن)
بگذریم توی تحقیقات رسیدم به
Ktransformer (مرسی توییتر) :Local 671B DeepSeek-Coder-V3/R1: Running its Q4_K_M version using only 14GB VRAM and 382GB DRAM
ایده جذاب این تیم اینه که بخشهایی که هزینه سنگین برای اجرا داره رو روی
GPU میبره و باقی رو میده خود CPU اجرا کنه منم که ۲ تا GPU دارم اگر بشه بجای هر مدل ۲۲ گیگ به هر مدل ۱۱ گیگ گرافیک بدم مشکلم حل میشه. مخصوصا اینکه از نظر RAM سیستم من ۱۲۸ گیگ رم داره که این روزا توی استفادههای سنگین هم نهایتا به ۵۰ گیگ نیاز هست.آیا این فریمورک مشکل من رو حل میکنه ؟ کوتاه : خیر
اما ایده خوبی رو بهم داد.
من دارم تلاش میکنم از راهکاری که گیمرها چندسال قبل برای تقسیم
GPU بین بازیها استفاده میکردند استفاده کنم (تا این لحظه موفق نبودم ولی کل چیز جدید یادگرفتم)ترکیب این راهکار با دستاورد این کد احتمالا من رو بتونه به جاهای خوبی برسونه اگر هم نشد اشکالی نداره یادگیری مفیدی بوده (حتی تا همینجا) و البته به کمک
KTransformers میتونم مدل 70B رو روی سیستم خودم اجرا کنم بدون دردسر.احتمالا شما هم بتونی مدل
14B رو بجای 7B روی سیستم خودت بیاری (شاید لازم باشه کمی دست به کد بشی اگر مدل پشتیبانی نمیشه هنوز)Ktransformers Github
GitHub
GitHub - kvcache-ai/ktransformers: A Flexible Framework for Experiencing Heterogeneous LLM Inference/Fine-tune Optimizations
A Flexible Framework for Experiencing Heterogeneous LLM Inference/Fine-tune Optimizations - kvcache-ai/ktransformers