برای کسایی که با مدل ها زیاد سرو کله میزنن، انویدیا یه جعبه ابزار برای بهینهسازی مدلهای AI داره قبل از اینکه مدل رو ببری برای inference، کمک میکنه مدل رو کمحجمتر و کممصرفتر و سریعتر کنی.
تمرکز اصلیش روی چیزهایی مثل Quantization، Pruning، Sparsity و Distillation هستش. مثلاً میتونی یه مدل BF16 رو به FP8 یا NVFP4 تبدیل کنی تا VRAM و هزینه محاسبات کمتر بشه، البته با کنترل افت کیفیت مدل.
نکته جالبش اینه که ModelOpt خودش جای vLLM یا TensorRT-LLM نیست؛ بیشتر نقش مرحلهی optimization رو داره. یعنی مدل رو آماده میکنی و بعد میدی به inference engineهایی مثل vLLM، SGLang یا TensorRT-LLM تا روی GPU اجرا بشه.
اگه با مدلهای بزرگ و GPU های NVIDIA کار میکنی، ModelOpt یه جعبهابزار برای اینه که از همون مدل، نسخهای سبکتر و مناسبتر برای production بسازی؛ مخصوصاً وقتی بحث FP8/NVFP4، کاهش VRAM و افزایش throughput مطرح باشه:
nvidia.github.io/Model-Optimizer
@Linuxor
تمرکز اصلیش روی چیزهایی مثل Quantization، Pruning، Sparsity و Distillation هستش. مثلاً میتونی یه مدل BF16 رو به FP8 یا NVFP4 تبدیل کنی تا VRAM و هزینه محاسبات کمتر بشه، البته با کنترل افت کیفیت مدل.
نکته جالبش اینه که ModelOpt خودش جای vLLM یا TensorRT-LLM نیست؛ بیشتر نقش مرحلهی optimization رو داره. یعنی مدل رو آماده میکنی و بعد میدی به inference engineهایی مثل vLLM، SGLang یا TensorRT-LLM تا روی GPU اجرا بشه.
اگه با مدلهای بزرگ و GPU های NVIDIA کار میکنی، ModelOpt یه جعبهابزار برای اینه که از همون مدل، نسخهای سبکتر و مناسبتر برای production بسازی؛ مخصوصاً وقتی بحث FP8/NVFP4، کاهش VRAM و افزایش throughput مطرح باشه:
nvidia.github.io/Model-Optimizer
@Linuxor
This media is not supported in your browser
VIEW IN TELEGRAM
یه مدل جالب برای اجرای AI روی دستگاه اندرویدی (ویدیو تست شده روی S26 برای هر درخواست 128توکنه 70 میلی ثانیه زمان میبره)
مدل GLiNER2.5-Decide دارای 340M پارامتره که برای classification، routing، sentiment، intent detection و تصمیمگیری ساختاریافته ساخته شده.
نسخهی LiteRTش رو میتونید روی دستگاههایی مثل Android بهصورت local اجرا کنید؛ بدون API و بدون نیاز به ارسال متن به سرور.
یعنی برای خیلی از کارهایی که لازم نیست حتماً یه LLM بزرگ داشته باشید، میتونه گزینهی جذابی باشه.
huggingface.co/litert-community/GLiNER2.5-Decide-LiteRT
@Linuxor
مدل GLiNER2.5-Decide دارای 340M پارامتره که برای classification، routing، sentiment، intent detection و تصمیمگیری ساختاریافته ساخته شده.
نسخهی LiteRTش رو میتونید روی دستگاههایی مثل Android بهصورت local اجرا کنید؛ بدون API و بدون نیاز به ارسال متن به سرور.
یعنی برای خیلی از کارهایی که لازم نیست حتماً یه LLM بزرگ داشته باشید، میتونه گزینهی جذابی باشه.
huggingface.co/litert-community/GLiNER2.5-Decide-LiteRT
@Linuxor
مغز انسان یه باگی داره اینه که آینده رو خوب پیشبینی نمیکنه از اون بد تر یه عده بهش اعتماد هم میکنن؛
مثلا همیشه با خودشون میگن وای فلانی آنلاین شاپ داره چه پولی در میاره فلانی شرکت داره چه پولی درمیاره فلانی فریلنسره چقدر راحته کسی روی سرش نیست و همیشه آزاده!
بعد که خودشون بدون پیش بینی آینده و با صرف اینکه اون کاره راحته یکی از اون کارارو شروع میکنن، میافتن توی باتلاق اون کاره که به راحتی هم نمیشه ازش بیرون اومد مثلا آنلاین شاپ به ظاهر شاید پول پارو کنه ولی باید بدونید که «باید محصول خوب پیدا کنید ← سرمایه بذارید ← محتوا بسازید ← تبلیغ کنید ← مشتری جذب کنید ← بستهبندی کنید ← ارسال کنید ← مرجوعی بگیرید ← پشتیبانی کنید ← حسابداری کنید ← با افت فروش کنار بیاید ← دوباره تبلیغ کنید و ممکنه اصلا به مشتری هدف نرسید...» تازه بعدش میفهمن این کار همچین براشون جذاب هم نیست!
@Linuxor
مثلا همیشه با خودشون میگن وای فلانی آنلاین شاپ داره چه پولی در میاره فلانی شرکت داره چه پولی درمیاره فلانی فریلنسره چقدر راحته کسی روی سرش نیست و همیشه آزاده!
بعد که خودشون بدون پیش بینی آینده و با صرف اینکه اون کاره راحته یکی از اون کارارو شروع میکنن، میافتن توی باتلاق اون کاره که به راحتی هم نمیشه ازش بیرون اومد مثلا آنلاین شاپ به ظاهر شاید پول پارو کنه ولی باید بدونید که «باید محصول خوب پیدا کنید ← سرمایه بذارید ← محتوا بسازید ← تبلیغ کنید ← مشتری جذب کنید ← بستهبندی کنید ← ارسال کنید ← مرجوعی بگیرید ← پشتیبانی کنید ← حسابداری کنید ← با افت فروش کنار بیاید ← دوباره تبلیغ کنید و ممکنه اصلا به مشتری هدف نرسید...» تازه بعدش میفهمن این کار همچین براشون جذاب هم نیست!
@Linuxor
This media is not supported in your browser
VIEW IN TELEGRAM
یه کتابخونه UI پیدا کردم که کلی کامپوننت خیلی شیک و جذاب رو یکجا جمع کرده؛ برای اینکه توی یه لندینگ پیج یه افکت «واااو عجب چیز پشم ریزونی» بسازی
سایتش اینه:
componentry.dev
@Linuxor
سایتش اینه:
componentry.dev
@Linuxor
یه تکنیکی که جدیدا دارم روش تمرکز میکنم درست Exit کردنه، اکثر ماها نمیتونیم درست از یه کاری که شروع کردیم و به نتیجه دلخواه نرسیده خروج بزنیم و توی لحظه آخر همه چی رو آتیش میزنیم، برای مثال تا الان ده ها تا سرویس و محصول از سایت و API و... ساختم که همشون هم درآمدزا بودن ولی کم بوده یا زحمتش زیاد بوده همشم از بین بردم؛ با خودم میگم بابا کاش حداقل یکم روی آتومیشینش کار میکردی مثلا یه سرویسی که ماهی حتی 10 تومن درآمد داشته باشه و روزی مثلا 3 ساعتت وقتت رو بگیره رو یه جوری اتومیتش کنی بشه روزی نیم ساعت یا یه ربع واقعا میارزه نگهش داری در واقع بجای اینکه محکم Exit کنی و بی سرپناه بزاریش و درآمد بشه صفر تومن یجوری با AI و آتومیشن فشردش میکنی که بشه یه ربع در روز حتی درآمد کمترم شد و مثلا 7 الی 8 تومنم میارزه.
چیزی که داره براتون پول میسازه ولی کمه رو هیچ وقت سرش رو نبرید ببینید میتونید رامش کنید اگه نشد سرش رو ببرید.
@Linuxor
چیزی که داره براتون پول میسازه ولی کمه رو هیچ وقت سرش رو نبرید ببینید میتونید رامش کنید اگه نشد سرش رو ببرید.
@Linuxor
This media is not supported in your browser
VIEW IN TELEGRAM
اگه تا حالا خواستی یه وبسایت شبیه VS Code، Figma یا Photoshop بسازی، احتمالا با یکی از دردناکترین قسمتهاش که برخورد کردی مدیریت Layout. Split، Tab، پنلهای شناور، Resize و Nesting خیلی زود تبدیل به یه عالمه منطق پیچیده میشن. Trellis برای همین ساخته شده؛ یه Layout Engine برای ساخت Workspace های پیچیده و قابل شخصیسازی توی Web App. کاربر میتونه پنلها رو جابهجا کنه، Split کنه، Float کنه، داخل Tab بذاره و حتی Layoutها رو تا عمقهای مختلف داخل هم Nest کنه.
اگه داری یه IDE، داشبورد، ابزار طراحی، ادیتور، Trading Terminal یا هر اپی میسازی که کاربر باید محیط کارش رو خودش بچینه چیز بدرد بخوریه کلا 33 کیلوبایته.
تست آنلاین و دانلود :
trellisui.com
@Linuxor
اگه داری یه IDE، داشبورد، ابزار طراحی، ادیتور، Trading Terminal یا هر اپی میسازی که کاربر باید محیط کارش رو خودش بچینه چیز بدرد بخوریه کلا 33 کیلوبایته.
تست آنلاین و دانلود :
trellisui.com
@Linuxor
This media is not supported in your browser
VIEW IN TELEGRAM
وقتی یک مدل با 58.5 درصد توکن فکری کمتر، همان دقت یا حتی بهتر را ارائه میدهد، ارزش تستکردن دارد!
نسخه جدید Swift 1.5 برای Qwen3.8-27B با RL و OPD قویتر، مخصوصاً در کدنویسی و Agentها، منتشر شده و در برخی تسکها تا 9.18 برابر سریعتر است.
huggingface.co/ukisai/Swift-1.5-Qwen3.8-27B-GGUF
@Linuxor ~ callitVer1
نسخه جدید Swift 1.5 برای Qwen3.8-27B با RL و OPD قویتر، مخصوصاً در کدنویسی و Agentها، منتشر شده و در برخی تسکها تا 9.18 برابر سریعتر است.
huggingface.co/ukisai/Swift-1.5-Qwen3.8-27B-GGUF
@Linuxor ~ callitVer1
Media is too big
VIEW IN TELEGRAM
اگه براتون سواله این بازی اسپایدرمن یه نفر داشت با کلاد Opus 5.5 میساختش چی شد؟ این ویدیو رو ببینید کیفیتش در حد GTA-V بالا رفته
همچنین توسعه دهندش چند ساعت پیش سورس کدش هم اوپن کرد:
github.com/xikhar/spiderbench
@Linuxor
همچنین توسعه دهندش چند ساعت پیش سورس کدش هم اوپن کرد:
github.com/xikhar/spiderbench
@Linuxor
Media is too big
VIEW IN TELEGRAM
یه ابزار جالب برای کسایی که با کد ایجنت ها کار میکنن jevgrep یا همون jg، یه ابزار برای جمعکردن هوشمند Context از داخل codebase هستش که از طرف تیم Typesafe AI یا همون سازنده Jev ساخته شده.
بهجای اینکه Agent برای پیدا کردن جواب یه سوال، کلی فایل رو بگرده و حجم زیادی Context وارد مدل کنه، jg کمک میکنه قسمتهای مرتبط کد رو سریعتر پیدا کنه و فقط همون بخشهایی که احتمالاً مهمن رو در اختیار Agent بذاره.
نکته جالبش اینه که طبق تست منتشرشده روی بخشی از SWE-bench، استفاده از jg هزینه اجرای Coding Agent رو حدود 40٪ کم کرده. البته این عدد مربوط به همون تست مشخصه و نباید به همه پروژهها و Agentها تعمیمش داد:
github.com/dzhng/jevgrep
@Linuxor
بهجای اینکه Agent برای پیدا کردن جواب یه سوال، کلی فایل رو بگرده و حجم زیادی Context وارد مدل کنه، jg کمک میکنه قسمتهای مرتبط کد رو سریعتر پیدا کنه و فقط همون بخشهایی که احتمالاً مهمن رو در اختیار Agent بذاره.
نکته جالبش اینه که طبق تست منتشرشده روی بخشی از SWE-bench، استفاده از jg هزینه اجرای Coding Agent رو حدود 40٪ کم کرده. البته این عدد مربوط به همون تست مشخصه و نباید به همه پروژهها و Agentها تعمیمش داد:
github.com/dzhng/jevgrep
@Linuxor
یه مدل AI دیگه شبیه به Jev منتشر شده به اسم Julia 1 که هدفش تولید متن نیست برای تصمیمگیری و انتخاب بین چند گزینه ساخته شده. یعنی بهش متن و گزینهها رو میدی و مدل مشخص میکنه کدوم گزینه مناسبتره.
فقط حدود 144M پارامتر داره و حجم وزنهاش حدود 550MB هستش. مهمتر اینکه برای اجرا الزاماً GPU نمیخواد و حتی روی CPU و دستگاههایی مثل تبلت هم تست شده؛ یعنی میتونه برای inference محلی و سیستمهای کمهزینه کاربردی باشه.
روی کارهایی مثل دستهبندی متن، تشخیص intent، routing، تصمیمهای باینری و انتخاب از بین چند گزینه تمرکز داره. توی تستهای منتشرشده هم مثلاً روی AG News به 94% و روی دیتاست Emotion به 86% رسیده، هرچند روی بعضی بنچمارک ها مثل Banking77 عملکرد پایینتری داشته.
مدل متنباز منتشر شده و وزنها، کد اجرا و نتایج بنچمارک ها هم در دسترسه. ایده اصلی Julia 1 اینه بهجای اینکه برای هر تصمیم کوچیک یه LLM بزرگ اجرا کنی، یه مدل سبک داشته باشی که فقط همون تصمیم رو سریع و ارزون بگیره:
supersoniclabs.ia.br/julia-1
@Linuxor
فقط حدود 144M پارامتر داره و حجم وزنهاش حدود 550MB هستش. مهمتر اینکه برای اجرا الزاماً GPU نمیخواد و حتی روی CPU و دستگاههایی مثل تبلت هم تست شده؛ یعنی میتونه برای inference محلی و سیستمهای کمهزینه کاربردی باشه.
روی کارهایی مثل دستهبندی متن، تشخیص intent، routing، تصمیمهای باینری و انتخاب از بین چند گزینه تمرکز داره. توی تستهای منتشرشده هم مثلاً روی AG News به 94% و روی دیتاست Emotion به 86% رسیده، هرچند روی بعضی بنچمارک ها مثل Banking77 عملکرد پایینتری داشته.
مدل متنباز منتشر شده و وزنها، کد اجرا و نتایج بنچمارک ها هم در دسترسه. ایده اصلی Julia 1 اینه بهجای اینکه برای هر تصمیم کوچیک یه LLM بزرگ اجرا کنی، یه مدل سبک داشته باشی که فقط همون تصمیم رو سریع و ارزون بگیره:
supersoniclabs.ia.br/julia-1
@Linuxor
This media is not supported in your browser
VIEW IN TELEGRAM
این خوراک فروشگاه های آنلاینه، یه تصویر PNG بده تمام زاویهها رو تحویل بگیر
یه LoRA (یه مدل/وزن کمکیه که روی یک مدل اصلی مثل Qwen-Image-2.1 سوار میشه تا مدل رو برای انجام یک کار یا سبک مشخص تخصصیتر کنه) برای Qwen-Image-2.1 که زاویه دید دوربین رو دور سوژه میچرخونه.
فقط 1 تصویر با پسزمینه شفاف آپلود میکنی و مدل دوربین رو دور اون جسم حرکت میده و نماهای مختلفش رو میسازه؛ نمای پشت سوژه هم شامل میشه و شفافیت تصویر هم حفظ میشه.
منظور از viewpoint-orbit اینجا اینه که انگار دوربین رو دور یک جسم میچرخونی و از زوایای مختلف، مثل نمای جلو، کنار، پشت و... ازش تصویر میگیری:
huggingface.co/spaces/ML-Intern-lab/Qwen-Image-2.1-viewpoint-orbit-LoRA
@Linuxor
یه LoRA (یه مدل/وزن کمکیه که روی یک مدل اصلی مثل Qwen-Image-2.1 سوار میشه تا مدل رو برای انجام یک کار یا سبک مشخص تخصصیتر کنه) برای Qwen-Image-2.1 که زاویه دید دوربین رو دور سوژه میچرخونه.
فقط 1 تصویر با پسزمینه شفاف آپلود میکنی و مدل دوربین رو دور اون جسم حرکت میده و نماهای مختلفش رو میسازه؛ نمای پشت سوژه هم شامل میشه و شفافیت تصویر هم حفظ میشه.
منظور از viewpoint-orbit اینجا اینه که انگار دوربین رو دور یک جسم میچرخونی و از زوایای مختلف، مثل نمای جلو، کنار، پشت و... ازش تصویر میگیری:
huggingface.co/spaces/ML-Intern-lab/Qwen-Image-2.1-viewpoint-orbit-LoRA
@Linuxor
This media is not supported in your browser
VIEW IN TELEGRAM
وقتی میخوای یه مدل رو بهصورت لوکال روی کامپیوترت اجرا کنی، سختترین بخشش دانلود کردن مدل نیست؛ سختترین قسمت اینه که بفهمی کدوم مدل واقعاً با سختافزار کامپیوترت سازگاره و از پس اجرای اون برمیاد. Magnitude سختافزار کامپیوترت رو بررسی میکنه و قبل از اینکه مدلها رو دانلود کنی، بهت نشون میده که هر مدل تقریباً با چه سرعتی، مثلاً چند توکن در ثانیه (tokens/second، روی سیستم تو اجرا میشه.
بعد خودش مدل مناسب رو دانلود میکنه و تنظیماتش رو متناسب با سختافزارت انجام میده تا بهترین حالت ممکن برای سیستم خودت داشته باشه.
رایگان و متنباز (Open Source) هستش، دانلود :
magnitude.dev
@Linuxor
بعد خودش مدل مناسب رو دانلود میکنه و تنظیماتش رو متناسب با سختافزارت انجام میده تا بهترین حالت ممکن برای سیستم خودت داشته باشه.
رایگان و متنباز (Open Source) هستش، دانلود :
magnitude.dev
@Linuxor
Media is too big
VIEW IN TELEGRAM
یه نفر نوکیاشو که ساخت سال 2007 هستش و فقط 8 مگابایت حافظه داره و نمیتونه به اینترنت امروزی دسترسی پیدا کنه (به خاطر TLS 1.0)، به Claude وصل کرده حالا دیگه هوش مصنوعی هم داره!
اینجا کارایی که کرده هستش:
github.com/emir/claude-s40
@Linuxor
اینجا کارایی که کرده هستش:
github.com/emir/claude-s40
@Linuxor
یه نفر تونسته سانسور Qwen رو تقریبا برداره، توی AI یه تکنیکی داریم به اسم Abliteration که یعنی با دستکاری وزنهای مدل، جهتهایی که باعث میشن مدل بعضی درخواستها رو رد کنه یا اصطلاحاً refusal داشته باشه، تا حد زیادی حذف بشن. یعنی بهجای اینکه فقط با System Prompt به مدل بگی «رد نکن»، خود مدل رو تغییر میدن.
حالا مدل Qwen3.5-9B-abliterated دقیقاً با همین روش ساخته شده؛ یه نسخه دستکاریشده از Qwen3.5-9B که هدفش اینه رفتارهای refusal رو تا حد زیادی کم کنه. سازنده با تحلیل activationهای مدل، جهت مرتبط با refusal رو پیدا کرده و بعد با Abliteration اون جهت رو از وزنهای مدل حذف کرده.
بعد از این مرحله هم روی مدل QLoRA fine-tuning انجام شده تا مواردی که هنوز باعث refusal میشدن کمتر بشن. نتیجه یه مدل 9B هستش که برای استفادههای local جالبه، مخصوصاً اگه دنبال مدلی هستید که محدودیتهای رفتاری کمتری نسبت به نسخه اصلی داشته باشه:
huggingface.co/lukey03/Qwen3.5-9B-abliterated
@Linuxor
حالا مدل Qwen3.5-9B-abliterated دقیقاً با همین روش ساخته شده؛ یه نسخه دستکاریشده از Qwen3.5-9B که هدفش اینه رفتارهای refusal رو تا حد زیادی کم کنه. سازنده با تحلیل activationهای مدل، جهت مرتبط با refusal رو پیدا کرده و بعد با Abliteration اون جهت رو از وزنهای مدل حذف کرده.
بعد از این مرحله هم روی مدل QLoRA fine-tuning انجام شده تا مواردی که هنوز باعث refusal میشدن کمتر بشن. نتیجه یه مدل 9B هستش که برای استفادههای local جالبه، مخصوصاً اگه دنبال مدلی هستید که محدودیتهای رفتاری کمتری نسبت به نسخه اصلی داشته باشه:
huggingface.co/lukey03/Qwen3.5-9B-abliterated
@Linuxor
یکی تجربهی خودش از مهندسی معکوس کلی فایل APK رو تبدیل کرده به یه Skill و بهصورت متنباز منتشرش کرده!
بعد از نصبش، هوش مصنوعی میتونه اپهای اندرویدی رو با دنبال کردن روند فکری یه متخصص باتجربه تحلیل کنه. میتونه توی این کارها کمکت کنه:
1. تغییر دادن فایلهای DEX، ریپکیج کردن اپ و ساین کردنش
2. کار با Packing و Loaderها
3. تحلیل لایهی Native
4. کار روی Dart AOT در اپهای Flutter
میتونی مستقیماً با Claude Code و Codex ازش استفاده کنی.
لازم نیست ابزارها رو خودت از قبل پکیج یا آماده کنی؛ هوش مصنوعی خودش ابزارهایی مثل Frida، JADX و Blutter رو نصب میکنه.
بهترین نتیجه رو وقتی میگیری که همون اول کار، به مدل بگی از این Skill استفاده کنه.
روی GitHub هم 2.5k ستاره گرفته و کاملا رایگان:
github.com/newliver666/apk-reverse
@Linuxor
بعد از نصبش، هوش مصنوعی میتونه اپهای اندرویدی رو با دنبال کردن روند فکری یه متخصص باتجربه تحلیل کنه. میتونه توی این کارها کمکت کنه:
1. تغییر دادن فایلهای DEX، ریپکیج کردن اپ و ساین کردنش
2. کار با Packing و Loaderها
3. تحلیل لایهی Native
4. کار روی Dart AOT در اپهای Flutter
میتونی مستقیماً با Claude Code و Codex ازش استفاده کنی.
لازم نیست ابزارها رو خودت از قبل پکیج یا آماده کنی؛ هوش مصنوعی خودش ابزارهایی مثل Frida، JADX و Blutter رو نصب میکنه.
بهترین نتیجه رو وقتی میگیری که همون اول کار، به مدل بگی از این Skill استفاده کنه.
روی GitHub هم 2.5k ستاره گرفته و کاملا رایگان:
github.com/newliver666/apk-reverse
@Linuxor
Media is too big
VIEW IN TELEGRAM
این سایتم هم جدید اومده و کامپوننت های وبی زیبایی داره
هر هفته دارم یه سایت این شکلی براتون پیدا میکنم این چند تا از کامپوننت هاش انصافا قشنگ بودن من ازشون استفاده میکنم شما دیگه نکنید سایتامون شبیه هم میشه خز میشه برید از قبلیا استفاده کنید😁
uselayouts.com
@Linuxor
هر هفته دارم یه سایت این شکلی براتون پیدا میکنم این چند تا از کامپوننت هاش انصافا قشنگ بودن من ازشون استفاده میکنم شما دیگه نکنید سایتامون شبیه هم میشه خز میشه برید از قبلیا استفاده کنید😁
uselayouts.com
@Linuxor
1