🧠 فرمت ONNX — زبان مشترک مدل‌های هوش مصنوعی

در دنیای یادگیری عمیق، هر فریم‌ورک (مثل PyTorch، TensorFlow یا Scikit-learn) مدل‌ها را به فرمت مخصوص خودش ذخیره می‌کند.
اما اگر بخواهیم مدلی را در پایتورچ آموزش دهیم و بعد در محیط دیگری مثل OpenCV، C++، یا موبایل اجرا کنیم چه؟ 🤔

🔹 پاسخ: ONNX (Open Neural Network Exchange)

فرمت ONNX یک فرمت استاندارد و متن‌باز است که برای انتقال و اجرای مدل‌های هوش مصنوعی در پلتفرم‌های مختلف طراحی شده است.

💡 به زبان ساده:
فرمت ONNX مثل فایل PDF برای مدل‌های هوش مصنوعی است —
فرقی نمی‌کند در چه فریم‌ورکی ساخته شده، در هر جایی باز و اجرا می‌شود.

⚙️ مزایا:

♻️انتقال آسان مدل‌ها بین فریم‌ورک‌ها (PyTorch → TensorFlow → OpenCV) 🔄

♻️اجرا روی دستگاه‌های مختلف (CPU، GPU، موبایل، Edge) ⚙️

♻️پشتیبانی از بهینه‌سازها مثل ONNX Runtime برای سرعت بیشتر 🚀

♻️پشتیبانی رسمی توسط شرکت‌هایی مثل Microsoft, NVIDIA, Meta و Intel 💼


📦 مثال:
در پایتورچ، می‌توان مدل را با یک خط کد به ONNX صادر کرد:

torch.onnx.export(model, inputs, "model.onnx")

و سپس با ONNX Runtime در هر محیطی اجرا کرد:

import onnxruntime as ort  
session = ort.InferenceSession("model.onnx")  
outputs = session.run(None, {"input": data})

🌍 کاربردهای رایج:

♻️به‌کارگیری مدل‌ها در سیستم‌های صنعتی
♻️اجرای مدل‌ها روی وب یا موبایل
♻️ترکیب مدل‌های ساخته‌شده در فریم‌ورک‌های مختلف


📌 فرمتONNX پلی است میان آموزش و استقرار —
به کمک آن، مدل شما می‌تواند از آزمایشگاه تا دنیای واقعی سفر کند 🌐

@rss_ai_ir
#هوش_مصنوعی #ONNX #DeepLearning #AI #PyTorch #TensorFlow #MachineLearning #EdgeAI

🚀 NVIDIA ModelOpt —
ابزار متن‌باز برای بهینه‌سازی مدل‌های هوش مصنوعی در محیط تولید (Production) ⚙️

🔹 جعبه ابزار ModelOpt که بخشی از اکوسیستم TensorRT است، یک جعبه‌ابزار متن‌باز جدید از NVIDIA برای افزایش سرعت و کارایی مدل‌ها در مرحله استقرار واقعی است.

✨ ویژگی‌ها و قابلیت‌ها:

بهینه‌سازی سرتاسری (End-to-End) شامل:
🔸 Quantization
🔸 Pruning
🔸 Distillation
🔸 Speculative Decoding
🔸 Sparsity

پشتیبانی کامل از مدل‌های PyTorch, Hugging Face, ONNX

سازگار با فریم‌ورک‌های NeMo, Megatron-LM, HF Accelerate

قابلیت استقرار در SGLang, TensorRT-LLM, TensorRT, و vLLM


📦 مخزن رسمی GitHub:

👉 github.com/NVIDIA/TensorRT-Model-Optimizer

این ابزار به مهندسان یادگیری ماشین کمک می‌کند تا مدل‌های خود را بدون کاهش دقت، تا چندین برابر سریع‌تر در GPU مستقر کنند.

@rss_ai_ir
#NVIDIA #ModelOpt #TensorRT #AI #DeepLearning #هوش_مصنوعی #بهینه_سازی_مدل

🔥 خلاصه کنفرانس PyTorchCon 2025 در سان‌فرانسیسکو

⛔️کنفرانس امسال PyTorch واقعاً پر از دستاوردهای مهم بود. در اینجا چهار مورد از جالب‌ترین و کاربردی‌ترین ابزارهایی که در این چند روز معرفی شدند را مرور می‌کنیم 👇
---

1️⃣ 🧠 Helion —
❌زبان جدید برنامه‌نویسی مخصوص PyTorch
✳️زبان جدیدی که روی پایه پایتون ساخته شده تا بتوانید هسته‌های پردازشی (kernels) را مستقیماً بنویسید.
همچنین Helion کد را به‌صورت خودکار به Triton کامپایل می‌کند، یعنی بدون دردسر می‌توانید کرنل‌های GPU بهینه بنویسید.

🔗 Helion

---

2️⃣ ⚙️ torchcomms —
❌کتابخانه ارتباطی جدید برای یادگیری توزیع‌شده
✳️کتابخانه‌ای مخصوص آموزش مدل‌ها روی سخت‌افزارهای عظیم (تا ۱۰۰هزار GPU 😮).
هدف اصلی: بهینه‌سازی ارتباط بین نودها و کاهش تاخیر در سیستم‌های بزرگ.
🔗 torchcomms

---

3️⃣ 📱 ExecuTorch 1.0 —
❌ اجرای مدل‌ها روی موبایل و گجت‌ها

✳️راه‌حلی کامل برای اجرای مدل‌های PyTorch روی موبایل، ساعت‌های هوشمند و دستگاه‌های لبه‌ای (Edge Devices).
هم از نظر سرعت، هم مصرف حافظه و انرژی، فوق‌العاده بهینه شده.
🔗 ExecuTorch 1.0

---

4️⃣ 🤖 torchforge —
❌کتابخانه‌ای برای یادگیری تقویتی (RL) و ساخت Agentها
✳️همچنین PyTorch با Torchforge مسیر تازه‌ای در هوش مصنوعی عامل‌محور باز کرده است.
ساختارش به گونه‌ای طراحی شده که بخش الگوریتمی از زیرساخت جداست — تا تمرکز فقط روی منطق یادگیری باشد.
🔗 torchforge

---

📊 نتیجه:
همچنین PyTorch به‌وضوح دارد از یک فریم‌ورک آموزشی به اکوسیستم کامل AI برای تولید، استقرار و بهینه‌سازی مدل‌ها تبدیل می‌شود.
دو روز فوق‌العاده پربار برای جامعه هوش مصنوعی 🌍

@rss_ai_ir
#PyTorch #Helion #ExecuTorch #torchforge #AI #DeepLearning #ML #PyTorchCon

⚡️ LMMs Engine –
موتور واحد برای آموزش مدل‌های چندوجهی (Multimodal)

فریم‌ورکی ساده، منعطف و قدرتمند از LMMs-Lab برای آموزش مدل‌هایی که هم‌زمان می‌توانند متن، تصویر، صدا و ویدیو را درک کنند — همه در یک محیط یکپارچه 🎛️

🎯 ویژگی‌ها:

پشتیبانی از بیش از ۱۹ معماری مختلف:

🧠 Qwen3-VL:
پردازش تصویر با رزولوشن اصلی و کانتکست بیش از ۱۰٬۰۰۰ توکن

🎧 Qwen2.5-Omni:
مدل واحد برای متن، تصویر و صوت

🎥 WanVideo:
تولید ویدیو از متن، تصویر یا ویدیو (T2V, I2V, V2V)

🌫 dLLM:
مدل‌های زبانی دیفیوژنی

🪄 LLaVA-OneVision، Bagel، SiT، RAE-SigLip و دیگر مدل‌های پیشرفته



📜 لایسنس: Apache 2.0 — قابل‌استفاده حتی در پروژه‌های تجاری

🔗 گیت‌هاب:
github.com/EvolvingLMMs-Lab/lmms-engine

@rss_ai_ir
#AI #Multimodal #OpenSource #DeepLearning #LLM #LMMsEngine

🌱 PlanarTrack:
مرجع بزرگ برای رهگیری صفحات (Planar Tracking) 🌱

👉 بنچمارک PlanarTrack یک دیتاست و بنچمارک بزرگ و باکیفیت برای رهگیری صفحات در ویدیوها است — شامل ۱,۱۵۰ توالی با بیش از ۷۳۳ هزار فریم، که دربرگیرنده‌ی ۱۰۰۰ ویدیو کوتاه‌مدت و ۱۵۰ ویدیو بلندمدت است.

این مجموعه برای آموزش و ارزیابی الگوریتم‌های رهگیری دقیق در سطوح مختلف طراحی شده و چالشی جدید برای مدل‌های بینایی ماشین محسوب می‌شود. 💙

🔗 مرجع‌ها:
📘 Review
📄 Paper (arXiv)
💻 Repo
🌐 Project
🧩 Dataset

#AI #ComputerVision #Tracking #PlanarTrack #Dataset #Benchmark #DeepLearning #ML #هوش_مصنوعی #بینایی_ماشین

🎓🤖 دوره جدید دانشگاه استنفورد: Transformers & Large Language Models

دانشگاه Stanford دوره‌ای تازه با عنوان
«Transformers & Large Language Models»
منتشر کرده است

— تدریس توسط برادران Amidi، و سه جلسه‌ی اول آن به‌صورت رایگان در YouTube در دسترس است 🎥💡

این دوره یکی از منسجم‌ترین و به‌روزترین منابع برای درک سیستماتیک مدل‌های زبانی بزرگ (LLM) به شمار می‌آید.

📘 سرفصل‌ها:
• مبانی Transformer: توکن‌سازی، تعبیه‌ها (Embeddings)، Attention و معماری کلی
• مفاهیم اصلی LLM: Mixture of Experts، انواع روش‌های دیکدینگ
• آموزش و فاین‌تیون: SFT، RLHF، LoRA
• ارزیابی مدل‌ها: LLM/VLM-as-a-judge و بهترین روش‌های سنجش
• ترفندها و بهینه‌سازی‌ها: RoPE، تقریب attention، کوانتیزه‌سازی
• استدلال و مقیاس‌پذیری در آموزش و استنتاج
• رویکردهای Agentic: RAG و Tool Calling

🧠 اگر از قبل با مدل‌های زبانی آشنا هستید، این دوره فرصت عالی برای مرور عمیق و پیاده‌سازی از صفر است.

🔗 cme295.stanford.edu/syllabus

📡 @rss_ai_ir
#هوش_مصنوعی #استنفورد #LLM #Transformer #آموزش #DeepLearning #RAG #LoRA #RLHF #AI

💡⚡ انقلابی در پردازش تصویر با فوتون‌ها، نه الکترون‌ها!

پژوهشگران دانشگاه Tsinghua نخستین ماژول محاسبات نوری جهان را معرفی کرده‌اند:
🌀 OFE² — Optical Feature Extraction Engine

در این سیستم، به‌جای عبور جریان الکترونی، فوتون‌ها از میان عناصر دیفرکتیو و مدولاتورهای نوری عبور می‌کنند.
در این مسیر، فاز و دامنه‌ی نور طوری تنظیم می‌شود که محاسبات ریاضی مورد نظر (مثل convolutions یا فیلترهای ویژگی) به‌صورت کاملاً نوری انجام شود — بدون هیچ مدار الکترونیکی 💥


---

🔬 مزیت کلیدی:
از آن‌جا که نور با سرعت بسیار بالاتر حرکت می‌کند و گرما تولید نمی‌کند،
✅ فرکانس کاری بسیار بالاتر
✅ مصرف انرژی صدها برابر کمتر
✅ و زمان پردازش تا ۱۰۰۰ برابر سریع‌تر از تراشه‌های الکترونیکی معمولی به‌دست می‌آید!


---

📸 در مقاله‌ی منتشرشده، تیم نشان داده که OFE² می‌تواند روی وظیفه‌ی واقعی استخراج ویژگی تصویر (Image Feature Extraction) اجرا شود.
به عبارت دیگر، می‌شود روی این تراشه مستقیماً عملیات‌هایی مانند segmentation را انجام داد — کاملاً در دامنه‌ی نوری (Optical Domain)، بدون نیاز به محاسبات هیبریدی 🧠💡


---

⚙️ هنوز این فناوری در مرحله‌ی تحقیقاتی است، اما نتایج اولیه نشان می‌دهد که عملکرد آن قابل مقایسه با CNNهای الکترونیکی است — با کسری از انرژی و زمان.
اگر مقیاس‌پذیری آن تحقق یابد، این می‌تواند فصل تازه‌ای در پردازش نوری هوش مصنوعی باشد.

📄 [Paper — Tsinghua University, 2025]

📡 @rss_ai_ir
#هوش_مصنوعی #OpticalComputing #Tsinghua #OFE2 #Photonics #AI #DeepLearning #اپتوالکترونیک #CNN