✨ استارتاپ Thinking Machines به رهبری میرا موراتی بهطور غیرمنتظره بلاگ تحقیقاتی خودش رو با نام Connectionism راهاندازی کرده و اولین مقاله هم منتشر شده.
🔹 انتخاب نام Connectionism بیدلیل نیست؛ در دهه ۸۰ میلادی شاخهای از هوش مصنوعی با همین نام به مطالعه شباهت شبکههای عصبی و مغز زیستی میپرداخت.
📌 اولین مقاله بلاگ موضوعی عمیق و کمتر دیدهشده رو بررسی میکنه: تکرارپذیری (Determinism) در پاسخهای مدلهای زبانی بزرگ (LLM).
🔑 نکات اصلی مقاله:
✳️میدونیم پاسخهای LLM ذاتاً تصادفی هستن، چون انتخاب توکن بعدی فقط بر اساس بیشترین احتمال نیست و هایپرپارامتر "دمـا" (Temperature) تعیین میکنه چقدر خروجی متنوع یا ثابت باشه.
✳️حتی وقتی دما = 0 باشه (یعنی باید همیشه خروجی یکسان باشه)، باز هم مدلها جوابهای مختلف تولید میکنن.
✳️دلیل این موضوع برخلاف تصور رایج (محاسبات موازی GPU) چیز دیگهایه: تغییر اندازه batch هنگام پردازش درخواستهای همزمان کاربران.
✳️وقتی batch تغییر میکنه، ترتیب و بهینهسازی محاسبات در GPU هم تغییر میکنه و همین باعث اختلافات جزئی در مقادیر میشه. این اختلافات میتونن در نهایت انتخاب توکن رو عوض کنن و مسیر خروجی کاملاً متفاوت بشه.
🛠 تیم TM راهحلی برای این مشکل ارائه کرده: طراحی batch-invariant kernels که باعث میشه نتایج حتی با تغییر اندازه batch هم پایدار بمونن.
💡 این برای کاربران عادی شاید مهم نباشه، اما در حوزههایی مثل دیباگ مدلها، تست Alignment و امنیت یک قابلیت کلیدی محسوب میشه.
🔗 جزئیات کامل همراه با فرمولها و کد در بلاگ رسمی:
👉 thinkingmachines.ai/blog/defeating-nondeterminism-in-llm-inference
#AI #LLM #Determinism #Connectionism #ThinkingMachines #میرا_موراتی
@rss_ai_ir
🔹 انتخاب نام Connectionism بیدلیل نیست؛ در دهه ۸۰ میلادی شاخهای از هوش مصنوعی با همین نام به مطالعه شباهت شبکههای عصبی و مغز زیستی میپرداخت.
📌 اولین مقاله بلاگ موضوعی عمیق و کمتر دیدهشده رو بررسی میکنه: تکرارپذیری (Determinism) در پاسخهای مدلهای زبانی بزرگ (LLM).
🔑 نکات اصلی مقاله:
✳️میدونیم پاسخهای LLM ذاتاً تصادفی هستن، چون انتخاب توکن بعدی فقط بر اساس بیشترین احتمال نیست و هایپرپارامتر "دمـا" (Temperature) تعیین میکنه چقدر خروجی متنوع یا ثابت باشه.
✳️حتی وقتی دما = 0 باشه (یعنی باید همیشه خروجی یکسان باشه)، باز هم مدلها جوابهای مختلف تولید میکنن.
✳️دلیل این موضوع برخلاف تصور رایج (محاسبات موازی GPU) چیز دیگهایه: تغییر اندازه batch هنگام پردازش درخواستهای همزمان کاربران.
✳️وقتی batch تغییر میکنه، ترتیب و بهینهسازی محاسبات در GPU هم تغییر میکنه و همین باعث اختلافات جزئی در مقادیر میشه. این اختلافات میتونن در نهایت انتخاب توکن رو عوض کنن و مسیر خروجی کاملاً متفاوت بشه.
🛠 تیم TM راهحلی برای این مشکل ارائه کرده: طراحی batch-invariant kernels که باعث میشه نتایج حتی با تغییر اندازه batch هم پایدار بمونن.
💡 این برای کاربران عادی شاید مهم نباشه، اما در حوزههایی مثل دیباگ مدلها، تست Alignment و امنیت یک قابلیت کلیدی محسوب میشه.
🔗 جزئیات کامل همراه با فرمولها و کد در بلاگ رسمی:
👉 thinkingmachines.ai/blog/defeating-nondeterminism-in-llm-inference
#AI #LLM #Determinism #Connectionism #ThinkingMachines #میرا_موراتی
@rss_ai_ir
🎉12❤11👏9👍6🔥6😁5🥰4🤔1🙏1🕊1
🚀 خبر داغ از دنیای هوش مصنوعی
استارتاپ Thinking Machines (تأسیسشده توسط چهرههای سابق OpenAI از جمله میرا موراتی و جان شولمن) اولین محصول خود را معرفی کرد: Tinker ✨
🔹 چی هست؟
پلتفرم Tinker یک پلتفرم سادهسازیشده برای فاینتیونینگ مدلهای بزرگه، بدون نیاز به زیرساختهای سنگین.
🔹 ویژگیها
ارائه API برای فاینتیون مدلهایی مثل Llama و Qwen 🦙
اتوماسیون کامل در راهاندازی خوشههای GPU، پایداری آموزش و دیپلوی 🚦
امکان خروجی گرفتن از مدلهای سفارشی برای استفادهی پژوهشگران 📦
رایگان در نسخه بتا (با برنامهریزی برای درآمدزایی در آینده) 💰
هدف: دموکراتیزه کردن دسترسی به ابزارهایی که قبلاً فقط در دسترس غولهای فناوری بودن 🌍
🔹 اهمیت
پلتفرمTinker نشون میده رقابت آیندهی AI فقط در ساخت مدلهای بزرگتر نیست، بلکه در انطباق و شخصیسازی مدلهای موجود خواهد بود.
البته همین موضوع نگرانیهایی درباره ایمنی و دستکاری گستردهتر مدلها ایجاد کرده ⚠️
📊 ارزشگذاری استارتاپ: ۱۲ میلیارد دلار
سرمایه اولیه: ۲ میلیارد دلار
---
✍️ بهنوعی Tinker میخواد تبدیل بشه به قطعهی کلیدی زیرساخت هوش مصنوعی در جهان.
🔖 #AI #ThinkingMachines #FineTuning #Tinker #LLM
استارتاپ Thinking Machines (تأسیسشده توسط چهرههای سابق OpenAI از جمله میرا موراتی و جان شولمن) اولین محصول خود را معرفی کرد: Tinker ✨
🔹 چی هست؟
پلتفرم Tinker یک پلتفرم سادهسازیشده برای فاینتیونینگ مدلهای بزرگه، بدون نیاز به زیرساختهای سنگین.
🔹 ویژگیها
ارائه API برای فاینتیون مدلهایی مثل Llama و Qwen 🦙
اتوماسیون کامل در راهاندازی خوشههای GPU، پایداری آموزش و دیپلوی 🚦
امکان خروجی گرفتن از مدلهای سفارشی برای استفادهی پژوهشگران 📦
رایگان در نسخه بتا (با برنامهریزی برای درآمدزایی در آینده) 💰
هدف: دموکراتیزه کردن دسترسی به ابزارهایی که قبلاً فقط در دسترس غولهای فناوری بودن 🌍
🔹 اهمیت
پلتفرمTinker نشون میده رقابت آیندهی AI فقط در ساخت مدلهای بزرگتر نیست، بلکه در انطباق و شخصیسازی مدلهای موجود خواهد بود.
البته همین موضوع نگرانیهایی درباره ایمنی و دستکاری گستردهتر مدلها ایجاد کرده ⚠️
📊 ارزشگذاری استارتاپ: ۱۲ میلیارد دلار
سرمایه اولیه: ۲ میلیارد دلار
---
✍️ بهنوعی Tinker میخواد تبدیل بشه به قطعهی کلیدی زیرساخت هوش مصنوعی در جهان.
🔖 #AI #ThinkingMachines #FineTuning #Tinker #LLM
🧠 Thinking Machines معرفی کرد:
On-Policy Distillation —
روشی جدید برای آموزش مدلهای زبانی که بهجای حفظ کردن، یاد میگیرند فکر کنند.
در این روش نوآورانه از آزمایشگاه Thinking Machines Lab، مدل کوچکتر دیگر فقط پاسخهای مدل بزرگتر را تکرار نمیکند؛ بلکه خودش تلاش میکند مسئله را حل کند، سپس «استاد» (مدل بزرگتر) مسیر منطق و خطاهایش را تحلیل کرده و راهنماییاش میکند.
به این ترتیب، مدل کوچکتر نهتنها دانش بلکه روش تفکر و استدلال مدل بزرگتر را نیز فرا میگیرد. 🧩
📊 نتایج آزمایشها (روی مسائل منطقی و ریاضی):
♻️مدل کوچک پس از آموزش با on-policy distillation به دقتی نزدیک به مدل بزرگتر رسید.
♻️هزینههای محاسباتی چندین برابر کاهش یافت.
♻️مدل توانست خطاهای خودش را بهتر درک کند و در مواجهه با مسائل جدید پایدارتر عمل کند.
💡 چرا این مهم است؟
در روشهای سنتی، مدل فقط پاسخ را تقلید میکند (مثل حفظ کردن).
اما در اینجا مدل مانند انسان یاد میگیرد — تجربه میکند، اشتباه میکند و اصلاح میشود.
🔹 روش جدید تعادلی هوشمند بین یادگیری تقویتی (RL) و دانش تقطیری (KD) ایجاد میکند.
🔹 بدون نیاز به محیطهای پیچیده RL، مدل میتواند بهصورت خودکار و با هزینهی کمتر، یادگیری تطبیقی انجام دهد.
🔹 نتیجه: مدلهای کوچکتر که تقریباً مثل مدلهای بزرگ فکر میکنند، اما سریعتر، ارزانتر و مناسب برای edge devices، رباتها و سیستمهای محلی خصوصی هستند.
📘 مطالعهی بیشتر:
thinkingmachines.ai/blog/on-policy-distillation/
@rss_ai_ir
#AI #LLM #ThinkingMachines #DeepLearning #MachineLearning #Distillation #Innovation
On-Policy Distillation —
روشی جدید برای آموزش مدلهای زبانی که بهجای حفظ کردن، یاد میگیرند فکر کنند.
در این روش نوآورانه از آزمایشگاه Thinking Machines Lab، مدل کوچکتر دیگر فقط پاسخهای مدل بزرگتر را تکرار نمیکند؛ بلکه خودش تلاش میکند مسئله را حل کند، سپس «استاد» (مدل بزرگتر) مسیر منطق و خطاهایش را تحلیل کرده و راهنماییاش میکند.
به این ترتیب، مدل کوچکتر نهتنها دانش بلکه روش تفکر و استدلال مدل بزرگتر را نیز فرا میگیرد. 🧩
📊 نتایج آزمایشها (روی مسائل منطقی و ریاضی):
♻️مدل کوچک پس از آموزش با on-policy distillation به دقتی نزدیک به مدل بزرگتر رسید.
♻️هزینههای محاسباتی چندین برابر کاهش یافت.
♻️مدل توانست خطاهای خودش را بهتر درک کند و در مواجهه با مسائل جدید پایدارتر عمل کند.
💡 چرا این مهم است؟
در روشهای سنتی، مدل فقط پاسخ را تقلید میکند (مثل حفظ کردن).
اما در اینجا مدل مانند انسان یاد میگیرد — تجربه میکند، اشتباه میکند و اصلاح میشود.
🔹 روش جدید تعادلی هوشمند بین یادگیری تقویتی (RL) و دانش تقطیری (KD) ایجاد میکند.
🔹 بدون نیاز به محیطهای پیچیده RL، مدل میتواند بهصورت خودکار و با هزینهی کمتر، یادگیری تطبیقی انجام دهد.
🔹 نتیجه: مدلهای کوچکتر که تقریباً مثل مدلهای بزرگ فکر میکنند، اما سریعتر، ارزانتر و مناسب برای edge devices، رباتها و سیستمهای محلی خصوصی هستند.
📘 مطالعهی بیشتر:
thinkingmachines.ai/blog/on-policy-distillation/
@rss_ai_ir
#AI #LLM #ThinkingMachines #DeepLearning #MachineLearning #Distillation #Innovation
❤1👍1