این #مقاله یک روش برای generative future video modeling معرفی می‌کند؛ یعنی مدلی که با دیدن چند فریم گذشته، چند آینده محتمل را پیش‌بینی کند. ایده اصلی این است که به‌جای نمایش هر فریم با تعداد زیادی توکن فضایی، تغییر بین دو فریم پیاپی را فقط با یک توکن دلتا نمایش بدهیم. این توکن‌ساز DeltaTok نام دارد و مدل نهایی DeltaWorld است.

مدل‌های پیش‌بینی آینده معمولاً دو مشکل دارند: یا discriminative هستند و فقط یک آینده میانگین‌شده تولید می‌کنند، یا اگر مولد باشند، مثل diffusion یا autoregressive video models، بسیار پرهزینه‌اند و برای هر نمونه آینده به چندین forward pass نیاز دارند. مقاله می‌گوید در کاربردهایی مثل خودرو خودران، یک پیش‌بینی واحد کافی نیست، چون آینده چندین حالت ممکن دارد.

ایده DeltaTok به‌جای فشرده‌کردن کل فریم، فقط تفاوت ویژگی‌های دو فریم پیاپی را فشرده می‌کند. فریم‌ها ابتدا با یک Vision Foundation Model مثل DINOv3 به فضای feature تبدیل می‌شوند؛ سپس DeltaTok از ویژگی‌های فریم قبلی و فعلی، یک delta token می‌سازد که نشان می‌دهد چگونه باید ویژگی‌های فریم قبلی به فریم فعلی تبدیل شوند. دیکودر هم با گرفتن فریم قبلی و همین توکن، ویژگی‌های فریم جدید را بازسازی می‌کند.

اگر پیش‌بینی در فضای feature انجام شود و فقط تغییر بین فریم‌ها مدل شود، یک توکن برای هر فریم می‌تواند کافی باشد. نتیجه، مدلی است که چند آینده محتمل تولید می‌کند، اما بسیار سبک‌تر و سریع‌تر از world modelهای مولد رایج است.

🔸 A Frame is Worth One Token: Efficient Generative World Modeling with Delta Tokens

#مدلهای_بنیادی #مدل_مولد #هوش_مصنوعی #بینایی_مدل_بنیادی #پردازش_تصویر #پردازش_فیلم

✅ @AI_DeepMind
🔸 @AI_Person

فروش فیلترشکن قابل ارایه و پشتیبانی برای تمام پلتفرمهای هوش مصنوعی و ... بدون ضریب

۱۰ گیگ 170
۱۵گیگ 255
۲۵گیگ 425
۴۵گیگ 765
۹۰ گیگ 1530

فروش فیلترشکن OpenVPN قابل ارایه و پشتیبانی حتی در زمان نت ملی برای تمام پلتفرمهای هوش مصنوعی و ... بدون ضریب

مناسب همه فعالیتها قابل استفاده در زمان قطعی نت، چند کاربره و یک ماهه

۱۱۰ گیگ تعداد کاربر نامحدود 3700
55 گیگ تعداد کاربر نامحدود 2700
حجم و تعداد کاربر نامحدود ۷ میلیون

ا IP ثابت آمریکا، آلمان، ترکیه موجود هست.

مناسب استفاده شخصی، شرکتها و استارت آپ ها، تریدرها و دارای IP ثابت

حداکثر سرعت قابل ارایه 16 مگابایت

@Farzadh1h

در مدل‌های Transformer، برای هر توکن تولیدشده، بردارهای Key و Value ذخیره می‌شوند تا مدل برای توکن‌های بعدی دوباره همه چیز را محاسبه نکند. این همان روش KV cache در این #مقاله است. اما هرچه خروجی طولانی‌تر شود، این cache بزرگ‌تر می‌شود و ممکن است GPU از حافظه خالی شود؛ مثال مقاله می‌گوید Qwen3-32B با وزن‌های ۴ بیتی روی GPU 24GB حدوداً بعد از ۲۴ هزار توکن به OOM می‌رسد.

روش‌هایی مثل StreamingLLM، H2O و SnapKV سعی می‌کنند فقط توکن‌های مهم را نگه دارند: توکن‌های ابتدایی موسوم به attention sinks، توکن‌های اخیر، و توکن‌هایی که attention زیادی گرفته‌اند یا «heavy hitters» هستند. این روش‌ها در بنچمارک‌ها مفیدند، اما اغلب فرض می‌کنند می‌توانند امتیازهای attention را ببینند.
پیشنهاد مقاله حاضر استفاده از TriAttention به‌جای نگاه کردن به attention scoreهای runtime، از هندسه بردارهای Q/K قبل از RoPE استفاده می‌کند تا پیش‌بینی کند کدام KV entry مهم است. چون به attention score نیاز ندارد، با FlashAttention تعارض ندارد. سپس با تکنیک‌هایی مثل forward-packing compaction یا hole-filling توکن‌های باقی‌مانده را فشرده و کنار هم می‌چیند تا blockهای کامل واقعاً آزاد شوند.

دلیل اینکه این مقاله خوب است چون که فشرده‌سازی KV cache فقط یک مسئله الگوریتمی نیست؛ باید با kernelها، allocatorها و نحوه مدیریت واقعی حافظه GPU سازگار باشد. TriAttention موفق‌تر است چون هم نیاز به attention scoreهای غیرقابل‌دسترسی را حذف می‌کند، هم بعد از eviction حافظه را واقعاً compact می‌کند تا blockهای GPU آزاد شوند.

🔸 KV Cache Compression and Its Infra Problems

#هوش_مصنوعی #پردازش_زبان_طبیعی

✅ @AI_DeepMind
🔸 @AI_Person

اگر طلا دارین نفروشید درگیر جو حاضر نشید. خواستید بخرید ولی نفروشید. اگر میخواین بخرید طلا، مس، نفت بخرید البته روی پلتفرم های خارنجی

معرفی #کتاب های #یادگیری_عمیق و #یادگیری_ماشین :

✅ Data Mining and Machine Learning (Zaki)
👉link

✅ Deep Learning
Foundations and Concepts, 2023, (Bishop)
👉link

✅ Pattern Recognition and Machine Learning (Bishop)
👉link

✅ Deep Learning (Goodfellow )
👉 link

✅ Probabilistic Machine Learning_ An Introduction, 2022 , (Murphy)
👉link

✅ Probabilistic Machine Learning: Advanced Topics, 2023 , (Murphy)
👉link

✅ Dive into Deep Learning ,2023
👉link

✅ Linear Algebra and Optimization for Machine Learning
👉link

✅ Deep Learning with Python: Chollet, Francois
👉 link

✅ Deep Learning with PyTorch Step-by-Step
👉 link

✅ Mathematics for Machine Learning
👉 link

✅ Hands-On Data Preprocessing in Python
👉 link

✅ Mastering Machine Learning Algorithms
👉 link

✅ Generative Deep Learning (David Foster)
👉 link

اگر کتاب های مهم دیگه ای هم میشناسید لطفا زیر همین پست کامنت کنید.

#هوش_مصنوعی #آموزش #شبکه_عصبی #مدل_های_دیپ_لرنینگ

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

روش ExpRL، به‌جای اینکه پاسخ‌های مرجع انسانی را مثل SFT مستقیماً تقلید کند، از آن‌ها فقط به‌عنوان reward scaffolds استفاده می‌کند. یعنی مدل هنگام تولید پاسخ، راه‌حل مرجع را نمی‌بیند؛ فقط یک LLM judge بعداً خروجی مدل را با راه‌حل مرجع مقایسه می‌کند و به میزان پیشرفت جزئی یا کامل آن امتیاز dense می‌دهد. هدف این است که حتی پاسخ‌های ناقص، اگر قدم‌های مفیدی به سمت حل مسئله برداشته‌اند، تقویت شوند.

روش ExpRL نوع استدلال مدل را هم تغییر می‌دهد: رفتارهایی مثل verification، self-correction و backtracking بیشتر می‌شوند. برداشت مقاله این است که RL priming خوب فقط به معنی افزایش چند رفتار عمومی مثل «بررسی جواب» نیست؛ بلکه باید هم رفتارهای جست‌وجومحور را زیاد کند و هم پوشش روی مسیرهای حل خاص هر مسئله را بهتر کند. این کار با استفاده از راه‌حل‌های مرجع به‌عنوان معیار پاداش dense انجام می‌شود، نه به‌عنوان چیزی که مدل مستقیماً تقلید کند. نتیجه‌ی مقاله این است که این روش نسبت به SFT، GRPO sparse و self-distillation، initialization بهتری برای RL بعدی می‌سازد.

🔸 ExpRL: Exploratory RL for LLM Mid-Training

#یادگیری_تقویتی #مقاله

✅ @AI_DeepMind
🔸 @AI_Person

این گزارش TechCrunch درباره‌ی یک نقطه‌ی عطف در هوش مصنوعی در هوا-فضا است: برای اولین‌بار، یک ماهواره‌ی رصد زمین توانسته با کمک یک مدل بینایی-زبانی / VLM خودش در مدار تشخیص دهد دنبال چه چیزی بگردد، بدون اینکه تصویرها اول به زمین دانلود شوند و انسان‌ها یا سیستم‌های زمینی آن‌ها را تحلیل کنند. این اتفاق در آوریل ۲۰۲۶ روی ماهواره‌ی YAM-9 شرکت Loft Orbital رخ داده است.

ماهواره‌ای در مدار، با استفاده از Gemma 3 گوگل دیپ‌مایند و نرم‌افزار NAVI-Orbital ناسا JPL، توانسته به queryهای زبان طبیعی پاسخ دهد؛ مثلاً «محیط طبیعی کنار منطقه‌ی توسعه‌یافته‌ی انسانی را پیدا کن» یا «زیرساخت اطراف مراکز راه‌آهن را تشخیص بده». یعنی ماهواره فقط تصویر خام جمع نکرده، بلکه خودش در فضا تصویر را فهمیده و موارد مهم را جدا کرده است.
در آینده، به‌جای اینکه بگویی «از این منطقه عکس بگیر و بعداً روی زمین بررسی می‌کنیم»، می‌توانی به ماهواره بگویی:

«این مرز را پایش کن و اگر چیز مشکوکی دیدی خبر بده.»
یا:
«اطراف خطوط راه‌آهن دنبال زیرساخت خاص بگرد.»

ا Paul Lasserre از Loft Orbital می‌گوید این فناوری راه را برای always-on patrol layers in space باز می‌کند؛ یعنی لایه‌هایی از ماهواره‌ها که دائماً مناطق مشخصی را پایش می‌کنند و با منطق زبانی و تصویری تصمیم می‌گیرند چه چیزی مهم است.

این خبر فقط درباره‌ی «یک مدل روی یک ماهواره» نیست. پیام بزرگ‌تر این است که مسیر فناوری از ماهواره‌های تصویربردار به سمت ماهواره‌های فهمنده و تصمیم‌گیرنده می‌رود. یعنی سنسور فضایی دیگر فقط چشم نیست؛ کم‌کم مغز کوچک هم پیدا می‌کند.

در کوتاه‌مدت، کاربردش کاهش حجم داده و سریع‌تر کردن تحلیل است. در بلندمدت، می‌تواند پایه‌ای برای شبکه‌هایی از ماهواره‌های هوشمند، دستیارهای فضانوردی، پایش بلادرنگ زمین، و حتی زیرساخت محاسباتی بزرگ‌تر در فضا باشد. TechCrunch هم اشاره می‌کند که تجربه‌ی اجرای مدل‌های کوچک‌تر در مدار، برای آینده‌ی compute بزرگ‌تر در فضا، مخصوصاً در مدیریت انرژی و حافظه، درس‌های مهمی خواهد داشت.

🔸 A satellite just learned to find things on its own — here’s what that means

#مدل_بینایی #مدل_زبانی #بینایی_زبانی #هوا_فضا #پردازش_تصویر #مقاله

✅ @AI_DeepMind
🔸 @AI_Person

چطور می‌شود RNNها را طوری آموزش داد که مزیت حافظه‌ی فشرده و ثابت RNN را داشته باشند، ولی مشکل اصلی آموزش RNN یعنی Backpropagation Through Time یا BPTT را دور بزنند؟ مقاله روش Supervised Memory Training / SMT را پیشنهاد می‌کند.

مقاله می‌گوید به‌جای اینکه RNN را در زمان unroll کنیم و گرادیان را از آخر توالی تا اول برگردانیم، اول با یک مدل Transformer encoder-decoder یاد می‌گیریم «حافظه‌ی مناسب در هر لحظه» چیست. در آموزش، RNN روی حافظه‌های تولیدشده توسط encoder تمرین کرده، اما در inference باید با حافظه‌های خودش ادامه بدهد. خطاهای کوچک می‌توانند در طول rollout جمع شوند و باعث drift شوند.
روش SMT یک روش برای pretrain کردن RNNهای nonlinear بدون BPTT است. به‌جای backpropagation در طول کل زمان، یک Transformer حافظه‌های هدف را می‌سازد و RNN با supervised learning یاد می‌گیرد حافظه را یک قدم آپدیت کند. بعد DMT کمک می‌کند RNN هنگام استفاده از حافظه‌های خودش دچار drift نشود. نتیجه‌ی مقاله این است که این روش در وابستگی‌های بلندمدت، پایداری گرادیان، استفاده از حافظه و کارایی sequential compute بهتر از BPTT عمل می‌کند؛ بنابراین می‌تواند راهی برای scale کردن مدل‌هایی باشد که مثل RNN حافظه‌ی فشرده و ثابت از گذشته می‌سازند.

🔸 Pretraining Recurrent Networks without Recurrence

#مقاله #شبکه_عصبی_بازگشتی

✅ @AI_DeepMind
🔸 @AI_Person

مدل‌های video generation می‌توانند نوعی world model باشند، چون آینده‌ی یک صحنه را شبیه‌سازی می‌کنند. اما مشکل این است که معمولاً برای تولید ویدئوی درست به یک prompt خیلی دقیق نیاز دارند؛ مثلاً فقط گفتن «هویج‌ها را خرد کن» کافی نیست، بلکه باید مرحله‌به‌مرحله توضیح داد چه چیزی حرکت کند و چه اتفاقی بیفتد. مقاله می‌گوید این باعث می‌شود چنین مدل‌هایی مستقیماً برای planning و decision-making مناسب نباشند، چون reasoning هنوز بیرون از مدل و معمولاً توسط یک LLM/VLM انجام می‌شود.

راه ساده‌ی دیگر، supervised fine-tuning روی زوج‌های «دستور داد و ویدئوی اجرای موفق تولید گردد» است، اما جمع‌آوری چنین داده‌ای برای کارهای متنوع، بلندمدت و دارای تعامل فیزیکی گران و سخت است. بنابراین مقاله دنبال راهی است که بدون ویدئوهای برچسب‌خورده‌ی task-execution، توانایی اجرای task را از خود مدل ویدئویی بیرون بکشد.

برای ساخت داده، مقاله از یک VLM استفاده می‌کند: از روی تصویر بدون برچسب، VLM یک task مناسب و یک solution prompt مفصل تولید می‌کند. سپس Demonstrator با آن solution prompt ویدئو تولید می‌کند و Executor یاد می‌گیرد از فقط task prompt کوتاه به همان نوع trajectory برسد. این یعنی دانش اجراییِ promptهای مفصل به یک interface کوتاه و instruction-conditioned منتقل می‌شود.

اگر Executor فقط Demonstrator را تقلید کند، سقف عملکردش محدود به آموزش دهنده می‌شود. مقاله برای عبور از این سقف از RL با بازخورد VLM استفاده می‌کند: Executor چند ویدئو تولید می‌کند، VLM بررسی می‌کند آیا task انجام شده یا نه، و rolloutهای بهتر تقویت می‌شوند. منطق مقاله این است که «ساختن ویدئوی درست» سخت‌تر از «تشخیص اینکه ویدئو task را انجام داده یا نه» است؛ بنابراین VLM می‌تواند به‌عنوان verifier یا reward model استفاده شود.

اما پاداش VLM به‌تنهایی خطرناک است، چون ممکن است reward hacking رخ دهد؛ مثلاً مدل شیء را غیرواقعی ظاهر یا ناپدید کند تا VLM فکر کند task انجام شده. برای همین WMSD یک Demonstrator anchor و یک consistency reward اضافه می‌کند تا مدل از دینامیک بصری و فیزیکی معقول دور نشود.

مقاله WMSD را روی DreamGen robotics benchmark هم ارزیابی می‌کند. نکته‌ی جالب این است که WMSD بدون task-specific supervision در بعضی معیارها با مدل‌های SFT‌شده رقابتی است. مثلاً در جدول DreamGen، نسخه‌ی WMSD مبتنی بر LTX-2 در معیار Object به 70.0 می‌رسد که از بسیاری baselineهای zero-shot و حتی بعضی SFTها بهتر است. در Behavior و Environment هم نسبت به LTX-2 zero-shot بهبود محسوسی دارد.

روش WMSD تلاش می‌کند مدل‌های ویدئویی را از “مولد ویدئو با prompt مفصل” به “world model دستورپذیر برای حل task” تبدیل کند. روش ابتدا با self-distillation دانش اجرایی Demonstrator را به Executor منتقل می‌کند، بعد با RL و بازخورد VLM، Executor را از تقلید صرف فراتر می‌برد. نتیجه‌ی اصلی مقاله این است که ترکیب on-policy self-distillation، reward مبتنی بر VLM، و anchor به teacher می‌تواند task-solving، درست‌بودن عامل، و سازگاری فیزیکی را بهتر کند، بدون نیاز به ویدئوهای task-execution برچسب‌خورده و بدون افزایش هزینه‌ی inference.

🔸 World Model Self-Distillation: Training World Models to Solve General Tasks

#یادگیری_تقویتی #مقاله #ایده_جذاب #مدل_مولد #رباتیک

✅ @AI_DeepMind
🔸 @AI_Person

این پلاگین Ponytail باعث میشه AI کدنویس کمتر over-engineer کنه و قبل از نوشتن کد زیاد، دنبال راه ساده‌تر بگرده.

یعنی ایده‌اش اینه که وقتی به AI میگی یه قابلیت بسازه، به‌جای اینکه سریع ۸۰ خط کد بنویسه، اول اینا رو چک کنه:

اصلاً لازم هست یا نه؟
توی standard library خود زبان هست؟
خود پلتفرم/مرورگر این قابلیت رو داره؟
توی dependencyهای فعلی پروژه هست؟
با یک خط کد حل میشه؟
فقط اگر هیچ‌کدوم نبود، کد مینیمال بنویسه.

مثالش هم میگه:
به‌جای اینکه AI بیاد date picker کامل با library و wrapper و logic بسازه،

بهترین کد، کدیه که اصلاً لازم نبوده بنویسی؛ چون کد کمتر یعنی باگ کمتر، نگهداری کمتر، هزینه کمتر.

🔸 Ponytail

#برنامه_نویسی #هوش_مصنوعی #منابع

✅ @AI_DeepMind
🔸 @AI_Person

پهنای باند رو اینقد اوردن پایین که باید ی سایتو چندبار رفرش کنی، مودم خاموش روشن کنی بابا توافق شد این اینترنت رو ول کنید دیگه.

آیا عامل‌های مبتنی بر LLM می‌توانند مثل انسان‌ها، از طریق زندگی اجتماعی، رابطه‌سازی، هدف‌گذاری، شکست، موفقیت، رقابت و تعامل بلندمدت رشد کنند؟

برای پاسخ، نویسندگان چارچوبی به نام Agentopia ساخته‌اند. در Agentopia، هر عامل یک شخصیت، حافظه، روابط اجتماعی، وضعیت روانی/اقتصادی/مهارتی و هدف‌های زندگی دارد. این عامل‌ها در چند جهان خیالی زندگی می‌کنند و طی زمان، برنامه‌ریزی می‌کنند، با دیگران ارتباط می‌گیرند، فعالیت فردی یا گروهی انجام می‌دهند و در پایان هر هفته تجربه‌هایشان را مرور می‌کنند. مقاله می‌گوید هر جهان شامل ۱۰۰ عامل است و شبیه‌سازی برای ۱۰ سال شبیه‌سازی‌شده اجرا می‌شود.

🔸 Agentopia: Long-Term Life Simulation and Learning in Agent Societies

#مدلهای_زبانی #پردازش_زبان_طبیعی #مقاله

✅ @AI_DeepMind
🔸 @AI_Person

فروش فیلترشکن قابل ارایه و پشتیبانی برای تمام پلتفرمهای هوش مصنوعی و ... بدون ضریب

هرگیگ برای نت همراه اول 7 تومن
هرگیگ برای همه خطوط 11 تومن

آفر ویژه کانال روی نت همراه اول 200 گیگ 200 تومن

اشتراک نامحدود یک ماهه و دو کاربره برای زمان عادی 800 تومن به صورت محدود قابل فروش هست


بهم پیام بدید
@Farzadh1h

طبق یک گزارش، گروه هکری ابابیل میناب در حمله سایبری به امریکا از سروروهاشون حدود ۵ گیگابایت داده سرقت‌شده، شامل نسخه‌های پشتیبان مربوط به متروی لس‌آنجلس، داده‌های سامانه‌های کنترل صنعتی، آرشیو ایمیل‌ها و اطلاعات قربانیان دیگر را افشا کرده بود. به خاطر جا گذاشن دیتا روی سرورهاشون اونو را در اختیار دیگران قرار دادن

https://hunt.io/blog/ababil-of-minab-iranian-hackers-exposed-la-metro-breach-open-directory

در این #مقاله ایده این است که وقتی LLMها برای شبیه‌سازی انسان در موقعیت‌های اقناعی، حقوقی، مذاکره‌ای یا ایمنی استفاده می‌شوند، نباید فقط با «linguistic persona» مثل قاضی، وکیل یا رأی‌دهنده هدایت شوند؛ بلکه باید بتوانند قاعده تصمیم‌گیری و به‌روزرسانی باور انسان را هم تقلید کنند. نویسندگان این چارچوب را Equation-to-Behavior می‌نامند: یعنی تبدیل معادلات مدل‌های شناختی و اقتصادی به رفتار قابل‌کنترل در LLM.

انسان‌ها در تعاملات راهبردی مثل قضاوت، مذاکره یا اقناع، همیشه مثل یک عامل کاملاً Bayesian رفتار نمی‌کنند. بعضی افراد به شکل بیزی باورشان را به‌روزرسانی می‌کنند، اما برخی دچار سوگیری‌هایی مثل محافظه‌کاری در تغییر باور، استدلال انگیزشی، بی‌توجهی به نرخ پایه، یا بیش‌وزن‌دهی به شواهد می‌شوند. مقاله می‌گوید شبیه‌سازی انسان با LLMها معمولاً این تنوع رفتاری را خوب پوشش نمی‌دهد، در حالی که برای ارزیابی ایمنی، آموزش عامل‌های اقناعی، و طراحی محیط‌های واقع‌گرایانه ضروری است.

دراین مقاله، به جای اینکه فقط بگویند « مثل یک قاضی محتاط رفتار کن»، به مدل می‌گویند دقیقاً طبق یک قاعده ریاضی مشخص باورش را بعد از دیدن شواهد تغییر دهد.

محیط آزمایش از آرشیو تاریخی Old Bailey Proceedings ساخته شده؛ یعنی پرونده‌های دادگاه جنایی مرکزی لندن از سال‌های 1674 تا 1913. هر پرونده به واحدهای شواهدی شکسته شده و با کمک Gemini-2.5-Pro برای قدرت شواهد و وابستگی میان شواهد برچسب‌گذاری شده است. سپس بازی اقناع به شکل «دادستان» در نقش Sender و «دادگاه» در نقش Receiver مدل می‌شود: دادستان تلاش می‌کند با ارائه شواهد، باور دادگاه درباره گناهکار بودن متهم را بالا ببرد؛ دادگاه باید convict یا acquit را انتخاب کند.

مقاله می‌گوید برای شبیه‌سازی واقع‌گرایانه انسان در بازی‌های اقناع، LLMها باید نه فقط «شخصیت» انسان، بلکه قواعد شناختی تغییر باور انسان را تقلید کنند؛ و نشان می‌دهد این کار با پرامپت برای مدل‌های بزرگ و با RL برای مدل‌های کوچک تا حد زیادی ممکن است.

🔸 Using Cognitive Models to Improve Language Model Simulation of Human Persuasion Games

#یادگیری_تقویتی #حقوق #مدل_زبانی

پ.ن: این مقاله برای رشته حقوق که قصد فعالیت در حیطه هوش مصنوعی دارند، مفید هست.

✅ @AI_DeepMind
🔸 @AI_Person

پژوهش جدید OpenAI با عنوان “Reinforcement learning towards broadly and persistently beneficial models” اشاره می‌کند که RL روی سناریوهای واقعیِ انسانی، اگر روی «صفات رفتاری مفید» آموزش داده شود، ممکن است فقط همان دامنه آموزشی را بهتر نکند، بلکه یک سبک رفتاری عمومی‌تر در مدل بسازد. OpenAI این را «generalization beyond the domains used for training» توصیف می‌کند.

مدل را فقط یاد نمی‌دهند که مثلاً در پزشکی جواب امن‌تر بدهد. به نظر می‌رسد مدل چیز عمیق‌تری یاد می‌گیرد: وقتی مطمئن نیست، ادعا نکند؛ وقتی اصلاح شد، عقب‌نشینی کند؛ دنبال راضی‌کردن کاربر به هر قیمت نرود؛ و برای گرفتن reward، shortcutهای خراب‌کننده نزند.
نکته مهم همان cross-domain transfer است.

ا OpenAI می‌گوید وقتی مدل را برای رفتارهای مفید در یک دامنه مثل health آموزش دادند، بهبود به دامنه‌های غیرپزشکی هم منتقل شد؛ از جمله ارزیابی‌های مربوط به reward hacking، deception و misalignment عمومی. همچنین وقتی health و science را از داده آموزشی حذف کردند، مدل همچنان روی ارزیابی‌های health بهتر شد؛ این یعنی احتمالاً مدل «قانون موضوعی پزشکی» یاد نگرفته، بلکه عادت‌های رفتاری عمومی‌تری مثل صداقت، فروتنی معرفتی، اصلاح‌پذیری و احتیاط را یاد گرفته است.

ا RL روی صفات مفید شاید به مدل «گرایش‌های رفتاری قابل‌انتقال» یاد بدهد، نه فقط قوانین ایمنی مخصوص یک حوزه.

خود OpenAI هم این را early proof of concept معرفی می‌کند، نه حل کامل مسئله alignment. آن‌ها می‌گویند این بهبودها در ۴۴ مورد از ۵۳ بنچمارک دیده شده و زیر فشار adversarial prompting هم پایدارتر بوده‌اند، ولی هنوز باید فهمید کدام صفات واقعاً علت این پایداری‌اند و چقدر در مدل‌ها و مقیاس‌های دیگر تکرار می‌شوند.

🔸 Reinforcement learning towards broadly and persistently beneficial models

#یادگیری_تقویتی #مقاله

✅ @AI_DeepMind
🔸 @AI_Person

واقعاً عجیب است که آرش سروری مدیرعامل‌های یک شرکت یا مجموعه‌ای از افراد اثرگذار را جمع کند و با عنوانی مثل «راهبری سینما و کارآفرینی» ببرد سراغ تحلیل و نقد فیلم، اما از افراد ایده‌دار و کسانی که نگاه تحلیلی به کسب‌وکار دارند دعوت نشود.

وقتی چنین جمعی شکل می‌گیرد، چرا نباید به کسانی گفته شود که اگر ایده‌ای در حوزه هوش مصنوعی، تولید محتوا، راه‌اندازی تبلیغات با AI یا کسب‌وکارهای نوآورانه دارید، بیایید اینجا تا ببینیم چه کاری می‌توان انجام داد؟ اینجا جمعی از مدیرعامل‌ها، فعالان و افراد دارای ظرفیت حضور دارند؛ می‌شود هم‌اندیشی کرد، ایده‌ها را شنید، افراد را به شرکت‌ها نزدیک کرد و شاید از دل همین گفت‌وگوها مسیر تازه‌ای برای اجرا و حمایت شکل بگیرد.

مسئله این است که در این حدود بیست سالی که آقای سروری با عنوان‌هایی مثل مجری، راهبر یا هر نام دیگری که برای نقش خود انتخاب کرده‌اند در این فضا حضور داشته‌اند، دست‌کم خروجی ملموس و قابل مشاهده‌ای برای اکوسیستم تکنولوژی ایران دیده نشده است. هر بار جلسه‌ای برگزار شده، عده‌ای خودشان را دعوت کرده‌اند، برای خودشان سخنرانی کرده‌اند و در نهایت هم اتفاق روشنی برای صاحبان ایده، استارت‌آپ‌ها یا جوانانی که دنبال مسیر اجرا هستند نیفتاده است.

اگر کسی واقعاً عنوان «راهبر» را برای خود به کار می‌برد، انتظار این است که نقش او فقط برگزار کردن جلسه و سخنرانی نباشد. نمونه اثرگذارترش می‌تواند شبیه کاری باشد که آقای علی رشیدی انجام داده؛ یعنی افرادی را دعوت کرده، از مدیرعامل‌ها و اسپانسرها استفاده کرده، صاحبان ایده را وارد فضا کرده، امکان ارائه پروپوزال ایجاد کرده و تلاش کرده افراد ایده‌پرداز را به شرکت‌ها، استارت‌آپ‌ها و سرمایه‌گذاران نزدیک کند. چنین چیزی یعنی راهبری عملی؛ یعنی اتصال دادن آدم‌ها، ایده‌ها و ظرفیت‌ها به هم.

اگر درباره آقای سروری هم چنین نمونه‌هایی وجود دارد، خوب است شفاف گفته شود. دقیقاً از کدام ایده حمایت شده؟ کدام فرد ایده‌پرداز به یک شرکت یا سرمایه‌گذار متصل شده؟ کدام پروژه از دل این جلسات بیرون آمده؟ کدام تحول واقعی در اکوسیستم تکنولوژی ایران رقم خورده است؟

ما می‌دانیم که جلسه بوده، عنوان بوده، سخنرانی بوده و برنامه برگزار شده است؛ اما پرسش اصلی این است که خروجی آن چه بوده؟ اگر این مدل راهبری در این بیست سال مسیر درست و مؤثری بود، امروز باید اثر آن را در رشد، پویایی و جان گرفتن اکوسیستم فناوری می‌دیدیم، نه اینکه هر سال این فضا بی‌رمق‌تر از سال قبل شود.

در نهایت نقد من به اصل گفت‌وگو، سینما یا تحلیل فیلم نیست؛ نقد من این است که وقتی چنین ظرفیت‌هایی کنار هم قرار می‌گیرند، چرا نباید از آن برای حمایت از ایده‌ها، مخصوصاً ایده‌های مرتبط با AI، تبلیغات هوشمند، تولید محتوا و کسب‌وکارهای نو استفاده کرد؟ چرا نباید این جلسات به جای تکرار حرف‌های همیشگی، به جایی برای شنیدن، وصل کردن، حمایت کردن و ساختن تبدیل شود؟

این #پادکست در خصوص دو مقاله بیس در زمینه مدل های دیفیوژن به نام های Score_SDE و EDM با NotebookLM تولید شده.

- Score-Based Generative Modeling through Stochastic Differential Equations

- Elucidating the Design Space of Diffusion-Based Generative Models

#NotebookLM
#Podcast
#Diffusion_Models
#Score_SDE

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
✅ @AI_Person

این هم اسلایدهای مربوط به دو مقاله فوق هست، که با NotebookLM تولید شده و بسیار عالی و با دقت فرمول های ریاضی مربوطه داخلش آورده شده است.

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
✅ @AI_Person

هر سایتی که میخواین web scraping را به صورت ررایگان میتوانید چندین سایت را به صورت همزمان و بدون پروکسی و رایگان و سریع انجام بده

https://github.com/ScrapeGraphAI/Scrapegraph-ai

#هوش_مصنوعی #برنامه_نویسی #منابع

✅ @AI_DeepMind
✅ @AI_Person