#انتقادی! 😁

توی لینکدین، پیامی میذارم که من دنبال کار هستم و لطفا حمایتم کنید تا پیامم دیده بشه و کار پیدا کنم. دعوت به مصاحبه میشم و بعدش به خاطر دیدن یکسری نکات منفی (مثلا، ناهماهنگی در جلسه مصاحبه)، از مصاحبه انصراف میدم و بلافاصله میام در همون لینکدین کل ماجرا رو با جزئیات اما بدون ذکر نام شرکت (اخلاق‌مدارم آخه!) شرح میدم.

دائم در پست‌های مختلف، غر می‌زنم؛ امروز رفتم سوپرمارکت، اسنپ گرفتم، سر کار این رو گفتم و ...

به این و اون هم لگد میزنم؛ دیگه الان هرکسی که از ننه باباش قهر کرده، استارتاپ زده و ...

آیا به عواقب این رفتارها هم فکر کردم؟ مثلا، این امکان وجود داره که سایر شرکت‌ها با دیدن پست‌های من در لینکدین از ارتباط‌گیری با من منصرف بشن؟ احتمالش هست که کانکشن‌هام رو از دست بدم؟ قرار بود با لینکدین رزومه‌سازی کنم نه پرونده‌سازی!

من، هیچ کجای این ماجرا نیستم. یکسری مسائل رایج در لینکدین رو گفتم...

#خبر

مدل phi-4 منتشر شده. نتایج مدل 14 بیلیونی قابل توجه هست و تنه به تنه بزرگان میزنه! مثلا، در تصویر پیوستی، ستون phi-4 رو با GPT-4o-mini و Llama-3.3 72B مقایسه کنید. لازم به ذکر هست که 14 بیلیونی شبکه بزرگی محسوب نمیشه. البته، SLM هم نیست. اگه میخواید باهاش چت کنید، می‌تونید از این لینک اقدام کنید.

من، پرامپت "یک پارگراف درباره ImageNet بنویس." رو به چند مدل دادم که در ادامه می‌تونید جواب‌هاشون رو مقایسه کنید. برای هرکدوم یک اموجی گذاشتم که رای بدید! 🤓

جواب phi-4: 👍

یک مجموعه داده وسیع و متنوع از تصاویر است که برای پیشرفت در زمینه تشخیص و تصنیف چندبرچسب تصاویر نقش مهمی ایفا کرده است. این مجموعه به طور کلی شامل ۱۴۰۰ هزار تصویر است که در ۲۰۰۰ رده مختلف درجه‌بندی شده‌اند، تقریباً ۴۰۰ هزار رده جزئی دارند. ImageNet به طور منظم برای مسابقات معروف مانند ImageNet Large Scale Visual Recognition Challenge (ILSVRC) استفاده می‌شود که در آن مدل‌های یادگیری ماشین و خوشه‌بندی عمیق برای تشخیص و کلاس‌بندی تصاویر مورد ارزیابی قرار می‌گیرند. این مجموعه داده نقش محوری در پیشرفت فناوری‌هایی مانند شبکه‌های عصبی عمیق (DNN) و توسعه مدل‌های برتر مانند AlexNet، VGG، ResNet و GoogLeNet داشته است. اهمیت و گستردگی ImageNet به ایجاد پایه‌ای قوی برای تحقیقات و توسعه در زمینه بینش‌های ویژگی و یادگیری تصویری کمک کرده است.

جواب Gemini 2.0 Flash Experimental: 👎

ایمیج‌نت (ImageNet) یک پایگاه داده بزرگ از تصاویر است که برای تحقیقات در زمینه تشخیص اشیاء در بینایی رایانه‌ای مورد استفاده قرار می‌گیرد. این پروژه توسط فی لی‌فی و همکارانش در دانشگاه استنفورد در سال ۲۰۰۹ آغاز شد. ایمیج‌نت شامل بیش از ۱۴ میلیون تصویر است که به دسته‌های مختلفی بر اساس سلسله‌مراتب WordNet دسته‌بندی شده‌اند. هر گره در سلسله‌مراتب WordNet معادل یک «اسم» است و برای هر اسم، صدها و هزاران تصویر مرتبط وجود دارد. این پایگاه داده نقش بسیار مهمی در پیشرفت الگوریتم‌های یادگیری عمیق، به ویژه شبکه‌های عصبی پیچشی (CNN) داشته است و به عنوان یک معیار استاندارد برای ارزیابی عملکرد مدل‌های تشخیص تصویر مورد استفاده قرار می‌گیرد. چالش بزرگ ایمیج‌نت (ILSVRC) که از سال ۲۰۱۰ تا ۲۰۱۷ برگزار می‌شد، به محققان کمک کرد تا مدل‌های قدرتمندتری برای تشخیص و دسته‌بندی تصاویر توسعه دهند.

جواب DeepSeek: ❤️

یک پایگاه داده بزرگ و معتبر از تصاویر برچسب‌گذاری شده است که در حوزه بینایی ماشین و یادگیری عمیق از اهمیت بالایی برخوردار است. این مجموعه شامل بیش از ۱۴ میلیون تصویر است که در بیش از ۲۰ هزار دسته مختلف سازمان‌دهی شده‌اند. ImageNet نقش کلیدی در پیشرفت مدل‌های تشخیص تصویر و بینایی کامپیوتری ایفا کرده است، به‌ویژه با معرفی چالش سالانه ImageNet Large Scale Visual Recognition Challenge (ILSVRC)، که در آن مدل‌های مختلف برای دسته‌بندی و تشخیص اشیاء در تصاویر به رقابت می‌پردازند. موفقیت مدل‌های عمیق مانند AlexNet در این چالش، نقطه عطفی در گسترش و پذیرش شبکه‌های عصبی عمیق بود. امروزه ImageNet به عنوان یک منبع استاندارد برای آموزش و ارزیابی مدل‌های بینایی ماشین استفاده می‌شود.

جواب ChatGPT: 🔥

یک دیتاست بزرگ و متنوع برای آموزش و ارزیابی مدل‌های یادگیری ماشین و بینایی کامپیوتر است که شامل بیش از 14 میلیون تصویر برچسب‌گذاری‌شده در هزاران دسته‌بندی مختلف است. این دیتاست که در سال 2009 معرفی شد، به‌عنوان مبنای رقابت معروف ImageNet Large Scale Visual Recognition Challenge (ILSVRC) مورد استفاده قرار گرفت و نقش مهمی در پیشرفت معماری‌های شبکه‌های عصبی مانند AlexNet، VGG، ResNet و دیگر مدل‌های پیشرفته داشته است. موفقیت مدل‌ها در ImageNet به‌عنوان یکی از معیارهای مهم در ارزیابی توانایی آن‌ها در تشخیص اشیا و طبقه‌بندی تصاویر شناخته می‌شود.

بریم برای ماه دوم؟

2. فوریه: روش فاین-تیونینگ DoRA

اگه تجربه فاین-تیون کردن مدل‌های زبانی بزرگ (LLM) رو داشته باشید، احتمالاً با LoRA آشنا هستید. LoRA مخفف عبارت Low-Rank Adaptation هست. این تکنیک به شما امکان میده که یک LLM رو فقط با حجم کمی از پارامترهای قابل آموزش، فاین-تیون کنید. DoRA هم توسعه‌یافته همین LoRA هست که در فوریه 2024 ارائه شده و راشکا اون رو به عنوان مقاله ماه انتخاب کرده.

سباستین راشکا میگه:

به طور کلی، انتظار دارم که LoRA و روش‌های مشابه همچنان محبوب باقی بمونن. به عنوان مثال، اپل اخیرا در مقاله‌اش با عنوان Apple Intelligence Foundation Language Models اشاره کرده که از LoRA برای فاین-تیون LLM-هاشون روی دستگاه‌های خودشون استفاده می‌کنن. این کار به اون‌ها اجازه میده که مدل‌ها رو برای وظایف خاص، بهینه‌سازی کنن و در عین حال منابع محاسباتی محدود دستگاه‌های همراه رو هم در نظر بگیرن.

یادآوری: قبلا یک مقاله از متا با عنوان MobileLLM در این کانال معرفی کرده بودم که میگفتن چقدر از سخت‌افزار یک موبایل رو میشه برای LLM استفاده کرد و چه محدودیت‌هایی وجود داره. همچنین، یک وبلاگ جامع درباره همین MobileLLM نوشتم.

یک متنی درباره LoRA و DoRA نوشتم، ولی طولانی بود. تصمیم گرفتم، اینجا نذارم و توی وبلاگ منتشر کنیم.🫰

گفت‌وگوی با جزئیات

لکس فریدمن: خیلی از مردم می‌خواهند بدانند که تو به عنوان یکی از پرکارترین و باهوش‌ترین افراد در تاریخ هوش مصنوعی، یک روز پربار در زندگی‌ات چطور می‌گذرد؟ چه ساعتی از خواب بیدار می‌شوی؟

آندری کارپاتی: باید بگویم که من آدم صبح‌گاهی نیستم، قطعاً یک شب‌زنده‌دارم. زمان دکترایم حتی دیرتر هم می‌خوابیدم، معمولاً تا ساعت ۳ صبح بیدار بودم. فکر می‌کنم ساعات پایانی شب بسیار ارزشمند و جذاب هستند، چون همه خوابند و هیچ حواس‌پرتی وجود ندارد. مثلاً ساعت ۸ یا ۹ صبح که شرق آمریکا بیدار می‌شود، پیام‌ها و اخبار شروع می‌شوند و حواس‌پرتی‌ها زیاد می‌شود. اما ساعت ۳ صبح همه چیز آرام است و می‌توانی روی کارت تمرکز کنی.

لکس: پس تو به طور پیش‌فرض شب‌ها کار می‌کنی. چطور بهره‌وری‌ات را در این زمان‌ها مدیریت می‌کنی؟

آندری: برای من، بهره‌وری درباره ایجاد حرکت و حفظ تمرکز روی یک مسئله است. باید بتوانی حافظه‌ات را با آن مسئله پر کنی و کاملاً درگیرش شوی. حتی وقتی دوش می‌گیری یا خوابت می‌برد، باید ذهنت درگیر آن مسئله باشد. اینطوری وقتی بیدار می‌شوی، آماده‌ای که مستقیماً روی آن کار کنی.

لکس: این فرآیند در چه بازه‌ای اتفاق می‌افتد؟ یک روز، چند روز یا بیشتر؟

آندری: نمی‌توانم فقط درباره یک روز صحبت کنم، چون این یک فرآیند است. وقتی می‌خواهم روی یک مسئله متمرکز شوم، به چند روز زمان نیاز دارم تا کاملاً درگیرش شوم و نخواهم وقفه‌ای ایجاد شود. در این دوره‌ها، کاملاً وسواس‌گونه روی آن مسئله کار می‌کنم و بهترین کارهایم را انجام می‌دهم. 😃

لکس: تو پروژه‌های جالبی را در زمان کوتاهی انجام داده‌ای. این سرعت بالا نیازمند تمرکز کامل است، درست است؟

آندری: دقیقاً. باید حافظه‌ام را با آن مسئله پر کنم و بهره‌ور باشم. همیشه یک هزینه ثابت برای شروع هر پروژه وجود دارد. مثلاً وقتی در تسلا بودم و می‌خواستم روی یک پروژه جانبی کار کنم، اول باید به کلاستر SSH می‌زدم، VS Code را راه می‌انداختم و با یک سری خطاهای احمقانه دست و پنجه نرم می‌کردم. این موانع اولیه باعث می‌شوند نتوانی مستقیماً به کارت برسی. پس باید همه این موانع را برطرف کنی تا بتوانی روی مسئله تمرکز کنی. 👌

لکس: چطور با حواس‌پرتی‌ها مقابله می‌کنی؟

آندری: حواس‌پرتی‌ها انواع مختلفی دارند: اخبار، ایمیل‌ها، یا حتی پروژه‌های جالب دیگر. باید ذهنت را کاملاً متمرکز کنی. البته من هم گاهی برای حواس‌پرتی وقت می‌گذارم، اما این وقفه‌ها نباید زیاد باشند. بیشتر روزم را روی همان مسئله اصلی صرف می‌کنم.

لکس: وقتی صبح بیدار می‌شوی، قهوه می‌نوشی و اخبار می‌خوانی. آیا سعی می‌کنی سریع‌تر به سر کار بروی یا اول می‌خواهی بدانی در دنیا چه خبر است؟

آندری: من اخبار را دنبال می‌کنم، اما نسبت به این کار مشکوک هستم. نمی‌دانم که آیا این کار واقعاً مفید است یا نه، اما در حال حاضر بخشی از روال من است. دوست دارم از اتفاقات دنیا مطلع باشم، هرچند ممکن است این کار کمی حواس‌پرتی ایجاد کند.

لکس: در یک روز کاملاً پربار، چقدر زمان را به کار روی یک چیز اختصاص می‌دهی؟

آندری: معمولاً می‌توانم چند ساعت کار کنم و بعد به استراحت یا غذا خوردن نیاز دارم. حتی در پربارترین روزها، فقط شش تا هشت ساعت کدنویسی می‌کنم. زندگی هزینه‌های خودش را دارد: رفت و آمد، صحبت با مردم، غذا خوردن و غیره. حفظ تعادل به عنوان یک انسان کار سختی است.

لکس: چه چیزی به تو انگیزه می‌دهد که روزهای سخت و طولانی را با تمرکز بالا سپری کنی؟

آندری: وقتی به یک مسئله علاقه‌مند می‌شوم، احساس می‌کنم که آن چیز باید وجود داشته باشد. این انگیزه باعث می‌شود باگ‌ها، مشکلات فنی و تصمیم‌های طراحی اشتباه را تحمل کنم. همچنین، این که دیگران از کارم قدردانی کنند و ببینم که به آن‌ها کمک می‌کنم، برایم لذت‌بخش است. اگر کارهایم را با دیگران به اشتراک نگذارم، انگیزه‌ام کمتر می‌شود. ❤️

لکس: درباره تعادل کار و زندگی چه فکر می‌کنی؟

آندری: من فکر می‌کنم تعادل خوب است، اما دوست دارم گاهی اوقات دوره‌های فشرده کار داشته باشم. این دوره‌ها، که مثلاً ماهی یک بار اتفاق می‌افتند، به من اجازه می‌دهند کاملاً درگیر یک مسئله شوم و خلاقیت‌ام را به کار بگیرم. بیشتر وقت‌ها تعادل دارم، اما این دوره‌های فشرده برایم بسیار ارزشمند هستند.

لکس: و در نهایت، آیا هنوز هم شب‌ها بیشترین بهره‌وری را داری؟

آندری: بله، اما حفظ این برنامه سخت است، به‌ویژه وقتی با دیگران همکاری می‌کنی. جامعه در یک بازه زمانی خاص زندگی می‌کند و تو مجبوری خودت را با آن تطبیق دهی. سعی می‌کنم وقتی کارهای اجتماعی دارم، زیاد الکل ننوشم تا بتوانم بعداً به کارم برگردم.

امروز، در یوتوب یک ارائه 15 دقیقه‌ای از محمد شکوهی یکتا (با سابقه کاری در هوش مصنوعی مایکروسافت، اپل و غیره) درباره فرصت‌های هوش مصنوعی دیدم. عالی بود. لینکش رو در پایین پست گذاشتم. اما، میخوام 5 تا از نکات جالبش رو هم بگم.

1️⃣فرصت‌های هوش مصنوعی رو میشه در سه حوزه اصلی بررسی کرد: آکادمیا، شرکت‌های کوچیک/استارت‌آپ‌ها و شرکت‌های بزرگ؛ این سه تا حوزه واقعا با هم فرق دارن و معمولا ترتیب ورود بهشون هم اینطوریه: اول آکادمیا، بعد شرکت‌های بزرگ و در نهایت استارت‌آپ‌ها یا شرکت‌های کوچیک‌تر.

2️⃣یه چیز مشترک بین این سه حوزه وجود داره و اونم اینه که شکستِ سریع و یادگیری از اون شکست خیلی مهمه.

3️⃣تو شرکت‌های کوچیک، معمولا جایی برای پروژه‌های بزرگ و پرریسک نیست، چون منابع محدوده و نمیشه ریسک‌های بزرگ کرد.

4️⃣یکی از مهم‌ترین مهارت‌ها در حوزه هوش مصنوعی (AI) خلاقیت هست.

5️⃣یه چیز دیگه که باید حواسمون باشه اینه که باید بیزنس رو به AI فیت کنیم، نه برعکس. یعنی اول باید مشکلات و چالش‌های بیزنس رو شناسایی کنیم و بعد ببینیم چطور می‌تونیم از AI برای حلشون استفاده کنیم، نه اینکه اول یه تکنولوژی AI داشته باشیم (مثلا LLM) و بعد دنبال کاربرد براش بگردیم. کسایی که از آکادمیا وارد صنعت میشن، معمولا چنین تفکری دارن. 😐

ویدئوی پرباری هست: لینک ویدئو در یوتوب

خب، این وسط که منتظر دانلود مدل جدید DeepSeek بنام deepseek-R1 هستم، یک وبلاگ خوب معرفی کنم!

آقای Maarten Grootendorst یکی از افرادی هست که وبلاگ جذاب و بروزی داره. علاوه‌براین، در ویژوالایز کردن شبکه‌ها و متدها خیلی خفنه. شکل بالا، سه نمونه از کارهایی هست که در وبلاگش گذاشته. دیروز اعلام کرد که خبرنامه وبلاگش به 10 هزار سابسکرایبر رسیده. شما هم میتونید عضو خبرنامه بشید یا اینکه مستقیم از مطالب وبلاگش استفاده کنید.

ایشون و آقای Jay Alammar باهم کتاب خیلی خوب Hands-on LLMs رو نوشتن. دو نفر که نقاشی‌شون خوبه و از کتاب هم مشخصه! هر دو خط، یک شکل! 👏

کتاب Hands-on LLMs رو هم قبلا معرفی کردم: اینجا و اینجا

لینک وبلاگ Maarten Grootendorst