پایتورچ 2.1 همراه با کتابخانه های جدیدی آمد 😍

این به‌روزرسانی‌ها نشان می‌دهند که تمرکز تیم توسعه دهنده بر توسعه رابط‌های برنامه‌نویسی (APIs) مشترک و قابل گسترش در تمام زمینه‌ها است تا برای جامعه ما آسان‌تر شود تا پروژه‌های اکوسیستمی را بر پایه PyTorch ایجاد کنند 💪🏻

به همراه انتشار 2.1، به‌روزرسانی‌های بتا را برای کتابخانه‌های حوزه PyTorch از جمله TorchAudio و TorchVision منتشر شده.

New Library Updates in PyTorch 2.1

اخیرا گوگل کولب پرو برای دوره دیپ کاتالیست تهیه کرده بودیم. یکسری تجربه از کار با این سرویس پولی کسب کردیم که در اینستا گذاشتم و اینجا هم میذارم.

1. سه نوع gpu در پرو با نام‌های V100، T4 و A100 وجود داره. ضعیف‌ترین T4 و قوی‌ترین A100 هست. یک بار درخواست A100 دادم، اما نداد. به‌نظر میرسه که این gpu رو سخت‌تر میده.

2. هر سرویس پرو شامل 100 واحد محاسباتی شارژ هست. با هر بار اتصال به یک ماشین مجازی، این شارژ مصرف میشه.

3. هرکدوم از دیوایس‌ها یک نرخ تقریبا ثابتِ مصرف شارژ/واحدمحاسباتی دارن. مثلا T4 به ازای هرساعت 2 واحد محاسباتی مصرف میکنه. V100 قدرتمند هم حدود 5 واحد محاسباتی مصرف میکنه. من به A100 وصل نشدم، اما فکر کنم میزان مصرف بین 7 الی 8 باشه.

نتیجه اینکه، با T4 حداکثر 50 ساعت کولب پرو و با V100 حداکتر 20 ساعت واحد محاسباتی دارید.

4. هزینه کولب پرو هم 10 دلار هست. فکر کنم برای خارج کشور، 10 دلار برای 50 ساعت gpu نسبتا به صرفه باشه. کولب پرو رو می‌تونید از ایرانی‌کارت تهیه کنید.

اگه شما هم تجربه‌ای در استفاده از کولب پرو کسب کردید، لطفا با ما و سایر دوستان به اشتراک بذارید.

@pytorch_howsam

در بروز رسانی آخر OpenAI
نسخه بتای DALL·E 3 هم به پنل GPT-4 اضافه شد.

برو بچ OpenAI، سازنده ChatGPT، با شرکت تکنولوژی G42 مستقر در ابوظبی همکاری خود را رسما اعلام کرده است.
تا از طریق استفاده از مدل‌های OpenAI در زمینه‌هایی مانند خدمات مالی، انرژی، بهداشت و خدمات عمومی، ادغام هوش مصنوعی در امارات متحده عربی و بازارهای دیگر خاورمیانه را تسهیل کند.
این توافق‌نامه بخشی از تدابیری است که با هدف توسعه صنعت تکنولوژی در امارات انجام شده است​.

برای دوره یادگیری ماشین هوسم، کتاب‌های زیادی رو مطالعه و بررسی کردیم. از نظر ما، یکی از بهترین و منسجم‌ترین کتاب‌ها، کتاب An Introduction to Statistical Learning بود. البته، این کتاب خیلی معروف هست. اما، برای ما نکته منفی این کتاب، زبان R بود. خوشبختانه، اخیرا یک نسخه پایتونی از کتاب رو هم منتشر کردن. 😍

لینک مشاهده کتاب:
https://drive.google.com/file/d/1ajFkHO6zjrdGNqhqW1jKBZdiNGh_8YQ1/view

فایل‌های ضمائم رو هم گذاشتن؛ اسلاید، دیتاست و ...
https://www.statlearning.com/resources-python

واجَب است بر شما که یک نسخه کاغذی از این کتاب رو داشته باشید! 😄

@pytorch_howsam

چه تفاوتی بین محقق‌های‌ معمولی و بزرگ ‌وجود داره؟

یک پست جالب در توییتر خوندم که مقایسه‌ای بین محقق‌های معمولی و‌ بزرگ انجام شده بود. پیشنهاد می‌کنم این ویدیو رو ببینید و بیشتر در‌موردش مطالعه کنید.

https://x.com/_jasonwei/status/1715080315587440719?s=35

@pytorch_howsam

سلام
پایتورچ یک لایبرری داره که شاید تا الان ندیده باشید. اسم این لایبرری torcheval هست و تماما برای محاسبه معیارهای ارزیابی هست. خیلی از معیارهای ارزیابی در حوزه‌های مختلف مثل تصویر، متن و صوت رو می‌تونید در این لایبرری پیدا کنید. به شکل زیر نصب میشه:

pip install torcheval

معیارها معمولا دو شکل کلاس و فانکشنال دارن. بیاید F1 Score رو در دو حالت فانکشنال و کلاس ببینیم:

from torcheval.metrics.functional import binary_f1_score
predictions = model(inputs)
f1_score = binary_f1_score(predictions, targets)

خب فانکشنال ساده و سرراست هست. اما کلاس خفن‌تر و جالب‌تر هست. یک آبجکت از معیار می‌سازیم و بعد با استفاده از متد update می‌تونیم دائما مقدار معیار رو آپدیت کنیم. به درد کجا میخوره؟ زمانی‌که می‌خوایید از این معیار توی دیتالودر ترین و ولیدیشن استفاده کنید. درنهایت هم اگه از متد compute استفاده کنید، می‌تونید مقدار نهایی معیار رو مشاهده کنید.

from torcheval.metrics import BinaryF1Score
for inputs, targets in dataloader:
     predictions = model(inputs)
     metric = BinaryF1Score()
     metric.update(predictions, targets)
f1_score = metric.compute()

این هم داکیومنت لایبرری:
https://pytorch.org/torcheval/stable/index.html

دوره جدید پایتورچ هوسم ایز کامینگ... ☺️
@pytorch_howsam

webcamGPT is a set of tools and examples showing how to use the OpenAI vision API to run inference on images, video files and webcam streams.

Git webcamGPT

Scalable Extraction of Training Data from (Production) Language Models

آسیب پذیری chatGPT و LLM

به طور مثال محققان دیپ مایند، از chatGPT خواستند تا کلمه‌ای مانند «poem» یا «book» را تا أبد تکرار کند.

اما جالب است در جواب، در بعضی از مواقع، قطعه کد یا اطلاعات شخصی افراد
مانند نام، آدرس ایمیل، شماره تلفن و... را تولید می‌کند.

سلام
بمب خبری 24 ساعت گذشته، Google GEMINI (جِمِنای) بوده!
مدلی که تونسته بهتر از GPT-4 عمل کنه. مثلا در بنچ‌مارک MMLU به پرفورمنس 90% رسیده، درحالی‌که پرفورمنس GPT-4 حدودا 86.4% بوده!

جمنای شامل سه نسخه Ultra Pro Nano هست. نسخه اولترا بزرگترین مدل هست که حدود 175 میلیارد پارامتر داره. نسخه پرو حدود 117 میلیارد پارامتر و نسخه نانو 56 میلیارد پارامتر داره. دوره زمونه عوض شده! مدل 56 میلیاردی نانو حساب میشه! 😄

نسخه اولترا همونی هست که مچ GPT-4 رو خوابونده! نسخه پرو، توی گوگل بارد قرار گرفته. نسخه نانو هم قراره بره توی موبایل‌ها! مثلا توی پیکسل گوگل‌ها قراره در دسترس قرار بگیره. دیگه فیلم Her رو تا چند سال دیگه می‌بینیم...

جمنای یک مدل مولتی‌مودال خفن هست. تصویر، تکست، صوت، ویدئو، کد و ... رو در ورودی و خروجی ساپورت میکنه. ویدئوی زیر رو نگاه کنید، خیلی فانه!! جمنای رو تست کردن.
https://www.youtube.com/watch?v=UIZAiXYceBI

اینجا هم پلی‌لیست همه ویدئوهای گوگل برای معرفی جمنای هست:
https://www.youtube.com/playlist?list=PL590L5WQmH8cSyqzo1PwQVUrZYgLcGZcG

@pytorch_howsam

همه کگل رو میشناسیم. طبیعتا شما اگه در کگل فعالیت کنید، خیلی دقیق و اصولی فعالیت شما ثبت میشه و میتونه یک فاکتور مثبت در رزومه شما باشه. حالا میخوایم از قواعد و اصول فعالیت در کگل براتون بگیم.

سیستم پیشرفت کگل حول چهار فاکتور طراحی شده:
* مسابقه‌ها
* نوتبوک‌ها
* دیتاست‌ها
* گفت‌وگوها یا بحث‌ها (Discussion)

در هرکدوم از فاکتورهای بالا، براساس میزان فعالیتتون پیشرفت حاصل میشه. یعنی مهم هست که در همه این فاکتورها فعالیت داشته باشید.

حالا میزان یا درجه پیشرفت چطوری هست؟ برای همه بخش‌ها پنج درجه درنظر گرفته شده:
* تازه‌کار (Novice)
* مشارکت‌کننده (Contributor)
* کارشناس (Expert)
* استاد (Master)
* استاد بزرگ (Grandmaster)

پس ممکن هست یک نفر، در بخش مسابقه درجه استادی داشته باشه، ولی در بخش دیتاست کارشناس باشه. همه این اطلاعات در پروفایل فرد قابل مشاهده هست. مثلا تصویر بالا...

حالا شرایط رسیدن به هریک از درجه‌ها چی هست؟ خب دیگه در این پست نمیگنجه و باید در پست‌های جداگانه درموردش صحبت کنیم. فعلا در همین حد بدونید که شرط Novice شدن، ثبت‌نام در کگل هست! 😄

@pytorch_howsam

سلام ✋
چند روز پیش تصمیم گرفتیم که از سرویس‌های داخلی اجاره GPU استفاده کنیم. می‌خواستیم یک مدل Speech Recognition رو برای مدتی طولانی آموزش بدیم. یک سرویس داخلی انتخاب کردیم و رفتیم برای راه‌اندازی پروژه و آموزش مدل... این پروسه با اتفاق‌های متنوعی همراه بود که در ادامه به مهم‌ترین‌هاش اشاره می‌کنیم. طولانی هست، اما پیشنهاد میکنیم این گزارش رو مطالعه کنید.

* ثبت‌نام در سایت ساده بود و هزینه اجاره هم به‌صورت ساعتی حساب میشد. ما یک سرویس بر پایه 3090 با ساعتی 20 هزار تومان انتخاب کردیم.

* برای استفاده از سیستم، باید یک ماشین مجازی ساخته میشد. پروسه ساخت این ماشین مجازی کمی زمانبر هست و به گفته خودشون حدود 20 دقیقه‌ای طول میکشه. اما در عمل به نظر بیشتر از 20 دقیقه طول کشید.

* بعد از ساخت ماشین، باید استارت بزنید تا ماشین روشن بشه و بتونید کدتون رو اجرا کنید. هرچی استارت زدیم روشن نشد! 😄 از پشتیبانی پرسیدیم. گفت ماشین خرابه و من یک ماشین دیگه کانفیگ کردم که ساخته بشه. بازهم 20 30 دقیقه‌ای منتظر موندیم که ماشین جدید رو تحویل بدن! ماشین جدید روشن شد و خوشبختانه محیط ژوپیترلب بالا اومد. 📿

* کدهای آماده رو بدون مشکل آپلود کردیم.

* طبیعتا باید دیتاست رو دانلود کنیم که بتونیم آموزش مدل رو شروع کنیم. یک دیتاست 2.5 گیگ داشتیم که گذاشتیم دانلود بشه و دانلود این دیتاست 3 ساعت و 55 دقیقه طول کشید! 🤯 دیتاستی که لینک مستقیم داشت و اتفاقا با اینترنتی مثل همراه اول با سرعت بیش از دو مگ در کمتر از 30 دقیقه دانلود میشد. فکر کنید، چهار ساعت از شارژ شما برای دانلود یک دیتاست 2.5 گیگ میره. گاهی سرعت اینترنت این سرویس به حدود 40 کیلوبایت میرسید! مقایسه کنید با کولب که چنین دیتاستی رو زیر 1 دقیقه دانلود میکنه.

* کد آماده، دیتاست آماده و حالا بعد از چندساعتی درگیری می‌تونستیم آموزش مدل رو شروع کنیم. بخش ایمپورت فریمورک‌ها رو که اجرا کردیم، کتابخونه تورچ‌تکست رو نشناخت و داستان جدیدی شروع شد. چک کردیم، دیدیم که پایتورچ، تورچ‌ویژن و تورچ‌آئودیو نصب هست، اما تورچ‌تکست نصب نیست. خب شاید بگید که اشکالی نداره راحت میشه نصب کرد. اما نکته اینجاست که نسخه نصبی پایتورچ آخرین نسخه نبود و این دردسر نسبتا بزرگی بود. دو راه داشتیم: 1) نسخه مناسب تورچ‌تکست برای پایتورچ نصبی پیدا کنیم. یعنی باید سرچ میزدیم و تو آرشیوها دنبالش میگشتیم. 2) از اول پایتورچ رو به آخرین نسخه آپدیت میکردیم و در کنارش تورچ‌تکست هم نصب می‌کردیم. این دومی دانلود زیادی نیاز داشت و ما هم میترسیدیم که بازهم ساعت‌ها منتظر بمونیم. به همین خاطر رفتیم سراغ مورد 1. احتمالا این کار برای یک دانشجو یا تازه‌کار کمی مشکل هست. مقایسه کنید با کولب که هم فریمورک‌ها رو زود به زود آپدیت میکنه و هم مدام پرکاربردها رو اضافه میکنه. مثلا اخیرا هاگینگ فیس رو اضافه کردن.

* دیگه همه دردسرها تموم شده بود و تونستیم آموزش مدل رو پیش ببریم. حین آموزش مدل هم مشکل خاصی پیش نیومد.

* یک مشکل دیگه شارژ مصرفی و گزارش شارژ بود. شارژ باقیمونده رو باید از داشبورد میدیدیم. هر بار هم که رفرش میکردیم، زمان نسبتا زیادی طول میکشید که اطلاعات رو نشون بده. همچنین، میزان مصرف شارژ لحظه‌ای آپدیت نمیشد. بلکه، بعد از یکی دو ساعتی آپدیت میشد. یک بار انقدر آپدیت نشد که از 32 هزار تومان به 7- هزار تومان رسید! بعدا دیدیم که ایمیل هم میزنن که شارژ شما منفی شده. به نظرم این قسمت هم خوب نبود. توی کولب در حد دهم واحدهای محاسباتی تغییر میکنه و این حس به شما دست میده که کاملا روی شارژت کنترل و مدیریت داری.

* آخرین مورد هم اینکه، اگه کدت رو ببندی و آموزش و استفاده از سیستم رو قطع کنی، همچنان ساعتی مثلا 20 هزار تومان از شارژ کم میشه. اما اگه از طریق داشبورد بعد اتمام کار، ماشین رو خاموش کنی، مصرف شارژ تا 90 درصد کم میشه. یعنی اگه ساعتی 20 هزار تومان بدی، در صورت خاموش بودن ماشین، ساعتی 2 هزار تومان پرداخت میکنی. یعنی، فرضا اگه یک روز با سیستم کاری نداشته باشی و خاموش باشه، باید حدودا 50 هزار تومان پرداخت کنی. درصورتی که ماشین رو حذف کنی، دیگه پرونده پروژه، کد و دیتاست بسته میشه و شارژی هم پرداخت نمیکنی. این مساله، امکان استفاده مداوم رو مشکل میکنه.

خب نتیجه‌گیری اینکه، با این شرایط به‌صرفه نیست. همچنین، سرویس و خدمات حرفه‌ای نیست. یعنی، با اینکه پشتیبانی چت آنلاین داره و زود به زود هم جواب میدن و جی‌پی‌یوهای خوبی هم دارن، اما بازهم چون خدمات ایرادهای ذکرشده در بالا رو داره، نمیصرفه. ترجیح میدیم از کولب استفاده کنیم و واقعا کولب بسیار عالی هست.

اسم این سرویس رو عمدا نگفتیم که داستان نشه. امیدواریم که خود ارائه‌دهنده‌های سرویس ببینن اینو و بخونن و ایرادها رو اصلاح کنن. ✌️😊

@pytorch_howsam

کورس ترنسفورمر

دانشگاه استنفورد کورسی بنام CS25 در سال 2023 برگزار کرده که اسمش Transformer United هست. پیج اصلی این دوره اینجاست:
https://web.stanford.edu/class/cs25/

همچنین، ویدئوهای این دوره در یوتوب در دسترس هست:
https://www.youtube.com/playlist?list=PLoROMvodv4rNiJRchCzutFw5ItR_Z27CM

موضوع‌های جالبی هم داره.

@pytorch_howsam

یک دیتاست جالب در کگل!
شناسایی سیمپسون‌ها براساس تصاویر چهره 😄

https://www.kaggle.com/competitions/simpsons-faces-m1/overview

این دیتاست شامل 6 هزار داده از 18 شخصیت سریال سیمپسون‌ها هست.

قوانین جالبی هم داره:
* Don't cheat!
* Respect a model with at most 1M parameters (it will be checked)
* Max dataset image size must be (64, 64)

@pytorch_howsam

در پست ریپلای‌شده، از سیستم پیشرفت کگل گفتیم و قرار بود ادامه بدیم. درمورد فاکتورهای مختلف و همچنین درجه‌های پیشرفت صحبت کردیم. همچنین، گفتیم که در ابتدای کار یک تازه‌کار (Novice) هستیم. حالا بریم ادامه...

❓چطوری میشه به درجه مشارکت‌کننده (Contributor) ارتقا پیدا کرد؟ به سادگی! کافیه که کارهای زیر رو انجام بدید:

1️⃣ یک نوتبوک در کگل اجرا کنید. یعنی از بخش نوتبوک‌ها، یک نوتبوک رو باز کنید و در همون کگل اجرا کنید. به همین سادگی! با این کار، نحوه اجرا شدن نوتبوک‌ها رو یاد می‌گیرید. هر نوتبوکی رو که باز کنید، یک گزینه Copy & Edit داره که مخصوص همین کار هست.

2️⃣ یک سابمیشن در مسابقه‌های کگل داشته باشید. یعنی توی یک مسابقه شرکت کنید و یک بار کد/مدل/روشتون رو بفرستید که کگل روی داده‌های تست ارزیابی کنه. سخت نیست. اصلا می‌تونید از همون کدهای آماده دیگران هم استفاده کنید. نیازی نیست که حتما کد خودتون باشه. یعنی همون کد بالایی رو که اجرا کرده بودید رو بدید به سیستم کگل که داوری کنه. :) با این کار، با سیستم اجرای کدها و سابمیشن توی کگل آشنا میشید.

3️⃣ یک کامنت بذارید. این هم ساده هست. برید توی بخش discussions و برای یکی یک کامنت بذارید. مثلا بعضی‌ها میان ارتقای درجه‌شون رو اعلام میکنن. شما هم برید یک تبریکی بهشون بگید! 😅

4️⃣ یک Upvote داشته باشید. یعنی مثلا به نوتبوک یک نفر، یک امتیاز بدید. وقتی نوتبوک یک نفر رو باز می‌کنید، یک گزینه Upvote داره. در واقع دارید لایکش می‌کنید. می‌تونید همون نوتبوکی که اجرا کرده بودید رو لایک کنید.

خب کم کم داریم به بخش‌های جالبش می‌رسیم. چیکار کنیم که درجه کارشناس (Expert) برسیم؟ در پست‌های بعدی درموردش صحبت می‌کنیم...

@pytorch_howsam

با تشکر از وحید برای معرفی این کتابخونه...

سلام
یه کتاب خونه خیلی باحال که پیدا کردم torchinfo بوده که یه چیز خیلی خوب داره و کمبودش توی پایتورچ حس میشد😁😁

@pytorch_howsam

In pole position to learn reinforcement learning :
AWS DeepRacer gives you an interesting and fun way to get started with reinforcement learning (RL). RL is an advanced machine learning (ML) technique that takes a very different approach to training models than other machine learning methods. Its super power is that it learns very complex behaviors without requiring any labeled training data, and can make short term decisions while optimizing for a longer term goal.

این سرویس به شما یک راه جذاب و سرگرم‌کننده برای شروع یادگیری تقویتی (RL) ارائه می‌دهد. RL یک تکنیک پیشرفته در زمینه یادگیری ماشین (ML) است که به روشی بسیار متفاوت نسبت به سایر روش‌های یادگیری ماشین به آموزش مدل‌ها می‌پردازد.
قدرت استثنایی آن در این است که بدون نیاز به داده‌های آموزشی با برچسب، رفتارهای بسیار پیچیده را یاد می‌گیرد و می‌تواند تصمیمات کوتاه مدت را در حالی که بهینه‌سازی برای یک هدف بلندمدت انجام می‌دهد، اتخاذ کند.

https://aws.amazon.com/deepracer