نحوه استفاده از هوش مصنوعی؛ چندتا از بچه ها بعد از ارائه پیام دادند که یک آموزش از اینکه چطوری با
AI
الگوریتم و … رو یاد بگیریم بذارید

گفتم این نمونه رو بذارم.

برعکس این هم هست؛ زمانی که شما یک الگوریتم رو میشناسید ولی مثال برنامه نویسی ازش ندیدید؛
کافیه بگید براتون مثال بزنه یا چندتا چالش ازون مبحث براتون مطرح کنه تا کد بزنید.

خلاصه که بهونه نیارید؛ پیشنهاد ویژه میکنم از نسخه bing استفاده کنید حتما چون هم بهتون پیشنهاد و نمونه
prompt
میده و هم رفرنس نمایش میده که مطمئن تر از خود
chatGPT
حتما هم رو حالت
more precise
بذاریدش


@PyHints

#موقت #یادآوری 😁

حتماً باید تا آخر وقت امروز چند پست درمورد :
Profiling
بنویسم :

timeit, cProfile, line_profiler, memory_profiler
و خب پکیج مورد علاقه خودم
Scalene

profiling
یکی از مهمترین و جذاب‌ترین مباحث هست که یک توسعه دهنده باید باهاش آشنا باشه (توی رزومه هم خیلی مهمه اونجایی که شما می‌گید من ۲۰٪ کدهای قبلی رو اپتیمایز کردم؛ شاید تو خیلی از شرکتهای ایران کیلویی باشه ولی شرکت‌های درست و حسابی باید گزارش profiling رو ارائه بدید)

ساده ترین قدم توی پروفایلینگ استفاده از پکیج timeit هست؛ توی دیتاساینس هم یکی از BuiltIn Magic های بسیار مهم IPython هست.

کجا بدرد می‌خوره؟
وقتی شما بین استفاده از دوتا روش مشکل دارید (ولی این ۲ تا کد معمولا بین ۱-۱۰ خط هست)
۲ تا پارامتر مهم داره؛
۱- کدی هست که میخواید سرعت اجراش رو تست کنید.
۲- تعداد تکرار یا اجرای اون کد هست (مثال بالا ۱۰۰) و چون زمانی که بر میگردونه با تعداد تکرار هست مقدارش رو تقسیم بر تعداد تکرار می‌کنیم تا میانگین زمان اجرای ۱ بار اون کد بدست بیاد (بر حسب ثانیه)

نکته :هیچوقت تعداد تکرار رو ۱ نذارید تا عدد دقیق‌تری بدست بیارید.

@PyHints

خروجی کد بالا بین خط ۲۱ تا ۲۴.

یادگرفتیم که اگر برای کد کوچیک تو زمان توسعه کد به شک افتادیم timeit سریعترین و بی‌دردسرترین ابزار هست.
اما دنیا همیشه انقدر قشنگ نیست و خیلی وقتا ما ی دولوپری هستیم که قراره shit code های دیگران رو جم و جور کنید (هرکسی ی اندازه اینکارو می‌کنه) برای اینکار ابزار بهتری وجود داره به اسم
cProfile
همین‌جا بگم که از ماژول profile استفاده نکنید (این ابزار متعلقات پایتونی داره و زمان رو دقیق نمی‌ده) مگر اینکه درحال توسعه یک پروفایلر جدید هستید.

من جزو اون دسته از افرادی هستم که ترجیح میدم cProfile رو داخل کدهام وارد نکنم و بجاش از کامند استفاده کنم تا مجبور نشم اسکریپت‌هام رو تغییر بدم و ... (اگر شما import cProfile رو میخواید داکیومنتش رو بخونید؛ خیلی ساده‌اس نگران نباشید)

کجا استفاده کنیم ؟
وقتی می‌خواید ببینید توی اسکریپت کلا چه خبره یا شک دارید آیا همین اسکریپت هست که تبدیل به
bottleneck
شده یا نه (همینجا اضافه کنم برای نمایش گرافیکی هم ابزاری داریم به اسم
snakeviz
گه من ازش می‌گذرم چون scalene رو میخوام توضیح بدم)

@PyHints

قبل از اینکه خروجی cProfile رو تفسیر کنم می‌خوام مهمترین نکته توی زندگیتون موقع استفاده از ابزارهای profiling رو بگم.

همیشه و تحت همه شرایط؛ خروجی Profiling رو ذخیره کنید اونم ۲ بار :
۱- قبل از اینکه کدی رو تغییر بدید (همیشه هم به اسمی ذخیره کنید که یادتون بمونه + تاریخ)
۲- بعد از اینکه تغییرات رو اعمال کردید (اسم تغییرات + تاریخ یا git commit)

شاید شما ندونید برای چی ذخیره می‌کنیم ولی ی روزی نجاتتون میده.

برای گرفتن خروجی بالا توی ترمینال این دستور رو اجرا می‌کنیم با توجه به این نکته که اسکریپت مثال (توی عکس قبلی رو به اسم example.py ذخیره کردیم)
python -m cProfile -s cumulative example.py
و درصورتی که بخوایم خروجی رو ذخیره کنیم که برای آنالیزش از
snakeviz, pstats
استفاده بشه و مهمتر از همه داکیومنتش کرده باشیم می‌تونیم از دستور
python -m cProfile -s cumulative -o compare_bubble_vs_builtin_sort_$(date +'%Y_%m_%dT%H_%M_%S').prof example.py

استفاده کنیم؛ حتما پسوند رو .prof بذارید که راحت شناسایی بشه.

توی دستور بالا :
-m:
برای استفاده از یک ماژول خاص استفاده می‌شه
-s:
ترتیب نمایش هست که گفتیم بر اساس cumulative time باشه همیشه هم همین رو استفاده خواهید کرد
-o:
برای اینکه خروجی رو توی یک فایل بریزه و توی ترمینال نمایش نده (اول در تاریخ ثبت می‌کنیم بعد ی بار هم بدون این option برای راحتی خودمون اجرا می‌کنیم)

تفسیر خروجیش هم خیلی ساده‌تر از اون چیزی هست که فکر می‌کنید فقط چندتا نکته داره :
ncalls:
تعداد فراخوانی اون خط از کد (ستون آخر کمی جلوتر توضیح میدم دقیق)
وقتی دوتا عدد هست مثل خط اول خروجی توی عکس قبلی
3/1:
عدد کوچیکتر تعداد فراخوانی غیر بازگشتی یا primitive هست و عدد بزرگتر تعداد کل فراخوانی به هر شکلی که بوده (بازگشتی و غیر بازگشتی و ...) یعنی بصورت کلی اون builtin method توی مثال قبل ۳ بار فراخوانی شده.

tottime:
مجموع زمان مورد نیاز جهت اجرای اون تایع؛ به غیر از زمان اجرای توابعی که داخل این تابع فراخوانی شده‌اند.

percall:
زمان اجرای مورد نیاز برای هربار اجرای اون خط یا اون تابع معمولا حدودی برابر هست با :
tottime / ncalls

cumtime:
مهمترین ستون همینه و اون مرتب سازی که توی دستور انجام دادیم (منظورم s cumulative- هست) بر اساس همین ستون بود.
مجموع زمان مورد نیاز از لحظه فراخونی اون خط یا تابع تا خروج از اون خط یا تابع + زمان مورد نیاز برای اجرای توایعی که داخل این تابع یا خط فراخوانی شدند + زمان اجرا بصورت recursive , ... خلاصه همه چیز اینجاس و از همه ستون‌ها هم دقیق‌تر هست

filename:lineno(function)
اینم که بسیار واضح هست از سمت چپ به راست :
اسم اسکریپت : شماره خطی که اون کد اجرا شده (اسم تابع)
اسم تابع برای شرایطی مهم هست که داخل تابع اصلی توابع دیگری هم فراخوانی بشه

توی خروجی بالا مواردی مثل builtin.exec (از توابع مورد علاقه من هست اصن ی وضعی) و برخی موارد دیگر برای
import random
هست
@PyHints

همینجا بگم که تصویر قبلی خروجی کامل cProfile نیست و بنده این خروجی رو بریدم تا خواناتر باشه

lineprofiler, memory profiler, scalene (all in one gpu include)

بماند برای روزهای بعدی (روی هرکدوم از موارد که دوست داشتید reaction بزنید ممنون)

LinkedIn URL

این کد بصورت آموزشی و async هست باقی مطلب رو روی لینکدین بخونید ...

چندتا از دوستان پیام دادند که چرا از لینکدین پست می‌ذارید و ...
همرو همینجا بذارید (خلاصه که میگن بین پلتفرم‌های مختلف جابجا نکنید مارو)


پست لینکدین جنبه دستاوردی داره
پست‌های کانال جنبه آموزشی داره

برای همین از هم جدا شون می‌کنم، توی پست بالا هم اگر دقت کنید و متن رو بخونید، یکسری مواردی رو گفتم که شما بعنوان برنامه‌نویس پایتون می‌تونید کد بزنید و تست کنید.

مطمئن باشید توی مسیر انجام اون موارد بسیار بسیار مطلب مهم یاد خواهید گرفت، و به همین دلیل هم لینک از لینکدین قرار دادم.

این ۶ خط کد (البته نه همه‌اش و فقط خط ۶ام) توی ی پروژه خیلی بزرگ ۲ هفته‌اس که مارو درگیر کرده بود و امروز وسط یک کار دیگر به راه حل رسیدم.

اینو جدی میگم که هیچکس؛ نتونسته بود مشکل رو پیدا کنه (حتی گروه مشاورین)
@PyHints
ادامه پست بعدی:

نمی‌تونم مثال پروژه رو بدون اینکه کل شرایط رو بگم توضیح بدم اما سعی میکنم اونقدر توضیحاتم مفید باشه که اگر بهش برخوردید سریع متوجه بشید.

داستان ازین قرار هست که همه‌ی ما؛ وقتی می‌خوایم تعداد cpu core رو توی کدهای پایتون بدست بیاریم از
os.cpu_count
استفاده می‌کنیم (همینجا بگم که توی همین تحقیقات متوجه شدم این مورد تعداد hyper thread رو بر می‌گردونه)
os.cpu_count
تعداد کل core یا بهتر بگم hyper thread های در اختیار سیستم‌عامل رو برمی‌گردونه؛ اما شرایطی رو فرض کنید که شما حق استفاده از کل core های سیستم رو ندارید؛ تعداد pool ایی که برای multiprocess در نظر می‌گیرید بهم میریزه و سیستم توی زمان peak به فنا میره درحالی که روی سرور تست مطمئن بودید این تعداد یوزر رو باید جواب بده.

ما تقریبا شرایطی مشابه بالا داشتیم و همین باعث می‌شد نتونیم باگ رو پیدا کنیم (سیستم توسعه و تست تمام core ها در اختیار python هست)
اما روی سرور اصلی اینطور نبوده : استفاده از
pid = os.getpid()
len(os.sched_getaffinity(pid))
راه حلی بود که مشکل مارو حل کرد.
os.sched_getaffinity
تعداد core هایی که یک پروسس خاص می‌تونه در اختیار داشته باشه رو برمی‌گردونه.

برای بررسی بیشتر به داکیومنت CPython, لینک زیر مراجعه کنید
stackoverflow


@PyHints

پ.ن : 99.9% شرایط از همون
os.cpu_count
استفاده خواهیم کرد اما خب ما اینجا راجب مباحث ساده و عادی صحبت نمی‌کنیم 😁😎.

توی این کد یکی از مواردی که چندین بار ازم پرسیده شده این بخش کد هست :
چیزی که پر واضح هست اینه که به متن‌هایی که توی ترمینال print می‌شه رنگ میده (می‌دونم کلی پکیج آماده هست ولی خب استفاده از اون‌ها جنبه آموزش رو از بین می‌برد)

بطور کلی برای در اختیار گرفتن اتفاقاتی که توی ترمینال میوفته از کدهای
ANSI escape
می‌تونیم استفاده کنیم.

نه تنها برای رنگ، بلکه برای جابجایی cursor، تغییر متن داخل ترمینال و پیاده‌سازی حالتی مثل scroll و ... استفاده میشه

\033[
نشان دهنده این هست که ما می‌خوایم ازین کد‌ها استفاده کنیم و اصطلاحاً بهش
control sequence introducer
گفته می‌شه.

اگر اسکریپت نویسی با پایتون رو بیشتر از
Jupyter notebook, ...
انجام میدید، بهتره با این موارد آشنا باشید شاید vim بعدی رو شما نوشتید.

#Quick
از پایتون درست استفاده کنید.

دلیل این اختلاف زمانی و حافظه رو دوستان به خوبی توی کامنت‌ها توضیح دادند پس دیگه من صحبت نمی‌کنم راجبش.

اما غیر از مورد اول :
x1 *= 2

که بهینه ترین حالت محاسبات و استفاده درست از numpy هست (وقتی میخواهید روی آرایه قبلی بنویسید) باقی موارد هر ۲ باعث خطا و terminate شدن کولب شدند.

شاید فکر کنید ۱ میلیارد عدد بزرگی هست :
۱- بستگی به موضوع داره ولی توی دنیای فعلی خیر واقعاً بزرگ نیست
۲- مدل LLAMA 2 (تلفظ : لاما) که چندروز پیش توسط meta معرفی شد کوچکترینش 7 میلیارد و بزرگترینش 70 میلیارد پارامتر داره.
۳- performance
رو همیشه باید توی بدترین حالات محاسبه کرد (برای همین Big O رو یاد گرفتیم)

یکبار برای همیشه :

اگر کسی با من، طرز بیان من و ... مشکلی داره
می‌تونه از گروه - کانال
Left
بده، و حتماً من رو هم
Block
بکنه.

واسه درآمد‌ زایی کانال نزدم، واسه دیده شدن هم نیازی به این کانال ندارم (چون اصلاً پروژه تو ایران قبول نمی‌کنم)

ولی راجب این موضوعات دیگه پیام ندید؛ ترجیح میدم کانال و گروه حتی ۴۰ نفر باشه اما آدم‌های درست (که حتی خودمم ازشون یاد بگیرم)

پ.ن : این رو میگم، چون ترجیح میدم بجای اینکه انرژی‌ام رو صرف آدم‌های زبون نفهم و دنبال حاشیه کنم ، جواب سوالات کسایی که واقعاً نیاز به کمک دارند رو بدم. ( چون خودمم ی روزی توی این جایگاه بودم و افراد کمی رو برای کمک گرفتن کنارم داشتم)

#موقت
این پست ی باگ و سوتی داره که متأسفانه کسی متوجه نشد
و خودم الان متوجه شدم و باید بهش اعتراف کنم.

البته بحثی که شده در مورد سرعت و مصرف حافظه کاملاً درست هست ولی خب کد اشتباه داره

تصویر و متن آپدیت می‌شه

مشکل رو ازینجا پیدا کردم که اون
Online Interpreter
قطعاً نباید توانایی محاسبه
100,000,000
رو می‌داشت (دیشب فکر می‌کردم روی 10,000 گذاشتم، تاثیرات شایعه حذف ۴ صفر از پول هست.)

این پکیج هم جالب هست،

Pypi Link

البته شخصاً فعلاً کاربرد جدی‌ایی براش نمی‌بینم (ویدئو گویا هست دیگه)
وسط اجرا یادت میوفته ی کاری رو نکردی همون لحظه اضافه می‌کنی

احتمال زیاد پرفورمنس رو خراب می‌کنه

منبع: لینکدین (پروفایل طرف رو گم کردم)

پ.ن : یک کاربرد
Checkpoint
زدن توی تنسورفلو - کراس - پایتورچ می‌تونه باشه ولی موافقش نیستم

اگر یادت هست که اینو بذاری تو for loop پس قطعاً می‌دونی برای checkpoint زدن هست، خب کد رو همونجا آپدیت می‌کنی 😬
واقعاً شخصاً هنوز کاربرد منطقی براش نمی‌بینم

تغییراتی که به احتمال بسیاری نهایی خواهند بود برای پایتون 3.12 :

Python3.12 what's bew ?

و مواردی که باعث افزایش سرعت خواهند شد.

Tokenizer
توی این نسخه روی C نوشته شده همین ی مورد به تنهایی خیلی سرعت رو بالا میبره (البته اینطوری که این زمان روی ماژول‌های متفاوت chain می‌شه و خودشو نشون میده)

حتماً این تغییرات رو بخونید، بخصوص اگر درحال توسعه پکیج هستید

مثلاً f-string فوق‌العاده خوب شده \ ، f-string های تو در تو هم دیگه پشتیبانی میشه و ...

#موقت
#Quick

دوستان من لینکدین رو هرروز چک نمی‌کنم مگر اینکه پیام یا کاری داشته باشم
اگر connect request فرستادید و طول کشید برای
Accept
کردن، عذرخواهی‌ می‌کنم 🌹

توی مواردی که نخوام accept بزنم (پروفایل مشخص نیست، از نظر شغلی‌ و ... به هم نمی‌خوریم مثلا مورد داشتیم طرف زده بود مشاور املاک، درخواست داده بود 😂) خودم reject می‌زنم. اما اگر ببینم بدون پاسخ نمی‌ذارم.

این مورد برای پیام‌های تلگرام هم صدق می‌کنه (اگر پیامی رو چندروز ندیدم یک پیام دیگه با متن up بفرستید که پیام بالا بیاد و ببینم)

#خارج_از_بحث

این خیلی بدردم‌ خورد گفتم با شما هم به اشتراک بذارم شاید مشکلات شما رو هم حل کمه
مخصوصاً مورد سوم
Reset Imported Contacts


فقط کافیه وارد
Settings
بشید و متن پایین که با فلش اشاره کردم رو ۲ بار طولانی لمس کنید.

دوستان اشاره کرده بودند شماره مشخص هست 😬

#Quick

این یکی از Django هست نسخه 3.2 به بعد (من فقط 3.2 و 4.2 رو تست کردم)

یکی از سرویس‌های شرکت رو چون جلوتر از
Sprint

بودم و بسیار بسیار شبیه یکی دیگه از سرویس‌هایی هست که خودم کد زده بودم بجای اینکه طبق معمول پیاده سازی کنم
Async
پیاده‌سازی کردم با اینکه فکر میکردم چون ORM هنوز async نشده و نباید خیلی کمک بزرگی بهم بکنه اما طبق خروجی profiler تقریباً ۲.۲ برابر request بیشتری رو دارم هندل می‌کنم با سخت‌افزار و کانفیگ یکسان.

دوستان یوتیوبر بنظرم، ازین دوره‌ها بسازید.

برای توسعه دهنده‌ها شاید الان خیلی چیز پر دردسری باشه نسبت به موارد دیگه که وجود داره و نیاز به
sync_to_async , ...

ولی قطعاً آینده Django به این سمت هست و برای درآمد بهتر در اون زمان، الان وقت شروع تمرین هست بنظرم