💠💠💠
وقتایی که یک داده خیلی شلوغ و به هم ریخته (در اصطلاح Raw data  یا  Dirty data یا Unclean data)  رو میخوام تحلیل کنم این فکر خیلی ذهنمو درگیر میکنه :
⬇️⬇️⬇️⬇️⬇️⬇️⬇️⬇️⬇️⬇️⬇️⬇️

💠💠💠

اگر به اطلاعات پنهان شده در دل این دیتا به چشم ⬅️ انسان یا فرد ➡️نگاه کنی، اونوقت میبینی که  افراد زیادی هستند ک در انتظار دیده شدنن.

هر کدامشون انگار میخواد فریاد بزنه و از دل این دیتا بیرون بیاد...
برخی فریاد های بلند دارن و تحلیل گر سریع  استخراجشون میکنه اما بعضی...

✅کدام هاشون موفق به دیده شدن میشن ؟

☑کدام هاشون تا ابد در دل این دیتا خاموش میمونن☑

⚠️ایا ممکنه فردی خاصی (منظور اطلاعات خاص) در دل این دیتا باشه که تحلیل گر هیچ وقت استخراجش نکنه ....

✴برگزیده ترین فرد در دل این دیتا کیه؟ آیا منِ تحلیلگر میتونم در وهله اول پیداش کنم و بعد استخراجش کنم؟؟


طرز نگاه تحلیلگر  میتونه متفاوت باشه:

بیشترین افراد را از دل این دیتا استخراج کنم (منظور استخراج اطلاعات زیاد )
یا
برگزیده ترین افراد را پیدا کنم (منظور استخراج اطلاعات اصلی و گرانبها از دل دیتا)

؟؟
#تجربه_یک_تحلیلگر
#روزمرگی


با ما همراه باشید.
•🔹️•━━━━━━━━━━•🔹️•
                                 آکادمی دیتاسنس           
•🔹️•━━━━━━━━━━•🔹️•

@DataSenseAcademy

💠💠💠

ایا تابحال اطلاعات یک دیتا را با Power BI استخراج کردی ؟


توی این تابستون مهارت جدید یاد بگیر مثله :
Power Bi

در پست های آتی به معرفی و کار با این نرم افزار میپردازیم

با ما همراه باشید.
•🔹️•━━━━━━━━━━•🔹️•
                                 آکادمی دیتاسنس           
•🔹️•━━━━━━━━━━•🔹️•

@DataSenseAcademy

🖤 🏴
و قسَم به زَمانیِ که
پناهی جز عَباس نَداری...
🖤🏴

🟠🟡🟢clustering
خوشه بندی ⬅️⬅️ گروه بندی مشاهدات


#سوال
اولین قدم برای انتخاب الگوریتم خوشه بندی چیست؟

الف) بررسی نوع متغیر های دیتاست-->😁
ب) معروفیت الگوریتم-->🤓
ج)بررسی سرعت الگوریتم-->😎

؟؟؟؟
#clustering

#پست_اول_clustering

این پست ادامه دارد...

با ما همراه باشید.
•🔹️•━━━━━━━━━━•🔹️•
                                 آکادمی دیتاسنس           
•🔹️•━━━━━━━━━━•🔹️•

@DataSenseAcademy

K_means

Clustering🟢🟡🟠
   K means
یکی از الگوریتم های بدون ناظر (unsupervised) و معروف برای خوشه بندی ⬅️ k means میباشد.

آشنایی با الگوریتم k means:

1️⃣ ابتدا مقدار k یا همان تعداد خوشه را تعیین میکنیم.
2️⃣ از بین مشاهدات( observe) k تا را به تصادف به عنوان مرکز هر خوشه انتخاب میکنیم.

3️⃣ فاصله ی تک تک مشاهدات از این k نقطه را محاسبه میکنیم. مشاهده ها به مرکز هایی که نزدیکترند تخصیص میابند. (معیار سنجش فاصله: برای مثال فاصله اقلیدسی)

♻️حال ک سه خوشه پیدا کردیم، مرکز هر خوشه مجدد محاسبه میشود یعنی میانگین تمام مشاهدات داخل هر خوشه به عنوان مرکز در نظر گرفته میشود ⬅️⬅️⬅️  نکته: ممکن است مرکز جدید عضو مشاهدات نباشد.
مجدد مراحل بالا برای این مراکز جدید تکرار میشود یعنی:
فاصله ی تمام مشاهدات از مراکز جدید محاسبه میشود، هر مشاهده وارد خوشه ای که به مرکز آن نزدیکتر است میشود. در این مرحله انتظار داریم برخی اعضا جا به جا شوند.
مجدد به خوشه بندی جدید رسیدیم.
دوباره مرکز (میانگین مشاهدات هر خوشه)را بدست می اوریم.

♻️تکرار مراحل بالا....

چه زمانی تمام میشه؟
مراکز هر خوشه دیگر تغییر نکنن
رسیدن به حداکثر تعداد تکرار ها (کاربر از قبل تعیین میکند)


نکات الگوریتم :
1️⃣در الگوریتم k means در هر بار محاسبه مرکز خوشه از میانگین برداری استفاده میکند.

مثلا اگر سه متغیر وزن سن قد داشته باشیم میانگین قد و وزن و سن  تمام مشاهدات داخل خوشه را محاسبه میکنید و مختصات نقطه (مرکز)جدید را بدست می اورد.
2️⃣چون مرکز هر خوشه با شاخص میانگین سنجیده میشود پس باید متغیر های دیتاست  همگی از نوع کمی باشند.

#clustering

#پست_دوم_clustering

با ما همراه باشید.
•🔹️•━━━━━━━━━━•🔹️•
                                 آکادمی دیتاسنس           
•🔹️•━━━━━━━━━━•🔹️•

@DataSenseAcademy

✅⚠️همانطور که اشاره شد اگر تمامی متغیر های دیتاست کمی بودند میتوانستیم از k means برای خوشه بندی استفاده کنیم
حالا اگر
#سوال
⛔تمامی متغیر های دیتاست کیفی بودند از چه الگوریتمی میتوانیم استفاده کنیم ؟

💠💠💠

انتروپی (عدم قطعیت)
در نظریه اطلاعات، انتروپی معیاری‌ست برای سنجش بی‌نظمی و عدم قطعیت در یک سیستم.
ورود یک متغیر جدید به مدل، میتواند میزان این بینظمی را تغییر دهد.
مثل چی؟

مثله ملاقات با فردی که تمام معادلات زندگی رو به «قبل» و «بعد»  از ورودش تغییر میده...

تغییری که اثرش: نظم و روح بخشی هست
و یا گاهی...
تنها چیزی که باقی می‌گذارد، بینظمی و یک آشفتگی شیرین.

هر دو تغییر معنابخش هست، هم نظم و هم بینظمی

به قول معروف:

در هر نظمی، بی‌نظمی نهفته است،
و در هر بی‌نظمی، نظمی حکمفرماست.
***

در مسائل بسیار زیاد روزمره و زندگی انتروپی وجود داره.
یک موضوع جذاب و کاربردی در علم امار.

پیشنهاد برای ارائه های کلاسی گرایش های ارشد آمار.

یکی از کاربرد های اصلی انتروپی در درخت تصمیم دیده میشه.
کلیدواژه برای سرچ بیشتر:
Shannon entropy
entropy decision tree machine learning
entropy formula classification

#روزمرگی

با ما همراه باشید.
•🔹️•━━━━━━━━━━•🔹️•
                                 آکادمی دیتاسنس           
•🔹️•━━━━━━━━━━•🔹️•

@DataSenseAcademy

💠💠💠
_چرا همه میشناسنت؟
*چون آمار خوندم😎



با ما همراه باشید.
•🔹️•━━━━━━━━━━•🔹️•
                                 آکادمی دیتاسنس           
•🔹️•━━━━━━━━━━•🔹️•

@DataSenseAcademy

😎
⬇️

💠💠💠
شاید توی دنیای توزیع های آماری ، توزیع نمایی یه عارف باشه شایدم یه عاشق♡
تعبیر عاشق به نظرم قشنگتره.
امروز اندازه روز اول مشتاقه
امروز اندازه روز اول منتظره
《نشدن》 ها 《ندیدن》 ها 《نبودن》ها ی قبل روی امید امروزش تاثیر نداره. 

اگر یکماهه منتظر یه اتفاق خوب بوده ، ولی هنوز رخ نداده، امروزم همون قدر منتظره. ناامید نمیشه.
به قول حافظ:
مرا از توست هر دم تازه عشقی/تو را هر ساعتی حسنی دگر باد
روزشو با لبخند شروع میکنه هر روز براش روز موعوده.

توزیع نمایی، مدل ریاضی زمان انتظار تا رویداد بعدی  هست.
زمان انتظار تا تماس بعدی
زمان انتظار تا ملاقات بعدی
زمان انتظار تا رخداد بعدی ....
سرعت این انتظار را هم پارامتر لاندا تعیین میکنه.
اگر لاندا بزرگ باشه سرعت رخداد بالاست یعنی انتظار کمتری میکشه.

برای آرزو هاتون دعای دل من اینه :
توزیعتون نمایی باشه با لاندای خیلی خیلی بزرگ
یعنی ارزوهاتون یکی یکی و زود به زود برسن.

````````````````````````
پانویس:
توزیع نمایی دارای خاصیت بیحافظگی (memorylessness) می باشد:

P(X>s+t | X>t)= P(X>s)

لاندا یعنی نرخ وقوع رویداد در واحد زمان.
اگر لاندا ۲ باشه یعنی انتظار داریم هر نیم (یک به روی لاندا) واحد  زمان یک رویداد داشته باشیم.
توجه شد خاصیت بیحافظگی در احتمال شرطی میباشد.
#Exponential_Distributions
#Memorylessness
#توزیع_آماری
#امید_ریاضی
#انتظار

با ما همراه باشید.
•🔹️•━━━━━━━━━━•🔹️•
                                 آکادمی دیتاسنس           
•🔹️•━━━━━━━━━━•🔹️•

@DataSenseAcademy

Clustering🟢🟡🟠
  K mode
الگوریتم k mode همانند k means یکی از الگوریتم های بدون ناظر میباشد.


چه زمانی از k mode استفاده میشود ؟
زمانی که تمامی متغیر های دیتاست کیفی باشند.
در متغیر های کیفی سنجش میانگین و فاصله ی اقلیدسی بیمعنا میباشد‌ لذا لازم است از k mode استفاده بشود.


آشنایی با الگوریتم k mode:
تمامی مراحل همانند مراحل k means میباشد با این تفاوت که :
تفاوت اول:
در k mode به جای استفاده از فاصله ی اقلیدسی از Hamming distance استفاده میشود.
یعنی: تعداد ویژگی های متفاوت بین دو رکورد.
مثال: اگر فرد A دارای ویژگی های : زن/لاغر/متاهل و فرد B دارای ویژگی های: زن/چاق/مجرد باشد، فاصله ی این دو فرد میشود : دو (2)

تفاوت دوم:
در هر مرحله، در هر خوشه به جای میانگین آن خوشه ، مد آن خوشه بررسی میشود.
یعنی با توجه به مشاهدات هر خوشه ، مد هر متغیر را در هر خوشه بدست می اورد.

#clustering
#پست_سوم_clustering

با ما همراه باشید.
•🔹️•━━━━━━━━━━•🔹️•
                                 آکادمی دیتاسنس           
•🔹️•━━━━━━━━━━•🔹️•

@DataSenseAcademy

✅⚠️همانطور که اشاره شد:

اگر تمامی متغیر های دیتاست کمی بودند میتوانستیم از k means برای خوشه بندی استفاده کنیم
#پست_دوم_clustering
اگر تمامی متغیر های دیتاست کیفی بودند میتوانستیم از k mode برای خوشه بندی استفاده کنیم.
#پست_سوم_clustering

⛔حال اگر دیتاست متشکل از متغیر های کمی و کیفی باشد از چه الگوریتمی استفاده کنیم؟

Clustering🟢🟡🟠
نکته:
واضح هست در k means در هر مرحله ی خوشه یابی برای دستیابی به مرکز خوشه از میانگین تمام مشاهدات استفاده میکند. این کار باعث میشود مرکز هر خوشه لزوما عضو مشاهدات نباشد.

در k mode نیز همین طور. در k mode برای هر متغیر مدش را بدست می آورد. ترکیب این مدها لزوماً در بین مشاهدات وجود ندارد. یعنی ممکن است هیچ فردی دقیقاً همه‌ی این مدها را با هم نداشته باشد.

پس نتیجه گرفتیم در k means و k mode مرکز هر خوشه لزوما عضوی از مشاهدات نیست.

#clustering
#پست_چهارم_clustering

با ما همراه باشید.
•🔹️•━━━━━━━━━━•🔹️•
                                 آکادمی دیتاسنس           
•🔹️•━━━━━━━━━━•🔹️•

@DataSenseAcademy

💠💠💠
خطاب به هر کس که پرسید:
_چرا ادامه تحصیل ؟
__...................او میکشد قلاب را


#روزمرگی
با ما همراه باشید.
•🔹️•━━━━━━━━━━•🔹️•
                                 آکادمی دیتاسنس           
•🔹️•━━━━━━━━━━•🔹️•

@DataSenseAcademy

🌑🪐🌑
At Night🌃
#power_bi
#Project
@DataSenseAcademy