Data Mining Applications with R

╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
╰──•═✾🔝✾═•──╯

مجموعه سوالات مسابقه فناورد
این قسمت تحلیل شبکه های اجتماعی
با همراه باشید و یک دانشمند علم داده شوید
╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
╰──•═✾🔝✾═•──╯

منتظر ما جهت تحلیل و بررسی پاسخ مسابقه فناورد و چگونه یک دانشمند علم داده باشیم همراه باشید

╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
╰──•═✾🔝✾═•──╯

کانفیگ نرم افزار R در نرم افزار رپیدماینر (RapidMiner)

چگونه یک دانشمند علم داده شویم با ما همراه شوید


╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
╰──•═✾🔝✾═•──╯

با سلام جهت انجام تحلیل شبکه های اجتماعی بسته به نوع مسئله و نیاز نرم افزار آموزشی ما ابتدا به معرفی و آموزش نرم افزارهای کاربردی این حوزه خواهیم پرداخت باتوجه به مشغله های کاری ان شاءالله درصورت آزاد شدن وقت با کلی موضوعات خوب و عالی و سوپرایز خدمت همه شما عزیزان خواهیم بود .

تا چگونه یک دانشمند علم داده باشیم با ما همراه باشید.

╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
╰──•═✾🔝✾═•──╯

▪️▫️▪️▫️▪️▫️▪️
🔘آیا تا حالا در حین انجام شبیه سازی ها یا اجرای حلقه ها دوست داشتید بدونین توی کدوم قسمت حلقه قرار دارین؟! یا چقد از برنامتون مونده تا اجراش تموم بشه؟! مثل نصب برنامه که نوار نصب پر میشه؟!

راه های زیادی برای انجام این کار هست ساده ترین راه گذاشتن یک پرینت در انتهای حلقه هست تا دور حلقه رو برامون پرینت کنه ولی اینکار باعث شلوغ شدن کنسول میشه . ما راه کار جالبی رو بهتون پیشنهاد میدیم که میتونین باهاش این کار رو انجام بدین
#progress_bar #txtProgressBar
🔰🔰

total <- 20
# create progress bar
pb <- txtProgressBar(min = 0, max = total, style = 3)
for(i in 1:total){
 #sleep is for slowly run, not necessary
  Sys.sleep(0.1)
  
  #you can type your program here
  
  # update progress bar
  setTxtProgressBar(pb, i)
}
close(pb)
print("Developed By Data Experts")

╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
╰──•═✾🔝✾═•──╯
▪️▫️▪️▫️▪️▫️▪️‏

╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
╰──•═✾🔝✾═•──╯

هوش مصنوعی و پایتون رو اینجا یاد بگیرید:
@ai_python
لینوکس رو هم اینجا:
@uselinux

آموزش و معرفی نرم افزار (گفی) Gephi مناسب تحلیل شبکه های اجتماعی در داده کاوی:

نرم افزار گفی ابزاری مناسب برای تحلیل گران اطلاعات و دانشمندان مشتاق به کشف و درک سیستم های پیچیده است. نرم افزاری شبیه به فتوشاپ اما برای داده های گراف، با قدرت رسم و تجسم سه بعدی از سیستم ها بر اساس داده های دریافتی. ابزار قدرتمند گفی به کاربران امکان رسم و دستکاری ساختار، شکل و رنگ گراف ها را به منظور یافتن گراف بهینه و الگوهای پنهان می دهد. ابزارهای آماری این نرم افزار کمک شایانی به استخراج خواص آماری مختلف گراف ها می کند. همچنین الگوریتم های معروف تشخیص اجتماعات در این نرم افزار، امکان تعیین و آشکارسازی خوشه ها و اجتماعات پنهان در دل شبکه ها را به کاربران داده است.
╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
╰──•═✾🔝✾═•──╯
❇️ نرم افزار گفی به عنوان یکی از سریع ترین موتورهای ترسیم گراف های بزرگ شناخته می شود.
❇️ ابزاری برای دستکاری نمودارها
❇️ الگوریتم های ویرایش طرح های شبکه (Foce-based algorithms) امکان دستکاری نحوه ترسیم شبکه ها را فراهم می سازد. این طرح ها امکان تغییر گراف ها را در حین اجرا به کاربر می دهد تا گراف بهینه را انتخاب نماید.
معیارها و نمودارهای شناخته شده نرم افزار گفی که بر اساس مشخصه های آماری هستند، در آنالیز شبکه های اجتماعی و scale-free بسیار غنی هستند.
Metrics: معیارها
❇️ Betweenness Centrality, Closeness, Diameter, Clustering Coefficient, PageRank
❇️تشخیص اجتماعات و ...
در ‍‍پستهای بعدی به آموزش این نرم افزار خواهیم پرداخت

آموزش و نصب نرم افزار Gephi

╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
╰──•═✾🔝✾═•──╯

معرفی نرم افزار داده کاوی #وکا
#Weka

مجموعه ای از الگوريتم های يادگيری ماشيني و ابزارهای پيش پردازش داده می باشد. این نرم افزار پشتيباني های ارزشمندی را برای کل فرآينها داده کاوی های تجربي فراهم مي کنند.
اين نرم‌افزار، پشتيباني‌هاي ارزشمندي را براي كل فرآيند داده كاوي هاي تجربي فراهم ميكند. اين پشتيباني‌ها، آماده سازي داده‌هاي ورودي، ارزيابي آماري چارچوبهاي يادگيري و نمايش گرافيكي داده‌هاي ورودي و نتايج يادگيري را در بر ميگيرند. همچنين، هماهنگ با دامنه وسيع الگوريتمهاي يادگيري، اين نرم‌افزار شامل ابزارهاي متنوع پيش پردازش داده‌هاست. اين جعبه ابزار متنوع و جامع، از طريق يك واسط متداول در دسترس است، به نحوي كه كاربر ميتواند روشهاي متفاوت را در آن با يكديگر مقايسه كند و روشهايي را كه براي مسايل مدنظر مناسبتر هستند، تشخيص دهد.
╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
╰──•═✾🔝✾═•──╯
همچنين، اين نرم افزار شامل مجموعه متنوعي از ابزارهاي تبديل مجموعه‌هاي داده ها، همانند الگوريتمهاي گسسته سازي ميباشد. در اين محيط ميتوان يك مجموعه داده را پيش پردازش كرد، آن را به يك طرح يادگيري وارد نمود، و دسته‌بندي حاصله و كارآيي‌اش را مورد تحليل قرار داد.( همه اين كارها، بدون نياز به نوشتن هيچ قطعه برنامه‌اي ميسر است!!)
اين محيط، شامل روشهايي براي همه مسايل استاندارد داده كاوي مانند رگرسيون، رده‌بندي، خوشه‌بندي، كاوش قواعد انجمني و انتخاب ويژگي ميباشد. با در نظر گرفتن اينكه، داده‌ها بخش مكمل كار هستند، بسياري از ابزارهاي پيش پردازش داده‌ها و مصورسازي آنها فراهم گشته است. همه الگوريتم ها، وروديهاي خود را به صورت يك جدول رابطهاي به فرمت ARFF دريافت ميكنند. اين فرمت داده‌ها، ميتواند از يك فايل خوانده شده يا به وسيله يك درخواست از پايگاه دادهاي توليد گردد.
يكي از راههاي به كارگيري Weka ، اعمال يك روش يادگيري به يك مجموعه داده و تحليل خروجي آن براي شناخت چيزهاي بيشتري راجع به آن اطلاعات ميباشد. راه ديگر استفاده از مدل يادگيري شده براي توليد پيشبيني‌هايي در مورد نمونه‌هاي جديد است.
╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
╰──•═✾🔝✾═•──╯

آموزش نرم افزار #وکا

╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
╰──•═✾🔝✾═•──╯

داده کاوی با نرم افزار Weka

#داده_کاوی
#وکا
#weka


╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
╰──•═✾🔝✾═•──╯

فایل ارائه علم‌داده از تئوری تا بازار کار!
ارایه دهنده مهندس محمد رضا محتاط
╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
╰──•═✾🔝✾═•──╯

در سمینار علم‌داده از تئوری تا بازار که در تاریخ 26 اردیبهشت در دانشگاه خوارزمی برگزار شد حوزه‌ها و فیلدهای کاری مرتبط با علم‌داده شامل داده‌کاوی، متن‌کاوی، هوش‌تجاری و کلان‌داده در بازار کار ایران موردبررسی قرار گرفت.

به تفکیک بخش‌های فوق، مهارت‌ها و دانش‌ها موردنیاز جهت ورود به بازار کار و مسیرهای یادگیری آن به‌وسیله معرفی پلتفرم‌های برتر، زبان‌های برنامه‌نویسی رایج، منابع آنلاین و کتاب‌های مرجع معرفی گردید.
╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
╰──•═✾🔝✾═•──╯
علاقه‌مندان می‌توانند از طریق فایل فوق از محتواهای ارائه‌شده استفاده نمایند.

#متن_کاوی
#انالیز_متن_کاوی
#پردازش_زبان_طبیعی
#NLP
#پردازش_متن

داده کاوی در متن در زمان های مختلف بر اساس کاربرد و روش شناسی مورد استفاده، به صورت پردازش متن آماری، کشف دانش در متن، آنالیز هوشمند متن یا پردازش زبان طبیعی تعیین شده است. به عنوان مثال هایی از کارهایی که متن کاوی انجام می دهد می توان به دسته بندی یا classifying اسناد به مجموعه ای از تاپیک های مشخص (یادگیری با نظارت)، گروه بندی کردن اسناد به طوری که هر یک از اعضای هر گروه معنای مشابهی داشته باشد (کلاسترینگ یا یادگیری بدون ناظر) و یافتن اسنادی که برخی از معیارهای جستجو را satisfy کند (information Retrieval یا بازیابی اطلاعات) اشاره کرد.
متن كاوي به عنوان تجزيه و تحليل هوشمند متن، داده كاوي متن يا كشف دانش در متن نيز شناخته ميشود. متن كاوي بر روي داده هاي متني غير ساختيافته و نيمه ساختيافته تعريف مي گردد داده هاي متني غير ساخت يافته مانند صفحات وب، يادداشت، صورتحساب و …. و داده های متنی نيمه ساخت يافته مانند XML, HTML… .
╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
──•═✾🔝✾═•──╯
چندین تکنیک برای متن کاوی پیشنهاد شده است عبارتند از ساختار مفهومی،کاوش association ruleها درخت تصمیم گیری، روش های استنتاج قوانین، همچنین تکنیک های بازیابی اطلاعات برای کارهایی مانند تطبیق دادن سندها، مرتب کردن کردن، کلاسترینگ و…. از جمله مشکلاتی که در زمینه متن کاوی وجود دارد کشف کردن دانش مفید از متن نیمه ساخت یافته یا غیرساخت یافته است که توجه زیادی را به خود جلب کرده است.
پس متن كاوي يكي از زمينه هاي است كه به دنبال استخراج اطلاعات مفيد، از داده هاي متني بدون ساختار، به وسيله شناسايي و اكتشاف الگوها مي باشد. ايده اصلي متن كاوي، يافتن قطعات كوچك اطلاعات ازحجم زياد داده هاي متني، بدون نياز به خواندن تمام آن است. متن کاوی با انتقال کلمات و عبارات که بصورت داده های unstructured یا غیر ساخت یافته هستند به مقادیر عددی عمل می کند که پس از آن می تواند این داده های غیر ساخت یافته را به داده های ساخت یافته در یک پایگاه داده لینک داد و آن را با استفاده از روش های سنتی داده کاوی آنالیز کرد. به استفاده از روش های متن کاوی برای حل مسائل بیزینسی یا کسب و کار text analytics می گویند. متن کاوی به سازمان ها این امکان را می دهد که بینش تجاری ارزشمندی از محتواهای مبتنی بر متن خود مانند اسناد word ، ایمیل و پست هایی که در استریم رسانه های اجتماعی مانند فیسبوک و توئیتر و linkedIn وجود دارد به دست آورند.
کاوش داده های غیر ساخت یافته با پردازش زبان طبیعی (NLP)، مدلسازی آماری و روش های یادگیری ماشین ممکن است سخت و چالش برانگیز باشد چون متن های زبان طبیعی اغلب متناقض هستند.

«با ما همراه باشید و متخصص علم داده شوید»
╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
──•═✾🔝✾═•──╯

Machine Learning For Financial Engineering
╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
──•═✾🔝✾═•──╯

#پردازش_زبان_طبيعي
#NLP

نقش nlp در متن کاوی استفاده کامپیوتر برای پردازش زبان گفتاری و نوشتاری انسان و هدف از پردازش زبان طبیعی اینست که به کامپیوترها در پردازش زبان طبیعی به عنوان ورودی و خروجی استفاده کنند .از معایب استفاده از nlp درک دشوار در فهمیدن معانی کلمات در یک جمله که مستقل از گرامر است و گرامر بسیاری از زبانهای طبیعی دقیق نیست .
╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
──•═✾🔝✾═•──╯
از چالشهای موجود در nlp برچسب گذاری ادات سخن(برچسبگذاری عبارتهای در یک نامه و تشخیص اینکه فاعل و ضمیر کاری دشوار است وتنها به افعال و صفات بستگی ندارد) بلکه به زمینه ادات که در آن بکار رفته واسبته است.

بخش بندی متون: در برخی از زبانهای فارسی وچینی ... که یک کلمه یا واژه دارای معانی متفاوتی است و تجزیه متن نیاز به شناسایی مرزهای مختلف معنایی اون کلمه است.
ابهام زادیی کلمات: با وجود معنای متفاوت از کلمات انتخاب معنی مناسب کلمه کاری دشوار است.
╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
──•═✾🔝✾═•──╯
ادامه دارد

#پردازش_زبان_طبيعي
#NLP
کاربردهای پردازش زبان طبیعی را میتوان در موارد زیر خلاصه کرد.
بازیابی اطلاعات
استخراج اطلاعات
پاسخگویی به سوالات
خلاصه سازس خودکار
ایجاد زبان طبیعی
درک زبان طبیعی
ترجمه ماشینی
خواندن و نوشتن زبان خارجی
تشخیص گفتار
تبدیل متن به گفتار
رفع اشتباهات متون
و...
برای انجام هرکدوم از این موارد در عمل نیاز به درک درستی از برنامه نویسی می باشد .

با تیم ما همراه باشید تا یک پژوهشگر علم داده شوید

╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
──•═✾🔝✾═•──╯

جدیدترین #پکیج جهت دسترسی به دیتابیس اداره پلیس انگلیس و استفاده همگانی منتشر شد.

#install.packages("remotes")
remotes::install_github("njtierney/ukpolice")

https://data.police.uk/
https://ukpolice.njtierney.com/

╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
──•═✾🔝✾═•──╯