#رابط_برنامه_نویسی API
#هدووپ
چگونه به اطلاعات و داده های نوشته شده در هدووپ جهت جهت دستکاری و... در R فراخوانی و اجرا کنیم؟!!!😳🙄
""قبلش شما به حافظه پردازنده بالای RAM کامپیوتر نیاز دارید.""
شما برای این کار دو راه دارید
شما میتوانید اطلاعات خود را از هدووپ به SQL ببریدو از آنجا به R فراخوانی کنید(قبلا در گروه فراخوانی از SQLبه R بحث شده است) میتوانید کدهای خود را با پکیج dpylr بنویسید.
شما جهت کار کردن با پکیج های هدووپ نظیرImpala, HBase and Spark با استفاده از پکیج dpylr مورد بررسی قرار بدیم.
╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
╰──•═✾🔝✾═•──╯
1- شما میتوانید برای ارتباط هدووپ با r از این بسته استفاده کنید
ODBC
شما جهت استفاده از مورد نیاز است که این موتورهای آپاچی نصب داشته باشید

Hive, Impala, HBase

جهت دسترسی به این پلتفورم ها نیاز به این پکیج های r دارید

DBI, dplyr and odbc

همچین ممکن است که بسته dplyr به بسته dbplyr نیاز پیدا کند.
جهت ایجاد ارتباط با هدووپ نیاز است که این پکیج odbc را به هدووپ متصل گردانید.

library(odbc)

con <- dbConnect(odbc::odbc(),
driver = <driver>, host = <host>,dbname = <dbname>,
user = <user>, password = <password>,port = 10000)
tbl(con, "mytable") # dplyr
dbGetQuery(con, "SELECT * FROM mytable") # SQL
dbDisconnect(con)

2- همچنین اگر بر روی کامپیوتر خود spark نصب دارید و متصل به هدووپ از پکیج sparklyr جهت دسترسی به HDFS استفاده کنید.

library(sparklyr)

con <- spark_connect(master = "yarn-client")

tbl(con, "mytable") # dplyr
dbGetQuery(con, "SELECT * FROM mytable") # SQL

spark_disconnect(con)

╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
╰──•═✾🔝✾═•──╯

#رابط_برنامه_نویسی API
#سی_پلاس_پلاس
در CPP برنامه بنویسیم و در R اجرا کنیم؟؟!!!

╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
╰──•═✾🔝✾═•──╯

ابتدا اخرین نسخه های Rtools و پکیج Rcpp را دانلود کنید
1- ابتدا یک کد ساده برنامه cpp را در نظر بگیرید فایل مورد نظر باید شامل این هدر باشد Rcpp.h و از تمام دستورات کتاب خانه ای در سی پلاس پلاس برای اجرای برنامه نیاز است استفاده کنید .سپس در بالای دستورات توابع از این تعریف استفاده کنید [[Rcpp::export]] و همچنین از این rcpp استفاده کنید

#include <Rcpp.h>
#include <math.h>
#include <iostream>
// [[Rcpp::export]]
std::string GreetName(std::string name)
{
    return "Good evening, " + name + "!";
}

2- فایل را با استفاده از این تابع در R اجرا کنید

sourceCpp()
library(Rcpp)
sourceCpp("../test.cpp")

اگر تمام این مراحل به درستی انجام گیرد مطابق این دستورات میتونید خروجی برنامه رو ببینین
میتونید برای دسترسی به اطلاعات بیشتر به این ادرس مراجعه کنین
https://cran.r-project.org/web/packages/Rcpp/index.html


╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
╰──•═✾🔝✾═•──╯

با ما همراه باشید و متخصص علم داده شوید تا ساعتی دیگر سوالات استاندارد مسابقات کشوری فناورد در اختیارتان قرار خواهد گرفت به کانال ما بپیوندید
╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
╰──•═✾🔝✾═•──╯

از همراهی شما سپاسگزاریم
از آنجایی که رویه این گروه چگونه یک دانشمند علم داده باشیم هست ابتدا به معرفی چندتا منبع و سپس به بررسی راه های پیش روی این خواهیم پرداخت.
ابتدا برای شناخت و داشتن پیش زمینه ای در رابطه با داده کاوی کتابهای زیر را برای مطالعه بیشتر تقدیم حضورتان میشود .
و بعدا به بررسی و تحلیل سوالات مسابقه کشوری و مورد تایید نهاد ریاست جمهوری و انجمن بنیاد نخبگان و... پرداخته خواهد شد و سعی بر آن خواهیم کرد که با دنبال کردن این روند شما را برای آماده کردن این مسابقه و جذب بازار کار تا انتهای مسیر با شما همراه باشیم .امید است که موفق باشید.

╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
╰──•═✾🔝✾═•──╯

کتاب
An Introduction to Statistical Learning with Applications By Hasti and other
کتابی است که شما را با مفاهیم و الگوریتم های مقدماتی علم داده و اصول برنامه نویسی در این حوزه اشنا میکند و شما در این کتاب اصول اولیه شامل آمار و ریاضیات,یادگیری ماشین,مدلهای آماری و طرح ازمایشات و الگوریتم های تصمیم گیری و . . . جهت اشنایی مقدماتی اشنا می شوید که جهت پاسخگویی به سوالات و چالشهای پیش روی یک دانشمند علم داده بسیار مفید می باشد در این کانال بصورت کاربرد و عملی به تشریح و پاسخگویی سوالات پرداخته خوهد شد.
╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
╰──•═✾🔝✾═•──╯

An Introduction to Statistical Learning with Applications in R

╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
╰──•═✾🔝✾═•──╯

Data Mining Applications with R

╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
╰──•═✾🔝✾═•──╯

مجموعه سوالات مسابقه فناورد
این قسمت تحلیل شبکه های اجتماعی
با همراه باشید و یک دانشمند علم داده شوید
╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
╰──•═✾🔝✾═•──╯

منتظر ما جهت تحلیل و بررسی پاسخ مسابقه فناورد و چگونه یک دانشمند علم داده باشیم همراه باشید

╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
╰──•═✾🔝✾═•──╯

کانفیگ نرم افزار R در نرم افزار رپیدماینر (RapidMiner)

چگونه یک دانشمند علم داده شویم با ما همراه شوید


╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
╰──•═✾🔝✾═•──╯

با سلام جهت انجام تحلیل شبکه های اجتماعی بسته به نوع مسئله و نیاز نرم افزار آموزشی ما ابتدا به معرفی و آموزش نرم افزارهای کاربردی این حوزه خواهیم پرداخت باتوجه به مشغله های کاری ان شاءالله درصورت آزاد شدن وقت با کلی موضوعات خوب و عالی و سوپرایز خدمت همه شما عزیزان خواهیم بود .

تا چگونه یک دانشمند علم داده باشیم با ما همراه باشید.

╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
╰──•═✾🔝✾═•──╯

▪️▫️▪️▫️▪️▫️▪️
🔘آیا تا حالا در حین انجام شبیه سازی ها یا اجرای حلقه ها دوست داشتید بدونین توی کدوم قسمت حلقه قرار دارین؟! یا چقد از برنامتون مونده تا اجراش تموم بشه؟! مثل نصب برنامه که نوار نصب پر میشه؟!

راه های زیادی برای انجام این کار هست ساده ترین راه گذاشتن یک پرینت در انتهای حلقه هست تا دور حلقه رو برامون پرینت کنه ولی اینکار باعث شلوغ شدن کنسول میشه . ما راه کار جالبی رو بهتون پیشنهاد میدیم که میتونین باهاش این کار رو انجام بدین
#progress_bar #txtProgressBar
🔰🔰

total <- 20
# create progress bar
pb <- txtProgressBar(min = 0, max = total, style = 3)
for(i in 1:total){
 #sleep is for slowly run, not necessary
  Sys.sleep(0.1)
  
  #you can type your program here
  
  # update progress bar
  setTxtProgressBar(pb, i)
}
close(pb)
print("Developed By Data Experts")

╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
╰──•═✾🔝✾═•──╯
▪️▫️▪️▫️▪️▫️▪️‏

╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
╰──•═✾🔝✾═•──╯

هوش مصنوعی و پایتون رو اینجا یاد بگیرید:
@ai_python
لینوکس رو هم اینجا:
@uselinux

آموزش و معرفی نرم افزار (گفی) Gephi مناسب تحلیل شبکه های اجتماعی در داده کاوی:

نرم افزار گفی ابزاری مناسب برای تحلیل گران اطلاعات و دانشمندان مشتاق به کشف و درک سیستم های پیچیده است. نرم افزاری شبیه به فتوشاپ اما برای داده های گراف، با قدرت رسم و تجسم سه بعدی از سیستم ها بر اساس داده های دریافتی. ابزار قدرتمند گفی به کاربران امکان رسم و دستکاری ساختار، شکل و رنگ گراف ها را به منظور یافتن گراف بهینه و الگوهای پنهان می دهد. ابزارهای آماری این نرم افزار کمک شایانی به استخراج خواص آماری مختلف گراف ها می کند. همچنین الگوریتم های معروف تشخیص اجتماعات در این نرم افزار، امکان تعیین و آشکارسازی خوشه ها و اجتماعات پنهان در دل شبکه ها را به کاربران داده است.
╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
╰──•═✾🔝✾═•──╯
❇️ نرم افزار گفی به عنوان یکی از سریع ترین موتورهای ترسیم گراف های بزرگ شناخته می شود.
❇️ ابزاری برای دستکاری نمودارها
❇️ الگوریتم های ویرایش طرح های شبکه (Foce-based algorithms) امکان دستکاری نحوه ترسیم شبکه ها را فراهم می سازد. این طرح ها امکان تغییر گراف ها را در حین اجرا به کاربر می دهد تا گراف بهینه را انتخاب نماید.
معیارها و نمودارهای شناخته شده نرم افزار گفی که بر اساس مشخصه های آماری هستند، در آنالیز شبکه های اجتماعی و scale-free بسیار غنی هستند.
Metrics: معیارها
❇️ Betweenness Centrality, Closeness, Diameter, Clustering Coefficient, PageRank
❇️تشخیص اجتماعات و ...
در ‍‍پستهای بعدی به آموزش این نرم افزار خواهیم پرداخت

آموزش و نصب نرم افزار Gephi

╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
╰──•═✾🔝✾═•──╯

معرفی نرم افزار داده کاوی #وکا
#Weka

مجموعه ای از الگوريتم های يادگيری ماشيني و ابزارهای پيش پردازش داده می باشد. این نرم افزار پشتيباني های ارزشمندی را برای کل فرآينها داده کاوی های تجربي فراهم مي کنند.
اين نرم‌افزار، پشتيباني‌هاي ارزشمندي را براي كل فرآيند داده كاوي هاي تجربي فراهم ميكند. اين پشتيباني‌ها، آماده سازي داده‌هاي ورودي، ارزيابي آماري چارچوبهاي يادگيري و نمايش گرافيكي داده‌هاي ورودي و نتايج يادگيري را در بر ميگيرند. همچنين، هماهنگ با دامنه وسيع الگوريتمهاي يادگيري، اين نرم‌افزار شامل ابزارهاي متنوع پيش پردازش داده‌هاست. اين جعبه ابزار متنوع و جامع، از طريق يك واسط متداول در دسترس است، به نحوي كه كاربر ميتواند روشهاي متفاوت را در آن با يكديگر مقايسه كند و روشهايي را كه براي مسايل مدنظر مناسبتر هستند، تشخيص دهد.
╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
╰──•═✾🔝✾═•──╯
همچنين، اين نرم افزار شامل مجموعه متنوعي از ابزارهاي تبديل مجموعه‌هاي داده ها، همانند الگوريتمهاي گسسته سازي ميباشد. در اين محيط ميتوان يك مجموعه داده را پيش پردازش كرد، آن را به يك طرح يادگيري وارد نمود، و دسته‌بندي حاصله و كارآيي‌اش را مورد تحليل قرار داد.( همه اين كارها، بدون نياز به نوشتن هيچ قطعه برنامه‌اي ميسر است!!)
اين محيط، شامل روشهايي براي همه مسايل استاندارد داده كاوي مانند رگرسيون، رده‌بندي، خوشه‌بندي، كاوش قواعد انجمني و انتخاب ويژگي ميباشد. با در نظر گرفتن اينكه، داده‌ها بخش مكمل كار هستند، بسياري از ابزارهاي پيش پردازش داده‌ها و مصورسازي آنها فراهم گشته است. همه الگوريتم ها، وروديهاي خود را به صورت يك جدول رابطهاي به فرمت ARFF دريافت ميكنند. اين فرمت داده‌ها، ميتواند از يك فايل خوانده شده يا به وسيله يك درخواست از پايگاه دادهاي توليد گردد.
يكي از راههاي به كارگيري Weka ، اعمال يك روش يادگيري به يك مجموعه داده و تحليل خروجي آن براي شناخت چيزهاي بيشتري راجع به آن اطلاعات ميباشد. راه ديگر استفاده از مدل يادگيري شده براي توليد پيشبيني‌هايي در مورد نمونه‌هاي جديد است.
╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
╰──•═✾🔝✾═•──╯

آموزش نرم افزار #وکا

╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
╰──•═✾🔝✾═•──╯

داده کاوی با نرم افزار Weka

#داده_کاوی
#وکا
#weka


╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
╰──•═✾🔝✾═•──╯

فایل ارائه علم‌داده از تئوری تا بازار کار!
ارایه دهنده مهندس محمد رضا محتاط
╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
╰──•═✾🔝✾═•──╯

در سمینار علم‌داده از تئوری تا بازار که در تاریخ 26 اردیبهشت در دانشگاه خوارزمی برگزار شد حوزه‌ها و فیلدهای کاری مرتبط با علم‌داده شامل داده‌کاوی، متن‌کاوی، هوش‌تجاری و کلان‌داده در بازار کار ایران موردبررسی قرار گرفت.

به تفکیک بخش‌های فوق، مهارت‌ها و دانش‌ها موردنیاز جهت ورود به بازار کار و مسیرهای یادگیری آن به‌وسیله معرفی پلتفرم‌های برتر، زبان‌های برنامه‌نویسی رایج، منابع آنلاین و کتاب‌های مرجع معرفی گردید.
╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
╰──•═✾🔝✾═•──╯
علاقه‌مندان می‌توانند از طریق فایل فوق از محتواهای ارائه‌شده استفاده نمایند.