Data Experts
1.45K subscribers
213 photos
61 videos
38 files
171 links
متخصصین داده - مطالب علم داده و نرم‌افزارها و آموزش‌های این حوزه
Admin :
@javad_vahdat

YouTube:
https://www.youtube.com/@dataexperts
Download Telegram
▪️▫️▪️▫️▪️▫️▪️
🔘آیا تا حالا در حین انجام شبیه سازی ها یا اجرای حلقه ها دوست داشتید بدونین توی کدوم قسمت حلقه قرار دارین؟! یا چقد از برنامتون مونده تا اجراش تموم بشه؟! مثل نصب برنامه که نوار نصب پر میشه؟!

راه های زیادی برای انجام این کار هست ساده ترین راه گذاشتن یک پرینت در انتهای حلقه هست تا دور حلقه رو برامون پرینت کنه ولی اینکار باعث شلوغ شدن کنسول میشه . ما راه کار جالبی رو بهتون پیشنهاد میدیم که میتونین باهاش این کار رو انجام بدین
#progress_bar #txtProgressBar
🔰🔰
total <- 20
# create progress bar
pb <- txtProgressBar(min = 0, max = total, style = 3)
for(i in 1:total){
#sleep is for slowly run, not necessary
Sys.sleep(0.1)

#you can type your program here

# update progress bar
setTxtProgressBar(pb, i)
}
close(pb)
print("Developed By Data Experts")

╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
╰──•═✾🔝✾═•──╯
▪️▫️▪️▫️▪️▫️▪️
╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
╰──•═✾🔝✾═•──╯
Forwarded from Meysam Asgarichenaghlou
This media is not supported in your browser
VIEW IN TELEGRAM
هوش مصنوعی و پایتون رو اینجا یاد بگیرید:
@ai_python
لینوکس رو هم اینجا:
@uselinux
آموزش و معرفی نرم افزار (گفی) Gephi مناسب تحلیل شبکه های اجتماعی در داده کاوی:

نرم افزار گفی ابزاری مناسب برای تحلیل گران اطلاعات و دانشمندان مشتاق به کشف و درک سیستم های پیچیده است. نرم افزاری شبیه به فتوشاپ اما برای داده های گراف، با قدرت رسم و تجسم سه بعدی از سیستم ها بر اساس داده های دریافتی. ابزار قدرتمند گفی به کاربران امکان رسم و دستکاری ساختار، شکل و رنگ گراف ها را به منظور یافتن گراف بهینه و الگوهای پنهان می دهد. ابزارهای آماری این نرم افزار کمک شایانی به استخراج خواص آماری مختلف گراف ها می کند. همچنین الگوریتم های معروف تشخیص اجتماعات در این نرم افزار، امکان تعیین و آشکارسازی خوشه ها و اجتماعات پنهان در دل شبکه ها را به کاربران داده است.
╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
╰──•═✾🔝✾═•──╯
❇️ نرم افزار گفی به عنوان یکی از سریع ترین موتورهای ترسیم گراف های بزرگ شناخته می شود.
❇️ ابزاری برای دستکاری نمودارها
❇️ الگوریتم های ویرایش طرح های شبکه (Foce-based algorithms) امکان دستکاری نحوه ترسیم شبکه ها را فراهم می سازد. این طرح ها امکان تغییر گراف ها را در حین اجرا به کاربر می دهد تا گراف بهینه را انتخاب نماید.
معیارها و نمودارهای شناخته شده نرم افزار گفی که بر اساس مشخصه های آماری هستند، در آنالیز شبکه های اجتماعی و scale-free بسیار غنی هستند.
Metrics: معیارها
❇️ Betweenness Centrality, Closeness, Diameter, Clustering Coefficient, PageRank
❇️تشخیص اجتماعات و ...
در ‍‍پستهای بعدی به آموزش این نرم افزار خواهیم پرداخت
introduce-to-gephi-.pdf
1.5 MB
آموزش و نصب نرم افزار Gephi

╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
╰──•═✾🔝✾═•──╯
معرفی نرم افزار داده کاوی #وکا
#Weka

مجموعه ای از الگوريتم های يادگيری ماشيني و ابزارهای پيش پردازش داده می باشد. این نرم افزار پشتيباني های ارزشمندی را برای کل فرآينها داده کاوی های تجربي فراهم مي کنند.
اين نرم‌افزار، پشتيباني‌هاي ارزشمندي را براي كل فرآيند داده كاوي هاي تجربي فراهم ميكند. اين پشتيباني‌ها، آماده سازي داده‌هاي ورودي، ارزيابي آماري چارچوبهاي يادگيري و نمايش گرافيكي داده‌هاي ورودي و نتايج يادگيري را در بر ميگيرند. همچنين، هماهنگ با دامنه وسيع الگوريتمهاي يادگيري، اين نرم‌افزار شامل ابزارهاي متنوع پيش پردازش داده‌هاست. اين جعبه ابزار متنوع و جامع، از طريق يك واسط متداول در دسترس است، به نحوي كه كاربر ميتواند روشهاي متفاوت را در آن با يكديگر مقايسه كند و روشهايي را كه براي مسايل مدنظر مناسبتر هستند، تشخيص دهد.
╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
╰──•═✾🔝✾═•──╯
همچنين، اين نرم افزار شامل مجموعه متنوعي از ابزارهاي تبديل مجموعه‌هاي داده ها، همانند الگوريتمهاي گسسته سازي ميباشد. در اين محيط ميتوان يك مجموعه داده را پيش پردازش كرد، آن را به يك طرح يادگيري وارد نمود، و دسته‌بندي حاصله و كارآيي‌اش را مورد تحليل قرار داد.( همه اين كارها، بدون نياز به نوشتن هيچ قطعه برنامه‌اي ميسر است!!)
اين محيط، شامل روشهايي براي همه مسايل استاندارد داده كاوي مانند رگرسيون، رده‌بندي، خوشه‌بندي، كاوش قواعد انجمني و انتخاب ويژگي ميباشد. با در نظر گرفتن اينكه، داده‌ها بخش مكمل كار هستند، بسياري از ابزارهاي پيش پردازش داده‌ها و مصورسازي آنها فراهم گشته است. همه الگوريتم ها، وروديهاي خود را به صورت يك جدول رابطهاي به فرمت ARFF دريافت ميكنند. اين فرمت داده‌ها، ميتواند از يك فايل خوانده شده يا به وسيله يك درخواست از پايگاه دادهاي توليد گردد.
يكي از راههاي به كارگيري Weka ، اعمال يك روش يادگيري به يك مجموعه داده و تحليل خروجي آن براي شناخت چيزهاي بيشتري راجع به آن اطلاعات ميباشد. راه ديگر استفاده از مدل يادگيري شده براي توليد پيشبيني‌هايي در مورد نمونه‌هاي جديد است.
╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
╰──•═✾🔝✾═•──╯
WEKA.pdf
1.1 MB
آموزش نرم افزار #وکا

╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
╰──•═✾🔝✾═•──╯
👍1
weka.pdf
2.5 MB
داده کاوی با نرم افزار Weka

#داده_کاوی
#وکا
#weka


╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
╰──•═✾🔝✾═•──╯
👍1
Data Science.pdf
6.7 MB
فایل ارائه علم‌داده از تئوری تا بازار کار!
ارایه دهنده مهندس محمد رضا محتاط
╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
╰──•═✾🔝✾═•──╯
Data Experts
Data Science.pdf
در سمینار علم‌داده از تئوری تا بازار که در تاریخ 26 اردیبهشت در دانشگاه خوارزمی برگزار شد حوزه‌ها و فیلدهای کاری مرتبط با علم‌داده شامل داده‌کاوی، متن‌کاوی، هوش‌تجاری و کلان‌داده در بازار کار ایران موردبررسی قرار گرفت.

به تفکیک بخش‌های فوق، مهارت‌ها و دانش‌ها موردنیاز جهت ورود به بازار کار و مسیرهای یادگیری آن به‌وسیله معرفی پلتفرم‌های برتر، زبان‌های برنامه‌نویسی رایج، منابع آنلاین و کتاب‌های مرجع معرفی گردید.
╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
╰──•═✾🔝✾═•──╯
علاقه‌مندان می‌توانند از طریق فایل فوق از محتواهای ارائه‌شده استفاده نمایند.
#متن_کاوی
#انالیز_متن_کاوی
#پردازش_زبان_طبیعی
#NLP
#پردازش_متن

داده کاوی در متن در زمان های مختلف بر اساس کاربرد و روش شناسی مورد استفاده، به صورت پردازش متن آماری، کشف دانش در متن، آنالیز هوشمند متن یا پردازش زبان طبیعی تعیین شده است. به عنوان مثال هایی از کارهایی که متن کاوی انجام می دهد می توان به دسته بندی یا classifying اسناد به مجموعه ای از تاپیک های مشخص (یادگیری با نظارت)، گروه بندی کردن اسناد به طوری که هر یک از اعضای هر گروه معنای مشابهی داشته باشد (کلاسترینگ یا یادگیری بدون ناظر) و یافتن اسنادی که برخی از معیارهای جستجو را satisfy کند (information Retrieval یا بازیابی اطلاعات) اشاره کرد.
متن كاوي به عنوان تجزيه و تحليل هوشمند متن، داده كاوي متن يا كشف دانش در متن نيز شناخته ميشود. متن كاوي بر روي داده هاي متني غير ساختيافته و نيمه ساختيافته تعريف مي گردد داده هاي متني غير ساخت يافته مانند صفحات وب، يادداشت، صورتحساب و …. و داده های متنی نيمه ساخت يافته مانند XML, HTML… .
╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
──•═✾🔝✾═•──╯
چندین تکنیک برای متن کاوی پیشنهاد شده است عبارتند از ساختار مفهومی،کاوش association ruleها درخت تصمیم گیری، روش های استنتاج قوانین، همچنین تکنیک های بازیابی اطلاعات برای کارهایی مانند تطبیق دادن سندها، مرتب کردن کردن، کلاسترینگ و…. از جمله مشکلاتی که در زمینه متن کاوی وجود دارد کشف کردن دانش مفید از متن نیمه ساخت یافته یا غیرساخت یافته است که توجه زیادی را به خود جلب کرده است.
پس متن كاوي يكي از زمينه هاي است كه به دنبال استخراج اطلاعات مفيد، از داده هاي متني بدون ساختار، به وسيله شناسايي و اكتشاف الگوها مي باشد. ايده اصلي متن كاوي، يافتن قطعات كوچك اطلاعات ازحجم زياد داده هاي متني، بدون نياز به خواندن تمام آن است. متن کاوی با انتقال کلمات و عبارات که بصورت داده های unstructured یا غیر ساخت یافته هستند به مقادیر عددی عمل می کند که پس از آن می تواند این داده های غیر ساخت یافته را به داده های ساخت یافته در یک پایگاه داده لینک داد و آن را با استفاده از روش های سنتی داده کاوی آنالیز کرد. به استفاده از روش های متن کاوی برای حل مسائل بیزینسی یا کسب و کار text analytics می گویند. متن کاوی به سازمان ها این امکان را می دهد که بینش تجاری ارزشمندی از محتواهای مبتنی بر متن خود مانند اسناد word ، ایمیل و پست هایی که در استریم رسانه های اجتماعی مانند فیسبوک و توئیتر و linkedIn وجود دارد به دست آورند.
کاوش داده های غیر ساخت یافته با پردازش زبان طبیعی (NLP)، مدلسازی آماری و روش های یادگیری ماشین ممکن است سخت و چالش برانگیز باشد چون متن های زبان طبیعی اغلب متناقض هستند.

«با ما همراه باشید و متخصص علم داده شوید»
╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
──•═✾🔝✾═•──╯
Machine Learning For Financial Engineering.pdf
3.9 MB
Machine Learning For Financial Engineering
╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
──•═✾🔝✾═•──╯
#پردازش_زبان_طبيعي
#NLP

نقش nlp در متن کاوی استفاده کامپیوتر برای پردازش زبان گفتاری و نوشتاری انسان و هدف از پردازش زبان طبیعی اینست که به کامپیوترها در پردازش زبان طبیعی به عنوان ورودی و خروجی استفاده کنند .از معایب استفاده از nlp درک دشوار در فهمیدن معانی کلمات در یک جمله که مستقل از گرامر است و گرامر بسیاری از زبانهای طبیعی دقیق نیست .
╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
──•═✾🔝✾═•──╯
از چالشهای موجود در nlp برچسب گذاری ادات سخن(برچسبگذاری عبارتهای در یک نامه و تشخیص اینکه فاعل و ضمیر کاری دشوار است وتنها به افعال و صفات بستگی ندارد) بلکه به زمینه ادات که در آن بکار رفته واسبته است.

بخش بندی متون: در برخی از زبانهای فارسی وچینی ... که یک کلمه یا واژه دارای معانی متفاوتی است و تجزیه متن نیاز به شناسایی مرزهای مختلف معنایی اون کلمه است.
ابهام زادیی کلمات: با وجود معنای متفاوت از کلمات انتخاب معنی مناسب کلمه کاری دشوار است.
╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
──•═✾🔝✾═•──╯
ادامه دارد
#پردازش_زبان_طبيعي
#NLP
کاربردهای پردازش زبان طبیعی را میتوان در موارد زیر خلاصه کرد.
بازیابی اطلاعات
استخراج اطلاعات
پاسخگویی به سوالات
خلاصه سازس خودکار
ایجاد زبان طبیعی
درک زبان طبیعی
ترجمه ماشینی
خواندن و نوشتن زبان خارجی
تشخیص گفتار
تبدیل متن به گفتار
رفع اشتباهات متون
و...
برای انجام هرکدوم از این موارد در عمل نیاز به درک درستی از برنامه نویسی می باشد .

با تیم ما همراه باشید تا یک پژوهشگر علم داده شوید

╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
──•═✾🔝✾═•──╯
جدیدترین #پکیج جهت دسترسی به دیتابیس اداره پلیس انگلیس و استفاده همگانی منتشر شد.

#install.packages("remotes")
remotes::install_github("njtierney/ukpolice")

https://data.police.uk/
https://ukpolice.njtierney.com/

╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
──•═✾🔝✾═•──╯
Forwarded from javad vahdat
Media is too big
VIEW IN TELEGRAM
"A Rainy Night In Paris"
Chris de burg

تصاویر ویدیو ضبط شده از یک روز بارانی در محوطه دانشگاه تبریز هست😊
ببینید و لذت ببرید👍

╭──•═✾®✾═•──╮
••• @Data_Experts •••
╰──•═✾®✾═•──╯
در مبحث #دادهـکاوی #وب_کاوی میتونید علایق برنامه نویسان رو در سایت گیتهاب GitHub با استفاده از star که جهت دسترسی و علاقه علامتگذاری میکنند, میتونید تحلیل انجام دهید
install.packages("devtools")
or install.packages("remotes")
devtools::install_packages("ropenscilabs/stellar")

╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
──•═✾🔝✾═•──╯
چگونه از صفحه اینترنت با نرم افزار R #عکس بگیریم؟؟🤔🤔🔥🔥

#Screenshot
>install.packages("webshot")
>webshot::install_phantomjs()


library(webshot)
webshot("
https://www.r-project.org/", "r.png")
webshot("
https://www.r-project.org/", "r.pdf") # Can also output to PDF

جهت پیش نمایش تصویر در برنامه
webshot("https://www.r-project.org/", "r-viewport.png", cliprect = "viewport")

اگرقصد انتخاب یک قسمت از صفحه را دارید
webshot("https://www.r-project.org/", "r-sidebar.png", selector = ".sidebar")

اگر میخایید عکسی شامل همه مطالب داشته باشید.
webshot("https://www.r project.org/", "r-selectors.png",
selector = c("
#getting-started", "#news"))
جهت گسترش و مستطیلی کردن منطقه
webshot("https://www.r-project.org/", "r-expand.png",
selector = "#getting-started",expand = c(40, 20, 40, 20))‍‍‍

اگر قصد زوم کردن و بهبود کیفیت دارید
webshot("https://www.r-project.org/", "r-sidebar-zoom.png",selector = ".sidebar", zoom = 2)
جهت اطلاعات بیشتر به پکیج مورد نظر مراجعه نمایید.
🔥🔥با ما همراه باشید و تحلیلگر علم داده شوید🔥🔥

╭──•═✾🔘✾═•──╮
••• @Data_Experts •••
──•═✾🔝✾═•──╯