کانال داده کاوی و علم داده:
https://telegram.me/dataanalysis

گروه متن کاوی و وب کاوی:
https://telegram.me/joinchat/BCuwFj7gB2ao7yLqVrUaAg

گروه کلان داده:
https://telegram.me/joinchat/A7SgeDuzptdo9zhyJV7MVA

گروه علوم داده:
https://telegram.me/joinchat/CVZpEj0EaiNQ47bY-4ko5g

گروه علوم داده در سلامت:
https://telegram.me/joinchat/CVZpEj4Rtpue1yJC78EImA

قیام NoSQL ادامه دارد – نگاهی به گرایشات و بازارکار

- بانک‌های اطلاعاتی در مسیر هوشمندی
- هوش تجاری (Business Intelligence) چیست؟
- انبار داده (Data Warehouse) چیست؟
- اهمیت بزرگ‌داده
NoSQL قیام خود را از مدت‌ها قبل آغاز کرده
- رده‌بندی بانک‌های اطلاعاتی مبتنی بر NoSQL
- میزان دستمزد پرداختی برای هریک از این گروه‌ها چگونه است؟
- میزان دستمزد پرداختی برای هریک از این گروه‌ها چگونه است؟


https://www.bigdata.ir/1395/03/%d9%82%db%8c%d8%a7%d9%85-nosql-%d8%a7%d8%af%d8%a7%d9%85%d9%87-%d8%af%d8%a7%d8%b1%d8%af-%d9%86%da%af%d8%a7%d9%87%db%8c-%d8%a8%d9%87-%da%af%d8%b1%d8%a7%db%8c%d8%b4%d8%a7%d8%aa-%d9%88-%d8%a8%d8%a7/

امروز با رواج استفاده از شبکه‌های اجتماعی، یکی از بهترین راه‌های دستیابی به کلان‌داده‌ها، دسترسی به مراکز اطلاعاتی (data center) این شبکه‌هاست.

🆔 @mfta_ir

معماری پردازش پلت‌فرم های مبتنی بر اینترنت اشیا در بستر Big Data

@dataanalysis

تعریف یک معماری مرجع:
#BigData
@BigDataTechnology

آیا یک مدل مرجع برای کلان داده مشابه معماری محاسبات ابری وجود دارد؟

در مقایسه با معماری ابری ، نمای سیستم کلان داده ای را میتوان به ۴ لایه تقسیم بندی کرد:

- زیربنا به عنوان سرویس یا IaaS:
این لایه شامل منابع ذخیره سازی،سرورها و شبکه ها به عنوان پایه و اساس می باشد. فایل سیستم های توزیع شده درون این لایه قرار دارد.

- بستر به عنوان سرویس یا PaaS:
داده های ذخیره شده به صورت NoSQL و کش هاس توزیع شده که میتوانیم با ارسال درخواست از زبان پرس وجو آن ها را بازیابی کنیم،بستر کلان داده را تشکیل می دهد.
این لایه یک مدل منطقی از داده های خام و بدون ساختار ذخیره شده در فایل ها را ارائه می دهد.

- داده به عنوان سرویس DaaS:
مجموعه ای کامل از ابزارهای موجود برای یکپارچه سازی با لایه PaaS با استفاده از موتورهای جست و جو،اداپتورهای یکپارچه ساز،برنامه های دسته ای و دیگر موارد همگی درون این لایه قرار دارد.

- توابع تجاری کلان داده به عنوان سرویس BFaaS:
صنایع بخصوصی  همچون پزشکی،خرده فروشی،تجارت الکترونیک،انرژی و بانکداری میتواند پکیج های نرم افزاری مخصوص به خود را بسازد و سیستم های خود را با قرار دادن آن ها در اختیار لایه DaaS ،احتیاجات سیستم های خود را بر طرف سازند.

در ادامه معماری سیستم کلان داده را با جزئیات دنبال خواهیم کرد.

@BigDataTechnology

تحلیل کاهش قیمت نفت با استفاده از بیگ دیتا

🌍: https://mfta.ir/?p=15486

🆔 @mfta_ir

شروع کار با اسپارک : راه اندازی محیط کار


اسپارک به عنوان یک جایگزین برای روش سنتی توزیع و تجمیع (MapReduce) در هدوپ، به موتور اصلی پردازش داده های حجیم در اکوسیستم های مبتنی بر کلان داده تبدیل شده است . البته شاید برای بعضی کاربردهای خاص که داده های بسیار حجیم و غیر قابل بارگذاری در حافظه دارند، هنوز هم روش توزیع و تجمیع کارآیی بهتری دارد، اما برای اکثر کاربردهای موجود، اسپارک می تواند یک جایگزین مناسب تر و کارآتر باشد که این امر باعث رواج و گسترش  روز افزون آن شده است .


- ساخت اکانت و ایجاد اولین کتابچه پایتون برای کار با اسپارک

- تنظیمات اولیه

- نحوه کار با سلول ها در کتابچه ها

- نوشتن دستورات معمول پایتون

- آشنایی با مفهوم زمینه کار  و نحوه اجرای دستورات در اسپارک



https://www.bigdata.ir/1395/03/%D8%B4%D8%B1%D9%88%D8%B9-%DA%A9%D8%A7%D8%B1-%D8%A8%D8%A7-%D8%A7%D8%B3%D9%BE%D8%A7%D8%B1%DA%A9-%D8%B1%D8%A7%D9%87-%D8%A7%D9%86%D8%AF%D8%A7%D8%B2%DB%8C-%D9%85%D8%AD%DB%8C%D8%B7-%DA%A9%D8%A7%D8%B1/

سمینار تخصصی” کاربرد کلان داده‌ها در سازمان‌های بزرگ ”
محل برگزاری: مرکز مطالعات بهره وری و منابع انسانی سازمان مدیریت صنعتی
زمان: چهارشنبه و پنجشنبه، ۳۰ و ۳۱ تیرماه ۱۳۹۵ هجری شمسی

🆔 @mfta_ir

✳️ سمینار تخصصی” کاربرد کلان داده‌ها در سازمان‌های بزرگ ”
محل برگزاری: مرکز مطالعات بهره وری و منابع انسانی سازمان مدیریت صنعتی
زمان: چهارشنبه و پنجشنبه، ۳۰ و ۳۱ تیرماه ۱۳۹۵ هجری شمسی (۲۰ و ۲۱ جولای۲۰۱۶ میلادی)
برای کسب اطلاعات بیشتر با شماره تلفن ۸۹۳۱۳۱۱۴-۰۲۱ تماس حاصل نمایید.
دریافت فرم ثبت نام:👇👇👇

🌍: https://mfta.ir/conference/15607

🆔 @mfta_ir

سمینار تخصصی کاربرد کلان داده ها در سازمان های بزرگ

تاثیر روابط و رفتارهای زوجین با استفاده از بیگ دیتا
از طریق پیام‌رسان‌ها می‌توانیم رابطهٔ بین خود و همسرمان را تجزیه‌وتحلیل نماییم.
ادامه...
👇👇

🌍: https://mfta.ir/?p=15649

🆔 @mfta_ir

نقش بیگ دیتا در بهبود زندگی آمریکایی ها
👇👇

🌍 https://mfta.ir/?p=15662

🆔 @mfta_ir

دولت اوباما به‌تازگی کارگروهی را تشکیل داده است تا گزارش جامعی در رابطه با فرصت‌ها و چالش‌های پیش روی بیگ دیتا در چهار حوزه کلیدی جامعه صادر نمایند:
۱- اعتبار شخصی ۲-استخدام ۳-آموزش عالی ۴-اجرای قانون

این گزارش اشاره می‌کند بیگ دیتا و فن‌آوری‌های مرتبط پتانسیل‌های عظیمی با تأثیرات مثبت در آمریکا بوجود خواهند آورد؛ اما اگر از بیگ دیتا درست استفاده نشود می‌تواند نتیجه عکس دهد.

🌍 https://mfta.ir/?p=15662

🆔 @mfta_ir

الگو های ذخیره سازی کلان داده:

@BigDataTechnology

الگوی Facade : سیستم فایل توزیع شده هدوپ HDFS از الگوی نوبتی Facade برای رسیدگی به انباره داده های قدیمی استفاده میکند.

الگوی Lean : با HBase تنها با استفاده از یک ستون خانوادگی و یک ستون و یک کلید سطر یکتا عمل شاخص گذاری را انجام می دهد.

 الگوی NoSQL : سیستم  RDBMS قدیمی توسط NoSQL ها برای دستیابی به داده ها با سرعت بالاتر و پرس و جوهای کلان داده ای جایگزین میشود.

الگوی Polygot : انواع مختلف مکانیزم های ذخیره سازی مثل RDBMS ,NoSQL,CMS, OODBMS,HDFS بطور همزمان در سیستم وجود دارد تا مسائل کلان داده موجود را پاسخگو باشند.

@BigDataTechnology

Vertica HP

یک نمونه از دستگاه پکیج شده
سازنده های دستگاه ها با چندین پیکربندی

🔵توزیع نرم افزاری هدوپ  :
➡Cloudera, Hortonwork,MAPR

🔵ذخیره سازی:
پایگاه داده ستونی RAID و HP Vertica

🔵زیرساخت:
➡HP Proliant Server

🔵تحلیل/بصری سازی:
➡SAS

🔵یادگیری ماشین :
➡R

@BigDataTechnology

لیست سازنده های کلان داده با چندین پیکربندی:

🔵برند EMC
ملحقات همراه با برند:
Greenplum appliance + EMC Storage HW+ Pivotal HD(Hadoop Distributation) + TeraData

🔵برند Oracle
ملحقات همراه برند:
Exadata + Sun SPARC Servers + Exalytics

🔵برند IBM :
ملحقات همراه برند:
Big Insights + Netezza + PureData + PureSysyems


@BigDataTechnology

Top Data Science Book

https://www.kdnuggets.com/wp-content/uploads/free-data-science-books8.jpg

@dataanalysis

✅ نقش بیگ دیتا و داده کاوی در صنایع سلامت و بهداشت - مشاهده کنید 📺📺📺👉
🆔 @mfta_ir

سکوی Azure و امکانات تحلیلی آن برای #Big_Data
@SQL_DataMining