الگو های ذخیره سازی کلان داده:

@BigDataTechnology

الگوی Facade : سیستم فایل توزیع شده هدوپ HDFS از الگوی نوبتی Facade برای رسیدگی به انباره داده های قدیمی استفاده میکند.

الگوی Lean : با HBase تنها با استفاده از یک ستون خانوادگی و یک ستون و یک کلید سطر یکتا عمل شاخص گذاری را انجام می دهد.

 الگوی NoSQL : سیستم  RDBMS قدیمی توسط NoSQL ها برای دستیابی به داده ها با سرعت بالاتر و پرس و جوهای کلان داده ای جایگزین میشود.

الگوی Polygot : انواع مختلف مکانیزم های ذخیره سازی مثل RDBMS ,NoSQL,CMS, OODBMS,HDFS بطور همزمان در سیستم وجود دارد تا مسائل کلان داده موجود را پاسخگو باشند.

@BigDataTechnology

Vertica HP

یک نمونه از دستگاه پکیج شده
سازنده های دستگاه ها با چندین پیکربندی

🔵توزیع نرم افزاری هدوپ  :
➡Cloudera, Hortonwork,MAPR

🔵ذخیره سازی:
پایگاه داده ستونی RAID و HP Vertica

🔵زیرساخت:
➡HP Proliant Server

🔵تحلیل/بصری سازی:
➡SAS

🔵یادگیری ماشین :
➡R

@BigDataTechnology

لیست سازنده های کلان داده با چندین پیکربندی:

🔵برند EMC
ملحقات همراه با برند:
Greenplum appliance + EMC Storage HW+ Pivotal HD(Hadoop Distributation) + TeraData

🔵برند Oracle
ملحقات همراه برند:
Exadata + Sun SPARC Servers + Exalytics

🔵برند IBM :
ملحقات همراه برند:
Big Insights + Netezza + PureData + PureSysyems


@BigDataTechnology

Top Data Science Book

https://www.kdnuggets.com/wp-content/uploads/free-data-science-books8.jpg

@dataanalysis

✅ نقش بیگ دیتا و داده کاوی در صنایع سلامت و بهداشت - مشاهده کنید 📺📺📺👉
🆔 @mfta_ir

سکوی Azure و امکانات تحلیلی آن برای #Big_Data
@SQL_DataMining

🚩با توجه به درخواست زیاد دانشجویان علاقمند به بحث بیگ دیتا چند مورد از موضوعات جذاب و مطالعات موردی جهت پژوهش معرفی می شود:

@BigDataTechnology

🔵الگوهای Ingestion و Stream بیگ دیتا:
-الگوی جداسازی چند منبعی
-الگوی مبدل پروتکل
-الگوی چند مقصدی
-الگوی انتقال در یک زمان
-الگوی بلادرنگ جریان


🔵الگوهای ذخیره سازی بیگ دیتا:
-الگوی دریچه
-دستگاه های داده ای
-دیسک های ذخیره سازی
- بایگانی داده ها
-الگوی NoSQL
-زیر ساخت ذخیره سازی
-الگوی تداوم چند زبانی
-بخش بندی داده/ شاخص گذاری

🔵الگوی های BigData  Access:
-درک دستیابی به بیگ دیتا
-الگوی تبدیل سطح
-الگوی اتصال دهنده
-الگوی دسترسی شبه بلادرنگ
-الگوی گزینش
-آنالیز سریع داده ها
-دستیابی ایمن به داده ها

🔵الگوهای کشف و تحلیل داده ها:
-الگوی پرس و جو داده
-الگوی ادراک بر پایه شاخص
-الگوی جست و جوی برجی
-الگوی هدایت گر یادگیری ماشین
-الگوی همگرا
-تحلیل فایل های Log
- تحلیل حساسیت
-تحلیل داده به عنوان سرویس

🔵الگوهای Visualization بیگ دیتا:
-دید ترکیبی
-فشرده سازی
-ناحیه بندی
-دید لحظه ای
-انفجاری

🔴مطالعات موردی🔽 :
-پردازنده مرکزی پایگاه داده های NoSQL هدوپی
-موتور توصیه گر
-تحلیل جریان ویدئو
-تحلیل حساسیت و پردازش لاگ ها
-رهگیری بلادرنگ ترافیک

@BigDataTechnology

چند مورد استفاده از هدوپ

🔵حل مشکلات تجاری:

-افزایش تشخیص تقلب برای بانک ها و شرکت های کارت اعتباری
-رسانه تجزیه و تحلیل بازاریابی اقتصادی
-تجزیه و تحلیل بازاریابی برای قراردادن محصول خرده فرشی
-تشخیص الگوی ترافیک برای توسعه شهر
-بهینه سازی محتوا و تعهدات

🔵سازمان های بهداشت درمان:

-برنامه ریزی درمان شخصی شده
-تشخیص های مساعدت شده
-تشخیص تقلب
-نظارت علائم حیاتی بیماران
-منفعت مشتریان

🔵امور مالیاتی:

-کشف تقلب
-مدیریت ریسک
-تماس با مرکز بهینه سازی و بهره وری
- تجزیه و تحلیل کامل مشتری
-تجزیه و تحلیل تمایلات
-تجزیه و تحلیل تجزیه مشتری

@BigDataTechnology

✅ با توجه به سوالات متداول شما عزیزان در خصوص منابع فارسی جهت :

❓آشنایی با بیگ دیتا
❓معماری و کاربرد بیگ دیتا
❓ذخیره سازی و تحلیل بیگ دیتا

مجددا کتاب ها و مقالات معتبر فارسی معرفی می شود.👇👇👇👇👇

@BigDataTechnology

منابع فارسی حوزه کلان داده ها

#کارگاه آشنایی با ابزارهای پردازش داده‌های حجیم در دانشگاه صنعتی
#شریف
سه شنبه ۱۹ مرداد ۹ - ۱۳
هزینه: #رایگان
حداقل از دو روز قبل با شماره 66165169 داخلی 117 برای حضور هماهنگ کنید.

@HomeAI

BigData
معرفی کلان داده ها و فناوری های مرتبط

📞ارتباط با ادمین :
فقط روز چهارشنبه ساعت ۲۲ الی ۲۳
@Golnazardeshiri
-
https://telegram.me/BigDataTechnology

کانال داده کاوی و علم داده:
https://telegram.me/dataanalysis

گروه متن کاوی و وب کاوی:
https://telegram.me/joinchat/BCuwFj7gB2ao7yLqVrUaAg

گروه کلان داده:
https://telegram.me/joinchat/A7SgeDuzptdo9zhyJV7MVA

گروه علوم داده:
https://telegram.me/joinchat/CVZpEj0EaiNQ47bY-4ko5g

گروه علوم داده در سلامت:
https://telegram.me/joinchat/CVZpEj4Rtpue1yJC78EImA

اگر علاقه به تبادل نظر و گفتگو پیرامون فریم ورک هدوپ دارید به گروه «هدوپ ایران» بپیوندید.

لینک عضویت: https://telegram.me/joinchat/An8qwj6CGwg0WS-2dTi-Dw

مرجع هدوپ ایران
www.hadoop.ir
@hadoop

Hadoop.ir
مرجع هدوپ ایران | Hadoop.ir

تماس با ما:
hello[at]hadoop[dot]ir
01132475635-6
کانال مرجع هدوپ ایران:
https://telegram.me/hadoop

✅ نکته های هدوپ ✅
در تعاریف هدوپ همواره به توانایی راه اندازی و استفاده از هدوپ توسط سخت افزارهای معمولی اشاره شده است. این نکته به این معنی نیست که سخت افزار موردنظر می تواند ارزان و ضعیف باشد. مفهوم سخت افزارهای Commodity یعنی هدوپ را می توان با استفاده از سخت افزارهای متداول سرورها و سیستم های روزمره به کار برد و نیاز به ابرکامپیوترها با پیکربندی های عجیب نیست.

مرجع هدوپ ایران
https://www.hadoop.ir
@hadoop

کلاستر هدوپ شرکت یاهو در سال 2007

مرجع هدوپ ایران
www.hadoop.ir
@hadoop

✅ابزارها:

🔵 ابزاری برای انتقال داده های خام از RDBMS به هدوپ و بر عکس
( Apache Sqoop)

🔵 زیر پروژه هدوپ برای بهینه سازی پردازش لاگ ها
(Chukwa)

🔵 سیستم پیام دهی توزیع شده در زمینه عضویت-انتشار
(Apache Kafka)

🔵 سیستم توزیع شده برای جمع آوری لاگ ها از منابع متعدد،یکپارچه سازی آنها و نوشتن در HDFS
(Flume)

🔵 پشتیبانی از پردازش جریان واقعه ای و پاسخگویی به وقایع مختلف در کوتاه ترین زمان ممکن
(Storm)

🔵 تحلیل های پیچیده بر روی انواع داده ای ناهمگن
(Infosphere Streams)

🔵 پردازش جریان های داده ای پیوسته
(Apache S4)

🔵 رابط کاربری SQL ،بسیار پر استفاده
(Apache Hive)

@BigDataTechnology

✅ واسط های SQL :

Aphache Hive
Cloudera Impala
EMC HAWQ
Hortonworks stinger

✅ جایگزین MapReduce:
Spark
Nokia Disco

✅ پایگاه داده های NoSQL:

IBM Netezza
HP Vertica
Aster Teradata
Google BigTable
EMC Greenplum

✅ بصری سازی:

Tableau
QLikView
Tibco Spotfire
Microstrategy
SAS VA

✅ جستجو :
Solr

✅ تحلیل:
SAS
Pega
Revolution Analysis

✅ پایگاه داده های گرافی:
Neo4J
OpenLink

✅ سیستم های مدیریت پایگاه داده اسنادی:
MongoDB
Couchbase
Cloudant
MarkLogic

@BigDataTechnology

بازی پوک مان و کلان داده بلادرنگ
https://telegram.me/dataanalysis

https://www.kdnuggets.com/2016/07/pokemon-big-data.html#.V5WUzEdeSy0.linkedin