✅ابزارها:

🔵 ابزاری برای انتقال داده های خام از RDBMS به هدوپ و بر عکس
( Apache Sqoop)

🔵 زیر پروژه هدوپ برای بهینه سازی پردازش لاگ ها
(Chukwa)

🔵 سیستم پیام دهی توزیع شده در زمینه عضویت-انتشار
(Apache Kafka)

🔵 سیستم توزیع شده برای جمع آوری لاگ ها از منابع متعدد،یکپارچه سازی آنها و نوشتن در HDFS
(Flume)

🔵 پشتیبانی از پردازش جریان واقعه ای و پاسخگویی به وقایع مختلف در کوتاه ترین زمان ممکن
(Storm)

🔵 تحلیل های پیچیده بر روی انواع داده ای ناهمگن
(Infosphere Streams)

🔵 پردازش جریان های داده ای پیوسته
(Apache S4)

🔵 رابط کاربری SQL ،بسیار پر استفاده
(Apache Hive)

@BigDataTechnology

✅ واسط های SQL :

Aphache Hive
Cloudera Impala
EMC HAWQ
Hortonworks stinger

✅ جایگزین MapReduce:
Spark
Nokia Disco

✅ پایگاه داده های NoSQL:

IBM Netezza
HP Vertica
Aster Teradata
Google BigTable
EMC Greenplum

✅ بصری سازی:

Tableau
QLikView
Tibco Spotfire
Microstrategy
SAS VA

✅ جستجو :
Solr

✅ تحلیل:
SAS
Pega
Revolution Analysis

✅ پایگاه داده های گرافی:
Neo4J
OpenLink

✅ سیستم های مدیریت پایگاه داده اسنادی:
MongoDB
Couchbase
Cloudant
MarkLogic

@BigDataTechnology

بازی پوک مان و کلان داده بلادرنگ
https://telegram.me/dataanalysis

https://www.kdnuggets.com/2016/07/pokemon-big-data.html#.V5WUzEdeSy0.linkedin

نقش کلان داده (مه داده) ها در انتقال مسوولیت مراقبت از پزشکان به خود بیماران

کلان داده (مه داده) های بهداشتی نقش پررنگ تری را برای بیمار در مراقبت از خود ممکن می سازند.

اقای اریک اشمیت، مدیرعامل سابق گوگل اشاره میکند که از ابتدای تمدن بشر تا سال 2003 درمجموع یک میلیارد گیگابایت داده ها بوجود آمده است، این در حالیست که اکنون این حجم داده در هر روز ایجاد می شوند و البته این حجم در حال افزایش نیز هست.

با بوجود آمدن امکان تعیین توالی ژنوم ها، نقش ژن ها در ایجاد هر بیماری یا سندرم مشخص میشود. توالی کامل ژنوم یک فرد 240 میلیارد بایت از داده ها را تولید میکند. در واقع نقش بیوانفورماتیک در مراقبت سلامت افراد افزایش یافته و حتی ممکن است نقش سنتی پزشکان را کمرنگ نماید.

دراواخر سال 2010، نشریه اکونومیست "دریایی از حسگرها به منظور جمع آوری و انتقال اطلاعات در جهان واقعی" را تیتر زد. امروزه نه تنها ورزشکاران نیمه حرفه ای در حال پایش فعالیت های ورزشی خود با ابزارهای پوشیدنی هستند، مصرف کنندگان معمولی برای پایش خواب، فعالیت فیزیکی، ضربان قلب و سایر علایم حیاتی شان از این ابزار ها بهره می گیرند. این سبب شده که پزشکان به طیف گسترده ای از داده های بهداشتی دسترسی داشته باشند تا در مدیریت بیمار موفقیت بیشتری کسب نمایند.

بدین ترتیب با بهره گیری از این حسگر ها، نه تنها اندازه گیری قند و فشار خون در خارج از مطب پزشکان و توسط خود بیماران انجام می شود، بلکه تحلیل داده های واقعی و ارزیابی خطر بیماری های خاص نیز بعلاوه توصیه های رژیم درمانی می تواند توسط این ابزار ها صورت بگیرد. نکته جالب دیگر اینکه این ابزارها قادرند تا بیماران را در مسیر استفاده دقیق و به موقع دارو هایشان نگه دارند به طوریکه با اضافه کردن مولکول های ردیابی به دارو، در صورت بلعیده شدن توسط بیمار، پزشک او متوجه می شود چرا که داده مربوطه از طریق حسگر های تعبیه شده در بدن بیمار به پزشک او منتقل می گردد.

با ظهور رویکرد های جدید در حوزه سلامت، کلان داده (مه داده) های بهداشتی ایجاد شده و چهره بهداشت و درمان متحول خواهد شد. با فعال کردن فناوری تلفن همراه و پزشکی از راه دور، بسیاری از جنبه های تشخیص، مشاوره و درمان، بدون دیدن یک پزشک در فرد اتفاق خواهد افتاد که این پیشرفت ها حاصل بکارگیری دانش حاصل از تحلیل کلان داده (مه داده) هاست. بنابراین افراد می توانند مسئولیت یا نقش بیشتری را در سلامت خود به عهده بگیرند.


✅ کانال سلامت الکترونیک: @eHealth


تهیه کننده خبر: خانم سمیرا قلاوند


برای آگاهی بیشتر در زمینه این خبر، تارنمای زیر را ملاحظه بفرمایید:
https://venturebeat.com/2015/01/13/big-health-data-will-turn-over-responsibility-from-doctor-to-patient/

سینگا (Apache Singa) اخیرا به عنوان یک چارچوب متن باز برای آموزش ساده‌ی مدل‌های یادگیری عمیق با حجم بالای داده‌ها شناخته شده است.

🆔 @mfta_ir

✅چند کاربرد کلان داده
@BigDataTechnology


🔽مانیتورینگ و بهینه سازی شبکه انرژی

🔹مشخصات:
گلوگاه داده،گلوگاه محاسبات،حجم زیاد داده ها
🔹منابع داده:
حسگر حاصل از کنتورهای هوشمند و اجزای شبکه.

🔽تشخیص تقلب ها در کارت های اعتباری

🔹مشخصات:
گلوگاه داده،گلوگاه محاسبات،حجم زیاد داده ها،موازی سازی
🔹منابع داده:
 داده های نقطه فروش یا کارت خوان ها، پروفایل مشتریان/اطلاعات مشتریان،سوابق تراکنش ها،مدل ها و الگو های پیش بینی شده

🔽پروفایل اطلاعات

🔹مشخصات:
حجم زیاد داده های موازی
🔹منابع داده:
منابع منتخب برای پیشنهاد های تجاری

🔽موتورهای توصیه گر

🔹مشخصات:
گلوگاه داده،گلوگاه محاسبات،حجم زیاد داده ها،موازی سازی،تنوع و گوناگونی داده ها
🔹منابع داده:
داده های مربوط به شبکه های اجتماعی،مجموعه داده های افزایش/ارتقا یافته،سوابق تراکنش،اطلاعات مشتریان

🔽مدل سازی قیمت

🔹مشخصات:
گلوگاه داده،گلوگاه محاسبات،حجم زیاد داده ها،موازی سازی
🔹منابع داده:
مدل ها و الگوهای پیش بینی شده، سوابق تراکنش ها،اطلاعات مشتریان،داده های نقطه فروش یا کارت خوان ها

@BigDataTechnology

اسلایدهای ابزارهای پردازش BIG Data با ارائه آقای دکتر پی‌براه

سرورهای هدوپ را چگونه انتخاب کنیم؟ تصویر مقابل را مشاهده کنید.

مرجع هدوپ ایران
www.hadoop.ir
@hadoop

اسلایدهای ارائه دکتر بهشتی در زمینه Big Data and Analytics که تابستان سال گذشته در مرکز نوآوری داشتند

چرا نظام سلامت مستعد استفاده از Big Data است؟

در این اینفوگرافی فارسی همه چیز را به شما گفته ایم
برای دریافت در کیفیت بسیار عالی روی لینک زیر کلیک نمایید
https://goo.gl/r76NSX


@healthcaremanagement

Evaluation of Data Project in an Enterprise

@dataanalysis

در هدوپ نسخه ۳ چه تغییراتی رخ خواهد داد؟

با ما همراه باشید.

مرجع هدوپ ایران
www.hadoop.ir
@hadoop

Big data analysis in Python

@dataanalysis

دیتاست های جدید از حجم 255 مگابایت تا 22 ترابایت به بخش "داده های آماده" مرجع هدوپ ایران اضافه شد.

https://www.hadoop.ir/datasets

مرجع هدوپ ایران
www.hadoop.ir
@hadoop

معرفی کتاب مدیریت کلان داده ها در بخش های خصوصی و عمومی

کتاب حاضر در نه فصل به بررسي کاربردهاي کلان‌داده‌ها در بخش‌هاي خصوصي و دولتي مي‌پردازد، فرصت‌ها و چالش‌هاي استفاده از داده‌ها را در بخش‌هاي مختلف بيان مي‌کند و به روشني نشان مي‌دهد که تحليل داده‌ها چگونه مي‌تواند شفافيت ايجاد کند.

#کتاب
#مدیریت

 مراکز علم داده و تحلیل کلان داده ها در کشور انگلستان : 

🔵Imperial College London Data Science Institute

🔵Imperial Business Analytics

🔵Cambridge Big Data

🔵The University of Manchester Data Science Institute

🔵Lancaster University - Data Science Institute

🔵Warwick Data Science Institute

🔵University of Essex - Institute for Analytics and Data Science

🔵The Alan Turing Institute

🔵University College London Big Data Institute

🔵Oxford Big Data Institute