چند مورد استفاده از هدوپ

🔵حل مشکلات تجاری:

-افزایش تشخیص تقلب برای بانک ها و شرکت های کارت اعتباری
-رسانه تجزیه و تحلیل بازاریابی اقتصادی
-تجزیه و تحلیل بازاریابی برای قراردادن محصول خرده فرشی
-تشخیص الگوی ترافیک برای توسعه شهر
-بهینه سازی محتوا و تعهدات

🔵سازمان های بهداشت درمان:

-برنامه ریزی درمان شخصی شده
-تشخیص های مساعدت شده
-تشخیص تقلب
-نظارت علائم حیاتی بیماران
-منفعت مشتریان

🔵امور مالیاتی:

-کشف تقلب
-مدیریت ریسک
-تماس با مرکز بهینه سازی و بهره وری
- تجزیه و تحلیل کامل مشتری
-تجزیه و تحلیل تمایلات
-تجزیه و تحلیل تجزیه مشتری

@BigDataTechnology

✅ با توجه به سوالات متداول شما عزیزان در خصوص منابع فارسی جهت :

❓آشنایی با بیگ دیتا
❓معماری و کاربرد بیگ دیتا
❓ذخیره سازی و تحلیل بیگ دیتا

مجددا کتاب ها و مقالات معتبر فارسی معرفی می شود.👇👇👇👇👇

@BigDataTechnology

منابع فارسی حوزه کلان داده ها

#کارگاه آشنایی با ابزارهای پردازش داده‌های حجیم در دانشگاه صنعتی
#شریف
سه شنبه ۱۹ مرداد ۹ - ۱۳
هزینه: #رایگان
حداقل از دو روز قبل با شماره 66165169 داخلی 117 برای حضور هماهنگ کنید.

@HomeAI

BigData
معرفی کلان داده ها و فناوری های مرتبط

📞ارتباط با ادمین :
فقط روز چهارشنبه ساعت ۲۲ الی ۲۳
@Golnazardeshiri
-
https://telegram.me/BigDataTechnology

کانال داده کاوی و علم داده:
https://telegram.me/dataanalysis

گروه متن کاوی و وب کاوی:
https://telegram.me/joinchat/BCuwFj7gB2ao7yLqVrUaAg

گروه کلان داده:
https://telegram.me/joinchat/A7SgeDuzptdo9zhyJV7MVA

گروه علوم داده:
https://telegram.me/joinchat/CVZpEj0EaiNQ47bY-4ko5g

گروه علوم داده در سلامت:
https://telegram.me/joinchat/CVZpEj4Rtpue1yJC78EImA

اگر علاقه به تبادل نظر و گفتگو پیرامون فریم ورک هدوپ دارید به گروه «هدوپ ایران» بپیوندید.

لینک عضویت: https://telegram.me/joinchat/An8qwj6CGwg0WS-2dTi-Dw

مرجع هدوپ ایران
www.hadoop.ir
@hadoop

Hadoop.ir
مرجع هدوپ ایران | Hadoop.ir

تماس با ما:
hello[at]hadoop[dot]ir
01132475635-6
کانال مرجع هدوپ ایران:
https://telegram.me/hadoop

✅ نکته های هدوپ ✅
در تعاریف هدوپ همواره به توانایی راه اندازی و استفاده از هدوپ توسط سخت افزارهای معمولی اشاره شده است. این نکته به این معنی نیست که سخت افزار موردنظر می تواند ارزان و ضعیف باشد. مفهوم سخت افزارهای Commodity یعنی هدوپ را می توان با استفاده از سخت افزارهای متداول سرورها و سیستم های روزمره به کار برد و نیاز به ابرکامپیوترها با پیکربندی های عجیب نیست.

مرجع هدوپ ایران
https://www.hadoop.ir
@hadoop

کلاستر هدوپ شرکت یاهو در سال 2007

مرجع هدوپ ایران
www.hadoop.ir
@hadoop

✅ابزارها:

🔵 ابزاری برای انتقال داده های خام از RDBMS به هدوپ و بر عکس
( Apache Sqoop)

🔵 زیر پروژه هدوپ برای بهینه سازی پردازش لاگ ها
(Chukwa)

🔵 سیستم پیام دهی توزیع شده در زمینه عضویت-انتشار
(Apache Kafka)

🔵 سیستم توزیع شده برای جمع آوری لاگ ها از منابع متعدد،یکپارچه سازی آنها و نوشتن در HDFS
(Flume)

🔵 پشتیبانی از پردازش جریان واقعه ای و پاسخگویی به وقایع مختلف در کوتاه ترین زمان ممکن
(Storm)

🔵 تحلیل های پیچیده بر روی انواع داده ای ناهمگن
(Infosphere Streams)

🔵 پردازش جریان های داده ای پیوسته
(Apache S4)

🔵 رابط کاربری SQL ،بسیار پر استفاده
(Apache Hive)

@BigDataTechnology

✅ واسط های SQL :

Aphache Hive
Cloudera Impala
EMC HAWQ
Hortonworks stinger

✅ جایگزین MapReduce:
Spark
Nokia Disco

✅ پایگاه داده های NoSQL:

IBM Netezza
HP Vertica
Aster Teradata
Google BigTable
EMC Greenplum

✅ بصری سازی:

Tableau
QLikView
Tibco Spotfire
Microstrategy
SAS VA

✅ جستجو :
Solr

✅ تحلیل:
SAS
Pega
Revolution Analysis

✅ پایگاه داده های گرافی:
Neo4J
OpenLink

✅ سیستم های مدیریت پایگاه داده اسنادی:
MongoDB
Couchbase
Cloudant
MarkLogic

@BigDataTechnology

بازی پوک مان و کلان داده بلادرنگ
https://telegram.me/dataanalysis

https://www.kdnuggets.com/2016/07/pokemon-big-data.html#.V5WUzEdeSy0.linkedin

نقش کلان داده (مه داده) ها در انتقال مسوولیت مراقبت از پزشکان به خود بیماران

کلان داده (مه داده) های بهداشتی نقش پررنگ تری را برای بیمار در مراقبت از خود ممکن می سازند.

اقای اریک اشمیت، مدیرعامل سابق گوگل اشاره میکند که از ابتدای تمدن بشر تا سال 2003 درمجموع یک میلیارد گیگابایت داده ها بوجود آمده است، این در حالیست که اکنون این حجم داده در هر روز ایجاد می شوند و البته این حجم در حال افزایش نیز هست.

با بوجود آمدن امکان تعیین توالی ژنوم ها، نقش ژن ها در ایجاد هر بیماری یا سندرم مشخص میشود. توالی کامل ژنوم یک فرد 240 میلیارد بایت از داده ها را تولید میکند. در واقع نقش بیوانفورماتیک در مراقبت سلامت افراد افزایش یافته و حتی ممکن است نقش سنتی پزشکان را کمرنگ نماید.

دراواخر سال 2010، نشریه اکونومیست "دریایی از حسگرها به منظور جمع آوری و انتقال اطلاعات در جهان واقعی" را تیتر زد. امروزه نه تنها ورزشکاران نیمه حرفه ای در حال پایش فعالیت های ورزشی خود با ابزارهای پوشیدنی هستند، مصرف کنندگان معمولی برای پایش خواب، فعالیت فیزیکی، ضربان قلب و سایر علایم حیاتی شان از این ابزار ها بهره می گیرند. این سبب شده که پزشکان به طیف گسترده ای از داده های بهداشتی دسترسی داشته باشند تا در مدیریت بیمار موفقیت بیشتری کسب نمایند.

بدین ترتیب با بهره گیری از این حسگر ها، نه تنها اندازه گیری قند و فشار خون در خارج از مطب پزشکان و توسط خود بیماران انجام می شود، بلکه تحلیل داده های واقعی و ارزیابی خطر بیماری های خاص نیز بعلاوه توصیه های رژیم درمانی می تواند توسط این ابزار ها صورت بگیرد. نکته جالب دیگر اینکه این ابزارها قادرند تا بیماران را در مسیر استفاده دقیق و به موقع دارو هایشان نگه دارند به طوریکه با اضافه کردن مولکول های ردیابی به دارو، در صورت بلعیده شدن توسط بیمار، پزشک او متوجه می شود چرا که داده مربوطه از طریق حسگر های تعبیه شده در بدن بیمار به پزشک او منتقل می گردد.

با ظهور رویکرد های جدید در حوزه سلامت، کلان داده (مه داده) های بهداشتی ایجاد شده و چهره بهداشت و درمان متحول خواهد شد. با فعال کردن فناوری تلفن همراه و پزشکی از راه دور، بسیاری از جنبه های تشخیص، مشاوره و درمان، بدون دیدن یک پزشک در فرد اتفاق خواهد افتاد که این پیشرفت ها حاصل بکارگیری دانش حاصل از تحلیل کلان داده (مه داده) هاست. بنابراین افراد می توانند مسئولیت یا نقش بیشتری را در سلامت خود به عهده بگیرند.


✅ کانال سلامت الکترونیک: @eHealth


تهیه کننده خبر: خانم سمیرا قلاوند


برای آگاهی بیشتر در زمینه این خبر، تارنمای زیر را ملاحظه بفرمایید:
https://venturebeat.com/2015/01/13/big-health-data-will-turn-over-responsibility-from-doctor-to-patient/

سینگا (Apache Singa) اخیرا به عنوان یک چارچوب متن باز برای آموزش ساده‌ی مدل‌های یادگیری عمیق با حجم بالای داده‌ها شناخته شده است.

🆔 @mfta_ir

✅چند کاربرد کلان داده
@BigDataTechnology


🔽مانیتورینگ و بهینه سازی شبکه انرژی

🔹مشخصات:
گلوگاه داده،گلوگاه محاسبات،حجم زیاد داده ها
🔹منابع داده:
حسگر حاصل از کنتورهای هوشمند و اجزای شبکه.

🔽تشخیص تقلب ها در کارت های اعتباری

🔹مشخصات:
گلوگاه داده،گلوگاه محاسبات،حجم زیاد داده ها،موازی سازی
🔹منابع داده:
 داده های نقطه فروش یا کارت خوان ها، پروفایل مشتریان/اطلاعات مشتریان،سوابق تراکنش ها،مدل ها و الگو های پیش بینی شده

🔽پروفایل اطلاعات

🔹مشخصات:
حجم زیاد داده های موازی
🔹منابع داده:
منابع منتخب برای پیشنهاد های تجاری

🔽موتورهای توصیه گر

🔹مشخصات:
گلوگاه داده،گلوگاه محاسبات،حجم زیاد داده ها،موازی سازی،تنوع و گوناگونی داده ها
🔹منابع داده:
داده های مربوط به شبکه های اجتماعی،مجموعه داده های افزایش/ارتقا یافته،سوابق تراکنش،اطلاعات مشتریان

🔽مدل سازی قیمت

🔹مشخصات:
گلوگاه داده،گلوگاه محاسبات،حجم زیاد داده ها،موازی سازی
🔹منابع داده:
مدل ها و الگوهای پیش بینی شده، سوابق تراکنش ها،اطلاعات مشتریان،داده های نقطه فروش یا کارت خوان ها

@BigDataTechnology

اسلایدهای ابزارهای پردازش BIG Data با ارائه آقای دکتر پی‌براه

سرورهای هدوپ را چگونه انتخاب کنیم؟ تصویر مقابل را مشاهده کنید.

مرجع هدوپ ایران
www.hadoop.ir
@hadoop