شروع کار با اسپارک : راه اندازی محیط کار


اسپارک به عنوان یک جایگزین برای روش سنتی توزیع و تجمیع (MapReduce) در هدوپ، به موتور اصلی پردازش داده های حجیم در اکوسیستم های مبتنی بر کلان داده تبدیل شده است . البته شاید برای بعضی کاربردهای خاص که داده های بسیار حجیم و غیر قابل بارگذاری در حافظه دارند، هنوز هم روش توزیع و تجمیع کارآیی بهتری دارد، اما برای اکثر کاربردهای موجود، اسپارک می تواند یک جایگزین مناسب تر و کارآتر باشد که این امر باعث رواج و گسترش  روز افزون آن شده است .


- ساخت اکانت و ایجاد اولین کتابچه پایتون برای کار با اسپارک

- تنظیمات اولیه

- نحوه کار با سلول ها در کتابچه ها

- نوشتن دستورات معمول پایتون

- آشنایی با مفهوم زمینه کار  و نحوه اجرای دستورات در اسپارک



https://www.bigdata.ir/1395/03/%D8%B4%D8%B1%D9%88%D8%B9-%DA%A9%D8%A7%D8%B1-%D8%A8%D8%A7-%D8%A7%D8%B3%D9%BE%D8%A7%D8%B1%DA%A9-%D8%B1%D8%A7%D9%87-%D8%A7%D9%86%D8%AF%D8%A7%D8%B2%DB%8C-%D9%85%D8%AD%DB%8C%D8%B7-%DA%A9%D8%A7%D8%B1/

سمینار تخصصی” کاربرد کلان داده‌ها در سازمان‌های بزرگ ”
محل برگزاری: مرکز مطالعات بهره وری و منابع انسانی سازمان مدیریت صنعتی
زمان: چهارشنبه و پنجشنبه، ۳۰ و ۳۱ تیرماه ۱۳۹۵ هجری شمسی

🆔 @mfta_ir

✳️ سمینار تخصصی” کاربرد کلان داده‌ها در سازمان‌های بزرگ ”
محل برگزاری: مرکز مطالعات بهره وری و منابع انسانی سازمان مدیریت صنعتی
زمان: چهارشنبه و پنجشنبه، ۳۰ و ۳۱ تیرماه ۱۳۹۵ هجری شمسی (۲۰ و ۲۱ جولای۲۰۱۶ میلادی)
برای کسب اطلاعات بیشتر با شماره تلفن ۸۹۳۱۳۱۱۴-۰۲۱ تماس حاصل نمایید.
دریافت فرم ثبت نام:👇👇👇

🌍: https://mfta.ir/conference/15607

🆔 @mfta_ir

سمینار تخصصی کاربرد کلان داده ها در سازمان های بزرگ

تاثیر روابط و رفتارهای زوجین با استفاده از بیگ دیتا
از طریق پیام‌رسان‌ها می‌توانیم رابطهٔ بین خود و همسرمان را تجزیه‌وتحلیل نماییم.
ادامه...
👇👇

🌍: https://mfta.ir/?p=15649

🆔 @mfta_ir

نقش بیگ دیتا در بهبود زندگی آمریکایی ها
👇👇

🌍 https://mfta.ir/?p=15662

🆔 @mfta_ir

دولت اوباما به‌تازگی کارگروهی را تشکیل داده است تا گزارش جامعی در رابطه با فرصت‌ها و چالش‌های پیش روی بیگ دیتا در چهار حوزه کلیدی جامعه صادر نمایند:
۱- اعتبار شخصی ۲-استخدام ۳-آموزش عالی ۴-اجرای قانون

این گزارش اشاره می‌کند بیگ دیتا و فن‌آوری‌های مرتبط پتانسیل‌های عظیمی با تأثیرات مثبت در آمریکا بوجود خواهند آورد؛ اما اگر از بیگ دیتا درست استفاده نشود می‌تواند نتیجه عکس دهد.

🌍 https://mfta.ir/?p=15662

🆔 @mfta_ir

الگو های ذخیره سازی کلان داده:

@BigDataTechnology

الگوی Facade : سیستم فایل توزیع شده هدوپ HDFS از الگوی نوبتی Facade برای رسیدگی به انباره داده های قدیمی استفاده میکند.

الگوی Lean : با HBase تنها با استفاده از یک ستون خانوادگی و یک ستون و یک کلید سطر یکتا عمل شاخص گذاری را انجام می دهد.

 الگوی NoSQL : سیستم  RDBMS قدیمی توسط NoSQL ها برای دستیابی به داده ها با سرعت بالاتر و پرس و جوهای کلان داده ای جایگزین میشود.

الگوی Polygot : انواع مختلف مکانیزم های ذخیره سازی مثل RDBMS ,NoSQL,CMS, OODBMS,HDFS بطور همزمان در سیستم وجود دارد تا مسائل کلان داده موجود را پاسخگو باشند.

@BigDataTechnology

Vertica HP

یک نمونه از دستگاه پکیج شده
سازنده های دستگاه ها با چندین پیکربندی

🔵توزیع نرم افزاری هدوپ  :
➡Cloudera, Hortonwork,MAPR

🔵ذخیره سازی:
پایگاه داده ستونی RAID و HP Vertica

🔵زیرساخت:
➡HP Proliant Server

🔵تحلیل/بصری سازی:
➡SAS

🔵یادگیری ماشین :
➡R

@BigDataTechnology

لیست سازنده های کلان داده با چندین پیکربندی:

🔵برند EMC
ملحقات همراه با برند:
Greenplum appliance + EMC Storage HW+ Pivotal HD(Hadoop Distributation) + TeraData

🔵برند Oracle
ملحقات همراه برند:
Exadata + Sun SPARC Servers + Exalytics

🔵برند IBM :
ملحقات همراه برند:
Big Insights + Netezza + PureData + PureSysyems


@BigDataTechnology

Top Data Science Book

https://www.kdnuggets.com/wp-content/uploads/free-data-science-books8.jpg

@dataanalysis

✅ نقش بیگ دیتا و داده کاوی در صنایع سلامت و بهداشت - مشاهده کنید 📺📺📺👉
🆔 @mfta_ir

سکوی Azure و امکانات تحلیلی آن برای #Big_Data
@SQL_DataMining

🚩با توجه به درخواست زیاد دانشجویان علاقمند به بحث بیگ دیتا چند مورد از موضوعات جذاب و مطالعات موردی جهت پژوهش معرفی می شود:

@BigDataTechnology

🔵الگوهای Ingestion و Stream بیگ دیتا:
-الگوی جداسازی چند منبعی
-الگوی مبدل پروتکل
-الگوی چند مقصدی
-الگوی انتقال در یک زمان
-الگوی بلادرنگ جریان


🔵الگوهای ذخیره سازی بیگ دیتا:
-الگوی دریچه
-دستگاه های داده ای
-دیسک های ذخیره سازی
- بایگانی داده ها
-الگوی NoSQL
-زیر ساخت ذخیره سازی
-الگوی تداوم چند زبانی
-بخش بندی داده/ شاخص گذاری

🔵الگوی های BigData  Access:
-درک دستیابی به بیگ دیتا
-الگوی تبدیل سطح
-الگوی اتصال دهنده
-الگوی دسترسی شبه بلادرنگ
-الگوی گزینش
-آنالیز سریع داده ها
-دستیابی ایمن به داده ها

🔵الگوهای کشف و تحلیل داده ها:
-الگوی پرس و جو داده
-الگوی ادراک بر پایه شاخص
-الگوی جست و جوی برجی
-الگوی هدایت گر یادگیری ماشین
-الگوی همگرا
-تحلیل فایل های Log
- تحلیل حساسیت
-تحلیل داده به عنوان سرویس

🔵الگوهای Visualization بیگ دیتا:
-دید ترکیبی
-فشرده سازی
-ناحیه بندی
-دید لحظه ای
-انفجاری

🔴مطالعات موردی🔽 :
-پردازنده مرکزی پایگاه داده های NoSQL هدوپی
-موتور توصیه گر
-تحلیل جریان ویدئو
-تحلیل حساسیت و پردازش لاگ ها
-رهگیری بلادرنگ ترافیک

@BigDataTechnology

چند مورد استفاده از هدوپ

🔵حل مشکلات تجاری:

-افزایش تشخیص تقلب برای بانک ها و شرکت های کارت اعتباری
-رسانه تجزیه و تحلیل بازاریابی اقتصادی
-تجزیه و تحلیل بازاریابی برای قراردادن محصول خرده فرشی
-تشخیص الگوی ترافیک برای توسعه شهر
-بهینه سازی محتوا و تعهدات

🔵سازمان های بهداشت درمان:

-برنامه ریزی درمان شخصی شده
-تشخیص های مساعدت شده
-تشخیص تقلب
-نظارت علائم حیاتی بیماران
-منفعت مشتریان

🔵امور مالیاتی:

-کشف تقلب
-مدیریت ریسک
-تماس با مرکز بهینه سازی و بهره وری
- تجزیه و تحلیل کامل مشتری
-تجزیه و تحلیل تمایلات
-تجزیه و تحلیل تجزیه مشتری

@BigDataTechnology

✅ با توجه به سوالات متداول شما عزیزان در خصوص منابع فارسی جهت :

❓آشنایی با بیگ دیتا
❓معماری و کاربرد بیگ دیتا
❓ذخیره سازی و تحلیل بیگ دیتا

مجددا کتاب ها و مقالات معتبر فارسی معرفی می شود.👇👇👇👇👇

@BigDataTechnology

منابع فارسی حوزه کلان داده ها

#کارگاه آشنایی با ابزارهای پردازش داده‌های حجیم در دانشگاه صنعتی
#شریف
سه شنبه ۱۹ مرداد ۹ - ۱۳
هزینه: #رایگان
حداقل از دو روز قبل با شماره 66165169 داخلی 117 برای حضور هماهنگ کنید.

@HomeAI

BigData
معرفی کلان داده ها و فناوری های مرتبط

📞ارتباط با ادمین :
فقط روز چهارشنبه ساعت ۲۲ الی ۲۳
@Golnazardeshiri
-
https://telegram.me/BigDataTechnology

کانال داده کاوی و علم داده:
https://telegram.me/dataanalysis

گروه متن کاوی و وب کاوی:
https://telegram.me/joinchat/BCuwFj7gB2ao7yLqVrUaAg

گروه کلان داده:
https://telegram.me/joinchat/A7SgeDuzptdo9zhyJV7MVA

گروه علوم داده:
https://telegram.me/joinchat/CVZpEj0EaiNQ47bY-4ko5g

گروه علوم داده در سلامت:
https://telegram.me/joinchat/CVZpEj4Rtpue1yJC78EImA