✳️ #بیگ_دیتا : 33 منبع اطلاعاتی مجانی برای سال #2016


🌍: https://www.forbes.com/sites/bernardmarr/2016/02/12/big-data-35-brilliant-and-free-data-sources-for-2016/#677a2a6b6796

🆔: @mfta_ir

✅ اینترنت انرژی (energy Internet) در حال آمدن است

مدیران صنایع به دنبال مشتریهایی در حوزه انرژی می باشند و استارت آپ های بیگ دیتا نیز به دنبال ساخت ابزارهایی برای این صنایع می باشند. در این بین، کمپانی های فعال در حوزه انرژی خواهان به کار گیری تکنولوژی هایی هستند که مخصوصا برای خدمت در فضای اینترنت شکل گرفته اند (مانند blockchain که یک مدل از پایگاه داده توزیع شده است که در ایجاد بیتکوین به جهان معرفی شد)...

🌍: https://fortune.com/2016/05/24/big-money-in-energy-big-data/
#بیگ_دیتا #اینترنت_انرژی #استارت_آپ
🆔: @mfta_ir

یادگیری ماشین در پزشکی : مروری کامل

یادگیری ماشین در پزشکی : مروری کامل

اشپرینگر ، کتابی جامع در باب یادگیری ماشین در حوزه پزشکی منتشر کرده است که برای علاقه مندان به کار در حوزه پردازش داده پزشکی بسیار مغتنم است .
این کتاب از سه بخش اصلی زیر تشکیل شده است :
دسته بندی و خوشه بندی در پزشکی
مدلهای خطی
مدلهای مبتنی بر قانون (Rule Based)

جهت دانلود کتاب به لینک زیر مراجعه کنید:

https://www.bigdata.ir/%DA%A9%D8%AA%D8%A7%D8%A8%D8%AE%D8%A7%D9%86%D9%87/%DB%8C%D8%A7%D8%AF%DA%AF%DB%8C%D8%B1%DB%8C-%D9%85%D8%A7%D8%B4%DB%8C%D9%86-%D8%AF%D8%B1-%D9%BE%D8%B2%D8%B4%DA%A9%DB%8C-%D9%85%D8%B1%D9%88%D8%B1%DB%8C-%DA%A9%D8%A7%D9%85%D9%84/

درود

با سپاس از شما برای ثبت نام در دومین وبینار آنلاین آشنایی با هدوپ.
اطلاعات مربوط به شرکت در وبینار به قرار زیر است:

لینک پیوستن به وبینار : https://live.e-seminar.ir/hadoop/
قبل از پیوستن به وبینار حتما دقایقی قبل از حضور راهنمای حضور در وبینار(https://hadoop.ir/WEBINAR%20Guide.pdf) را مطالعه بفرمایید.

پس از ورود به لینک بالا ، از بخش Guest نام کامل خودتان را که در زمان ثبت نام اعلام کردید وارد نمایید و وارد وبینار شوید. لازم به ذکر است در زمان شروع وبینار بخش Guest فعال خواهد شد.

وبینار راس ساعت 18 تا 20 روز 6 خرداد ماه ۱۳۹۵ شروع می شود و خواهشمندیم قبل از ساعت فوق نسبت به نصب نرم افزار موردنیاز و اطمینان از سرعت اینترنت مناسب اقدام فرمایید.

✅ توجه ✅

دوستانی که در «دومین وبینار آنلاین هدوپ» ثبت نام نموده اند،اطلاعات مربوط به شرکت در وبینار به ایمیل و شماره وارد شده در فرم ثبت نام ارسال شد.

مرجع هدوپ ایران
www.hadoop.ir
@hadoop

ویدیو و اسلاید وبینار آشنایی به هدوپ منتشر شد.

به این لینک مراجعه کنید :
https://hadoop.ir/?p=694

مرجع هدوپ ایران
www.hadoop.ir
@hadoop

عضو هیأت علمی دانشگاه صنعتی شریف گفت: پیش‌بینی می‌شود تا پنج سال آینده برای اشخاصی که توان تحلیل داده و علم مهندسی و علوم داده را داشته باشند یک میلیون شغل تولید شود.

شاهین روحانی در نخستین نشست علمی بین‌المللی هم‌اندیشی کلان‌ داده‌ها در دانشگاه کاشان اظهار کرد: نتایج تحلیل داده‌های حجیم در صنعت تجارت و علم کاربرد دارد و دقت موجود در کلان‌داده ممکن است به اطمینان بیشتر بر تصمیم‌گیری شود و تصمیمات بهتر می‌تواند به معنای کارایی عملیاتی بزرگ‌تر، کاهش هزینه و کاهش ریسک باشد.

https://www.farsnews.com/newstext.php?nn=13950309000974

2⃣ نامزدهای سیاسی با استفاده از بیگ دیتا خودشان را تبلیغ می کنند. کمپین هایی هستند که مشخصات افراد را جمع آوری می کنند و از این اطلاعات برای فرستادن پیغام مناسب به رای دهندگان استفاده میکنند.
@mfa_ir

شرکت داده پردازی سیمیاگران استخدام می کند:

۱- دانشمند داده: مسلط به مفاهیم و تکنیک های پیشرفته داده کاوی - آشنایی با ابزارهای متداول - آشنایی با کاربردهای بیگ دیتا در سازمانهای بزرگ و ترجیحا بانکها

۲- مهندس داده: آشنا با تکنیکهای تجمیع داده ها و بیگ دیتا - ترجیحا مسلط به هدوپ ، اچ دی اف اس، هایو - آشنایی با مفاهیم دیتا کلینزینگ و مدیریت داده در پروژه های بیگ دیتا

۳- طراح، تحلیلگر و معمار داده: آشنا با فرآیندهای مدیریت داده - آشنا با فرآیندهای مدیریت کیفیت داده - آشنا با مفاهیم معماری اطلاعات - علاقمند به مستندسازی روشها و دستورالعملها

لطفا پیام خصوصی بگذارید

@farzadkhandan

ویا درخواستتان را به همراه رزومه ایمیل بفرمایید.

[email protected]

متشکرم

کانال داده کاوی و علم داده:
https://telegram.me/dataanalysis

گروه متن کاوی و وب کاوی:
https://telegram.me/joinchat/BCuwFj7gB2ao7yLqVrUaAg

گروه کلان داده:
https://telegram.me/joinchat/A7SgeDuzptdo9zhyJV7MVA

گروه علوم داده:
https://telegram.me/joinchat/CVZpEj0EaiNQ47bY-4ko5g

گروه علوم داده در سلامت:
https://telegram.me/joinchat/CVZpEj4Rtpue1yJC78EImA

قیام NoSQL ادامه دارد – نگاهی به گرایشات و بازارکار

- بانک‌های اطلاعاتی در مسیر هوشمندی
- هوش تجاری (Business Intelligence) چیست؟
- انبار داده (Data Warehouse) چیست؟
- اهمیت بزرگ‌داده
NoSQL قیام خود را از مدت‌ها قبل آغاز کرده
- رده‌بندی بانک‌های اطلاعاتی مبتنی بر NoSQL
- میزان دستمزد پرداختی برای هریک از این گروه‌ها چگونه است؟
- میزان دستمزد پرداختی برای هریک از این گروه‌ها چگونه است؟


https://www.bigdata.ir/1395/03/%d9%82%db%8c%d8%a7%d9%85-nosql-%d8%a7%d8%af%d8%a7%d9%85%d9%87-%d8%af%d8%a7%d8%b1%d8%af-%d9%86%da%af%d8%a7%d9%87%db%8c-%d8%a8%d9%87-%da%af%d8%b1%d8%a7%db%8c%d8%b4%d8%a7%d8%aa-%d9%88-%d8%a8%d8%a7/

امروز با رواج استفاده از شبکه‌های اجتماعی، یکی از بهترین راه‌های دستیابی به کلان‌داده‌ها، دسترسی به مراکز اطلاعاتی (data center) این شبکه‌هاست.

🆔 @mfta_ir

معماری پردازش پلت‌فرم های مبتنی بر اینترنت اشیا در بستر Big Data

@dataanalysis

تعریف یک معماری مرجع:
#BigData
@BigDataTechnology

آیا یک مدل مرجع برای کلان داده مشابه معماری محاسبات ابری وجود دارد؟

در مقایسه با معماری ابری ، نمای سیستم کلان داده ای را میتوان به ۴ لایه تقسیم بندی کرد:

- زیربنا به عنوان سرویس یا IaaS:
این لایه شامل منابع ذخیره سازی،سرورها و شبکه ها به عنوان پایه و اساس می باشد. فایل سیستم های توزیع شده درون این لایه قرار دارد.

- بستر به عنوان سرویس یا PaaS:
داده های ذخیره شده به صورت NoSQL و کش هاس توزیع شده که میتوانیم با ارسال درخواست از زبان پرس وجو آن ها را بازیابی کنیم،بستر کلان داده را تشکیل می دهد.
این لایه یک مدل منطقی از داده های خام و بدون ساختار ذخیره شده در فایل ها را ارائه می دهد.

- داده به عنوان سرویس DaaS:
مجموعه ای کامل از ابزارهای موجود برای یکپارچه سازی با لایه PaaS با استفاده از موتورهای جست و جو،اداپتورهای یکپارچه ساز،برنامه های دسته ای و دیگر موارد همگی درون این لایه قرار دارد.

- توابع تجاری کلان داده به عنوان سرویس BFaaS:
صنایع بخصوصی  همچون پزشکی،خرده فروشی،تجارت الکترونیک،انرژی و بانکداری میتواند پکیج های نرم افزاری مخصوص به خود را بسازد و سیستم های خود را با قرار دادن آن ها در اختیار لایه DaaS ،احتیاجات سیستم های خود را بر طرف سازند.

در ادامه معماری سیستم کلان داده را با جزئیات دنبال خواهیم کرد.

@BigDataTechnology

تحلیل کاهش قیمت نفت با استفاده از بیگ دیتا

🌍: https://mfta.ir/?p=15486

🆔 @mfta_ir

شروع کار با اسپارک : راه اندازی محیط کار


اسپارک به عنوان یک جایگزین برای روش سنتی توزیع و تجمیع (MapReduce) در هدوپ، به موتور اصلی پردازش داده های حجیم در اکوسیستم های مبتنی بر کلان داده تبدیل شده است . البته شاید برای بعضی کاربردهای خاص که داده های بسیار حجیم و غیر قابل بارگذاری در حافظه دارند، هنوز هم روش توزیع و تجمیع کارآیی بهتری دارد، اما برای اکثر کاربردهای موجود، اسپارک می تواند یک جایگزین مناسب تر و کارآتر باشد که این امر باعث رواج و گسترش  روز افزون آن شده است .


- ساخت اکانت و ایجاد اولین کتابچه پایتون برای کار با اسپارک

- تنظیمات اولیه

- نحوه کار با سلول ها در کتابچه ها

- نوشتن دستورات معمول پایتون

- آشنایی با مفهوم زمینه کار  و نحوه اجرای دستورات در اسپارک



https://www.bigdata.ir/1395/03/%D8%B4%D8%B1%D9%88%D8%B9-%DA%A9%D8%A7%D8%B1-%D8%A8%D8%A7-%D8%A7%D8%B3%D9%BE%D8%A7%D8%B1%DA%A9-%D8%B1%D8%A7%D9%87-%D8%A7%D9%86%D8%AF%D8%A7%D8%B2%DB%8C-%D9%85%D8%AD%DB%8C%D8%B7-%DA%A9%D8%A7%D8%B1/