با سلام
یکی از نیازمندی های ورود به حوزه های کاری علم داده، Big Data و... تسلط به یکی از زبان های برنامه نویسی جهت پیاده سازی پروژه های عملیاتی هست.
در انتخاب زبان بعضا دغدغه هایی مطرح گردیده است که در ادامه به اختصار برخی نکات کلیدی بیان می شود:
1- در حوزه Big Data زبان های پایتون، جاوا، اسکالا توصیه می شود. در صورتی که در حوزه Big Data Developer می خواهید فعالیت انجام بدهید زبان جاوا در پلتفرم هدوپ و زبان اسکالا در موتور پردازشی اسپارک بیشترین کارایی را خواهند داشت.
در بخش Big Data Analytics هم زبان پایتون با توجه به وجود کتابخانه های غنی در حوزه یادگیری ماشین بهترین انتخاب خواهد بود.
2- در حوزه داده کاوی و علم داده زبان های پایتون، R و جاوا دارای بیشترین میزان توجهات بوده اند. یادگیری زبان زبان جاوا به نسبت زبان های پایتون و R بسیار پیچیده تر خواهد بود ولی در پروژه های Enterprise زبان جاوا بیشترین کارایی را خواهد داشت. زبان R نیز در حال حاضر رتبه اول حوزه علم داده را در اختیار دارد.
برای یادگیری زبان های فوق همانند حوزه Big Data شرکت در دوره های آنلاین و کمی تلاش توصیه می شود.

ارادتمند
محمدرضا محتاط

مقایسه میان معماری های پردازشی Spark و Flink

آپاچی Flink نسل چهارم معماری های پردازشی Big Data می باشد

@dataanalysis

#معرفی_کتاب
کاربرد کلان‌داده‌ها در صنعت موسیقی

https://www.oreilly.com/data/free/data-and-music.csp

#معرفی_کتاب

کاربرد کلان‌داده‌ها در صنعت مد
https://www.oreilly.com/data/free/fashioning-data.csp

کلان داده ها در علوم اجتماعی

علومی که رفتار انسانی را مطالعه می‎کنند یعنی علوم اجتماعی عمدتاً بررسی‎هایی برپایه نظرسنجی‎ها و مطالعات آزمایشگاهی انجام می‎دهند. با این که این روش‎ها‎ ارزشمند هستند، نارسایی‎هایی نیز دارند. برای مثال نظرسنجی‎ها را در نظر بگیرید. آنها دسترسی محققان به دنیای ذهنی درونی انسان‎ها را ممکن می‎کنند. مشکل استفاده از آنها این است که افراد همیشه تمایل ندارند راست بگویند و خود فریبی همیشه وجود دارد. همین‎طور دشواری شناخت دنیای درونی‎مان برای خودمان. شواهدی وجود دارد که نشان می‎دهد همه ما حداقل در مواقعی خودمان را فریب می‎دهیم. توضیح دقیقی هم برای این مورد تاکنون ارائه نشده است. بنابراین نظرسنجی‎ها مشکل ذهنی بودن را همیشه دارند. همین طور نمی‌توانند تفاوت‎های ظریف و جزئی بین انسان‎ها را توضیح دهند. در نتیجه نمی‎توانند نتایج ایده‎آلی به‎دست محققان دهند.

ازطرف دیگر مشکل مطالعات آزمایشگاهی این است که در محیط خاص آزمایشگاه اجرا می‎شوند و نمی‎توانند پیچیدگی‎های دنیای واقعی را شبیه‎سازی کنند. بیشتر مطالعات فعلی علوم اجتماعی توصیفی از میانگین‎ها (در نظرسنجی‎ها) و رفتار‎های کلیشه‎ای (در مطالعات آزمایشگاهی) است. این روش‎های سنتی از این نکته غافلند که پدیده‎های اجتماعی از میلیارد‎ها تراکنش بین افراد تشکیل شده‎اند. مردم نه تنها پول و کالاها را مبادله می‎کنند، بلکه ایده‎ها، اطلاعات یا حتی شایعات را با هم به اشتراک می‎گذارند. الگوهای موجود در این تراکنش‎های فردی است که پدیده‎هایی اجتماعی مثل بحران‎های مالی یا بهار عربی را به‎وجود می‎آورد. ما نیاز داریم که این الگوها را با استفاده از روش‎های جدید عمیق درک کنیم چون با روش‎های کلاسیک مطالعه جامعه و میانگین‎گیری به‎دست نمی‎آیند.

به‎تازگی فناوری‎های دیجیتالی جدید امکان استفاده از روش‎های نوینی را برای مطالعه رفتار انسانی به محققان می‎دهند. انواع گوشی‎های تلفن همراه و سنسور‎ها قادرند حجم عظیمی از فعالیت‎های انسانی را در خود ذخیره کنند. این که کجا می‎رویم، چه می‎خریم، با چه کسانی در ارتباط هستیم، برای چه مدتی با آنها در ارتباط هستیم تا زبان بدن و حالت‎های احساسی که در طول روز تجربه می‎کنیم. این منابع جدید اطلاعاتی برای محققین علوم اجتماعی بسیار ارزشمندند و به نظرسنجی‎ها یا مطالعات آزمایشگاهی ترجیح داده می‎شوند. چون به محققان این امکان را می‎دهند که انسان را در محیط‎های طبیعی (جهان واقعی) مطالعه کنند. همین‎طور به محققان اجازه می‎دهند که آنچه را که انجام می‎دهیم مطالعه کنند نه آنچه را که می‎گوییم (که معمولاً متفاوت است). این روش بررسی رفتار انسانی در محیط‎های طبیعی بر پایه فناوری‎های دیجیتالی واقعیت‌کاوی نامیده می‎شود و علوم اجتماعی را متحول کرده است.

مطالعات جدید اهمیت تعاملات اجتماعی را در شکل‎دهی رفتار ما بیش از پیش نشان می‎دهد. رفتار ما انسان‎ها تا حدی تحت تأثیر نزدیکانمان و گروه‎هایی است که در آنها عضو هستیم. از رژیم غذایی و وزن بدن ما تا نظرات ما راجع به مسائل سیاسی. اهمیت دنیای اجتماعی پیرامون ما آن قدر زیاد است که بهتر است خودمان را گروه محور بنامیم نه فرد محور. تاکنون جوامع غربی دیدی خلاف جهت این ایده داشته‎اند. به همین جهت مطالعات علوم اجتماعی نتوانستند این قسمت از هویت واقعی ما را خوب توصیف کنند و به نتایج مطلوب نرسیده‎اند.

منبع:
کتاب مدیریت کلان ‌داده‌ ها در بخش‌ های خصوصی و عمومی، تالیف دکتر بابک سهرابی و حمیده ایرج.

استفاده از Big Data می تواند هزینه تحقیقات دارویی را تا 70 میلیارد دلار کاهش دهد
استفاده گسترده از Big Data منجر به کاهش 300 تا 450 میلیارد دلاری هزینه ها در نظام سلامت می شود

@healthcaremanagement

مراقبت های درمانی، اینترنت اشیا و Big Data

انرژی، Big Data و اینترنت اشیا

دیتاست متن ۳۰ هزار مقاله پزشکی

#dataset
#bigdata

مقدار زیادی مقاله پژوهشی در حوزه‌ی زیست پزشکی هر روزه در سراسر جهان منتشر می‌شود که جمع آوری اطلاعات غنی، مانند تنوع ژنتیکی، ژن‌ها، فنوتیپ، بیماری و درمان با استفاده از داده‌کاوی می‌تواند سریع‌تر و موثرتر صورت گیرد. یکی از حوزه‌های داده‌کاوی که در سال‌های اخیر به سبب پیشرفت‌های زیاد در فناوری‌های سخت‌افزاری و نرم‌افزاری رشد و توسعه پیدا کرده‌، متن‌کاوی است. در حوزه‌ی زیست پزشکی، با استفاده از متن کاوی در مقالات می‌توان به درک بهتری نسبت به بیماری‌ها دست یافت که این موضوع سبب بهبود کیفیت در تشخیص بیماری‌ها، پیشگیری و درمان آن‌ها می‌شود. با توجه به درخواست کاربران مبنی قرار دادن مجموعه داده‌ای در حوزه‌ی Big Data، این مجموعه داده عظیم برای علاقه‌مندان این حوزه تدارک دیده شده که امیدواریم موردتوجه واقع گردد.
این مجموعه داده شامل متن کامل مقالات مرتبط با بیماری‌های سرطان سینه، پروستات و ریه است که از پاپ مد سنترال (Pubmed Central) استخراج شده است.


نمونه­‌هایی از قابلیت­‌های استفاده­‌ی دیتاست:

طبقه‌بندی متون بر اساس محتوا

ارزیابی دقت پیش‌بینی سرطان‌های مطرح شده با استفاده از محتوای متون

https://www.datapool.ir/beta/2016/09/05/articles/

دیتاست احساسات کاوی

#dataset

افکار و عقاید بیان شده در شبکه‌های اجتماعی نقش مهمی در تاثیرگذاری بر رفتار افکار عمومی در زمینه‌های متنوعی چون خرید محصول، گرفتن نبض بازارهای سهام و گرفتن رأی برای ریاست جمهوری ایفا می کنند. عقاید و افکار تولید شده به‌ وسیله‌ی وب در وبلاگ‌ها و شبکه‌های اجتماعی به تازگی به منبع ارزشمندی برای کاوش احساسات کاربر برای مقاصدی چون مدیریت ارتباط با مشتری، پیگیری افکارعمومی و فیلترینگ متن تبدیل شده است. این اساسا یک برنامه‌ی نرم افزاری پردازش طبیعی زبان (NLP) است که از زبان شناسی محاسباتی و متن کاوی برای شناسایی احساس متن ، معمولا مثبت، خنثی یا منفی بهره می برد. از این رو، SA را می‌توان به عنوان تکنیک کشف خودکار دانش در نظر گرفت که هدفش یافتن الگوهای پنهان در تعداد زیادی از نظرات، وبلاگ ها یا توئیت ها است. به همین منظور دیتاستی در این رابطه برای عزیزان تدارک دیده شده است که امیدواریم مورد توجه واقع گردد.
این دیتاست شامل پست‌های مرتبط با اعتصاب معلمان و بسته شدن مدارس شیکاگو در تمامی رسانه‌های اجتماعی نظیر: وبلاگ، فیسبوک، توییتر،فروم و کامنت ها است که از ۸ تا ۱۲ دسامبر سال ۲۰۱۲ ( دو روز قبل و دو روز بعد از حادثه) جمع‌آوری شده است.

نمونه‌هایی از قابلیت‌های استفاده‌ی این دیتاست:

تحلیل افکار عمومی در فضای مجازی درباره اعتصاب رخ داده در شیکاگو

متن کاوی، عقیده کاوی، نظرکاوی

https://www.datapool.ir/beta/2016/06/26/sentiment/

کاربرد کلان داده ها در صنعت تولید

#BigData

🔵مدیریت دوره عمر محصول
🔵طراحی ارزشمندترین کالا
🔵نوآوری آزاد
🔵پیش تقاضا و برنامه ریزی تولید
🔵کارخانه دیجیتال
🔵هدایت فعالیت ها با سنسور
🔵خدمات پس از فروش از طریق سنسورها

در ادامه هر یک شرح داده می شود...


منبع:
کتاب مدیریت کلان داده ها در بخش های خصوصی و عمومی ،تالیف دکتر بابک سهرابی و حمیده ایرج

#معرفی_کتاب

🔵Hadoop,The definitive Guid,Tom White,O'Reilly

🔵Hadoop Operations,Eric Sammer,O'Reilly Media

🔵Real-World Hadoop,Ted Dunning,O'Reilly Media

🔵Professional Hadoop Soultions,Boris Lublinsky,Wrox

مایکروسافت SQL Server 2012 در هدوپ

🔵The SQL Server-Hadoop Connector
🔵Downloading the SQL Server-Hadoop Connector
🔵Installing the SQL Server-Hadoop Connector
🔵The Sqoop import/export tool
🔵Using the Hive ODBC Driver
🔵Creating the project
🔵Creating the DataFlow
🔵Creating the Source Hive Connection
🔵Creating the destination SQL Connection
🔵Mapping the columns
🔵Creating a Data Model with SQL Server Analysis Services
🔵Using self service BI tools

برای یادگیری موارد فوق به پی دی اف کتاب مراجعه فرمایید.

امنیت و حریم خصوصی در کلان داده (BigData)

در حال حاضر،بسیاری از تکنیک های امنیت و حريم خصوصی برای سناريو های کلان داده وجود دارند.اين تکنیک ها برای کلان داده کافی و مناسب نمی باشند،زيرا عمدتاً برای داده های کوچک سنتی طراحی شده اند.بنابراين،تلاشهای تحقیقاتی مورد انتظار هستند که به چالش های امنیت و حريم خصوصی در کلان داده اختصاص داده شوند.تحقیقات حريم خصوصی کلان داده هنوز در مراحل اولیه خودش است.در اين مقاله به بررسی مختصری بر امنیت و حريم خصوصی کلان داده و تکنیک ها و روش های معرفی شده برای آن مانند،رمز گذاری مجدد،حريم خصوصی ديفرانسیلی پرداخته شده است و اين روش ها از نظر کارايی زمان، مقیاس پذيری و حريم خصوصی بررسی شده است.

روش های ذکر شده حفظ حريم خصوصی را بهبود بخشیدند،اما هنوز به علت حجم فزاينده مجموعه داده ها چالشهايی در اين زمینه وجود دارد.با توجه به ضعف اين روش ها جا دارد تا مورد بررسی دقیق تری قرار گیرند.و روش های جديدی با توجه به چالش های موجود ايجاد شود تا با اطمینان بیشتری بتوان از آنها استفاده نمود.همواره يک تناقض آشکار بین امنیت و حريم خصوصی،و استفاده گسترده از کلان داده وجود دارد.استفاده از داده های کاربران باعث پیشرفت کلان داده می شود.

اما از طرفی در بین مردم نگرانی نسبت به افشاء اطلاعاتشان وجود دارد.که خود يک چالش در زمینه رفاه مصرف کنندگان ايجاد می کند.کلان داده نیاز به وضع قوانین و سیاست های استواری دارد که بر اساس آن سطح حساسیت اطلاعات مشخص شود.تا اطلاعات حساس شناسايی و با روش هايی مانند رمز نگاری يا گذاشتن نويز حفاظت شوند.تعدادی از تکنیک های امنیت و حريم خصوصی برای کلان داده مطرح شد.هر کدام از اين روش هابخشی از ويژگی های کلان داده را در نظر گرفته اند ولی به طور کامل مفید نیستند.بنابراين ارائه يک روش جديد برای امنیت و حريم خصوصی کلان داده که از هر لحاظ مناسب بوده و کارايی کلان داده را دچار مشکل نکند،ضروری به نظر می رسد.

منبع : چکیده ای از مقاله مریم چوپانی شیرزی در کنفرانس بین المللی پژوهش های کاربردی در فناوری اطلاعات،کامپیوتر و مخابرات
〰〰〰〰〰
منبع:nis_ict
📌کانال تخصصی امنیت سايبري
📢 باذکرمنبع نشر دهید.
@ict_security
🛡🎯لینک عضویت:
https://telegram.me/joinchat/BaPoBjumXnAJvmKuYQQQbQ

کلان داده ها در تامین منافع عموم مردم

#bigdata

🔵موارد بحرانی و اضطراری
🔵کمک به رشد توسعه
🔵شناسایی نقاط جرم خیز
🔵کمک به آتش نشانی ها در امداد و نجات
🔵داده نگاری

کلان داده ها علاوه بر ایجاد کسب و کارهای جدید،خلق ارزش برای صنایع مختلف و بالا بردن سودآوری شرکت ها میتواند زیربنای آگاهی بخشی به مردم برای کمک به تصمیم گیری های آگاهانه تر و کمک به مردم حادثه دیده در مواقع خطر و بحران باشد.

با تحلیل شبکه های اجتماعی، نقشه های جغرافیایی، داده های بانک های جهانی، سیستم داده های جمع اوری شده گزارشات جرم، دیتابیس های گزارشات امداد نجات و ساختمان های در معرض حریق و جمع آوری اطلاعات خبری، میتوان به عنوان پشتیبانی برای تصمیم گیری و با پیوستن به طرح داده های آزاد از توان عموم مردم برای حل مشکلات استفاده کرد.

@BigDataTechnology

منبع:
کتاب مدیریت کلان داده ها

دیتاست جرم شناسی
#dataset


سیستم‌های پیش‌بینی جرم به طور کلی با یادگیری از داده‌های جرم‌های رخ داده در یک شهر در یک بازه زمانی به پیش‌بینی مناطقی که احتمال وقوع جرم در آن بیشتر است می‌پردازد. این سیستم‌ها قادر به پیش‌بینی هویت سارق نیستند بلکه نوع جرم، مکان و زمان احتمالی وقوع آن را پیش‌بینی می کند. داده‌ها شامل جرم‌هایی است که از تاریخ ۲۰۰۳/۱/۱ تا ۲۰۱۵/۵/۱۳ توسط سازمان پلیس سان‌فرانسیکو ثبت شده است.
هر سطر از جدول دادگان شامل اطلاعات زیر است:

🔵تاریخ و زمان دقیق وقوع جرم
🔵روز وقوع جرم در هفته
🔵نام واحد پلیس منطقه
🔵آدرس وقوع جرم
🔵عرض جغرافیایی وقوع جرم
🔵طول جغرافیایی وقوع جرم
🔵دسته‌ای که جرم در آن قرار می‌گیرد.
🔵شرح کوتاهی از جرم
🔵شرح کوتاهی از اقدام پلیس و مقامات قضایی با جرم

لینک دانلود رایگان دیتاست :


https://www.datapool.ir/beta/2016/04/05/predicting-crime/

۱۳ چارچوب منبع‌باز برای کسب مهارت در یادگیری ماشینی
@BigDataTechnology


▫ApacheSpark MLib
▫Apache Singa
▫Caffe
▫Microsoft Azure ML Studio
▫Amazon Machine Learning
▫Microsoft Distributed Machine Learning Toolkit
▫Google TensorFlow
▫ Microsoft Computational Network Toolkit
▫Veles (Samsung)
▫Brainstorm
▫mlpack 2
▫Marvin
▫Neon



 https://www.bigdata.ir/1395/06/۱۳-چارچوب-منبع‌باز-برای-کسب-مهارت-در-ی/