Forwarded from Hadoop.ir
اگر علاقه به تبادل نظر و گفتگو پیرامون فریم ورک هدوپ دارید به گروه «هدوپ ایران» بپیوندید.
لینک عضویت: https://telegram.me/joinchat/An8qwj6CGwg0WS-2dTi-Dw
مرجع هدوپ ایران
www.hadoop.ir
@hadoop
لینک عضویت: https://telegram.me/joinchat/An8qwj6CGwg0WS-2dTi-Dw
مرجع هدوپ ایران
www.hadoop.ir
@hadoop
نگاهی مقایسه ای به پروژه های پردازش جریان آپاچی:
#BigData
#MapReduce
#Spark
@BigDataTechnology
در حوزه پردازش داده، دو نوع اصلی پردازش داریم : پردازش بلادرنگ (Real Time) یا همان پردازش جریان (Stream Processing) و پردازش انبوده (Batch Processing) که فناوریهای اصلی حوزه کلان داده ، مانند روش توزیع و تجمیع (MapReduce)، و جدیدا اسپارک برای پردازش انبوه داده ها طراحی شده اند . رهیافت اصلی پردازش بلادرنگ برای سالها، استفاده از صفهای توزیع شده و پروژه های محدودی مانند Storm بود.
در سالهای اخیر ، فناوریهای پردازش بلادرنگ و داده های جریانی مانند داده های دریافتی از حسگرها و تصاویر ترافیک و ماهواره، داده های شبکه های اجتماعی و مانند آن که یکسره در حال تولید هستند و جریان آنها به صورت پیوسته درحال تزریق به برنامه های پردازشی است، پیشرفت زیادی کرده اند و فقط در اکوسیستم آپاچی (مجموعه پروژه های بنیاد آپاچی) امروزه بیش از ده پروژه مختلف متن باز مختلف در این حوزه داریم بعضی از آنها، تفاوت بسیار کمی با یکدیگر دارند که این امر، انتخاب درست ابزار و کتابخانه های مورد نیاز برای پردازش جریان را امری زمان بر و تخصصی نموده است .
با هدف سهولت تصمیم گیری مهندسین داده، وبلاگ DataBaseLine در اقدامی تحسین برانگیز، این فناوریها را در یک جدول با هم مقایسه کرده است که آنرا در زیر می توانید مشاهده کنید .
منبع : Bigdata.ir
مطلب ادامه دارد.....
#BigData
#MapReduce
#Spark
@BigDataTechnology
در حوزه پردازش داده، دو نوع اصلی پردازش داریم : پردازش بلادرنگ (Real Time) یا همان پردازش جریان (Stream Processing) و پردازش انبوده (Batch Processing) که فناوریهای اصلی حوزه کلان داده ، مانند روش توزیع و تجمیع (MapReduce)، و جدیدا اسپارک برای پردازش انبوه داده ها طراحی شده اند . رهیافت اصلی پردازش بلادرنگ برای سالها، استفاده از صفهای توزیع شده و پروژه های محدودی مانند Storm بود.
در سالهای اخیر ، فناوریهای پردازش بلادرنگ و داده های جریانی مانند داده های دریافتی از حسگرها و تصاویر ترافیک و ماهواره، داده های شبکه های اجتماعی و مانند آن که یکسره در حال تولید هستند و جریان آنها به صورت پیوسته درحال تزریق به برنامه های پردازشی است، پیشرفت زیادی کرده اند و فقط در اکوسیستم آپاچی (مجموعه پروژه های بنیاد آپاچی) امروزه بیش از ده پروژه مختلف متن باز مختلف در این حوزه داریم بعضی از آنها، تفاوت بسیار کمی با یکدیگر دارند که این امر، انتخاب درست ابزار و کتابخانه های مورد نیاز برای پردازش جریان را امری زمان بر و تخصصی نموده است .
با هدف سهولت تصمیم گیری مهندسین داده، وبلاگ DataBaseLine در اقدامی تحسین برانگیز، این فناوریها را در یک جدول با هم مقایسه کرده است که آنرا در زیر می توانید مشاهده کنید .
منبع : Bigdata.ir
مطلب ادامه دارد.....
مهندسی داده
کلان داده (بیگ دیتا)، علم داده و هر آنچه راجع به داده است - مهندسی داده
وب سایت مهندسی داده : کلان داده (بیگ دیتا)، علم داده و هر آنچه راجع به داده است
با عرض سلام و ادب .
آخرین جمعه فروردین زیبای 95 بخیر.
دوستان عزیز چندین کتاب کابردی در حوزه بیگ دیتا در اختیارتون قرار می دهم.
امیدوارم مفید قرار بگیره.
پیروز باشید.
گلناز اردشیری
@BigDataTechnology
آخرین جمعه فروردین زیبای 95 بخیر.
دوستان عزیز چندین کتاب کابردی در حوزه بیگ دیتا در اختیارتون قرار می دهم.
امیدوارم مفید قرار بگیره.
پیروز باشید.
گلناز اردشیری
@BigDataTechnology
Forwarded from Kahkeshan 🎓🎃🍉
Forwarded from Mobin Ranjbar
سخنرانی Doug Cutting در کنفرانس Strata Hadoop World 2016 به مناسبت 10 ساله شدن هدوپ
لینک یوتیوب:
https://www.youtube.com/watch?v=8FZGT1-0MBM
لینک دانلود ویدیو:
https://fs2.filegir.com/mobinranjbar/Apache_Hadoop_at_10_-_Doug_Cutting_%28Strata___Hadoop_World_2016%29.mp4
لینک یوتیوب:
https://www.youtube.com/watch?v=8FZGT1-0MBM
لینک دانلود ویدیو:
https://fs2.filegir.com/mobinranjbar/Apache_Hadoop_at_10_-_Doug_Cutting_%28Strata___Hadoop_World_2016%29.mp4
YouTube
Apache Hadoop at 10 - Doug Cutting (Strata + Hadoop World 2016)
2016 marks the 10th anniversary of Apache Hadoop. This milestone provides us an opportunity to reflect on how we got here and where we are going. Subscribe t...