نگاهی به مفاهیم و ابزار جریان‌پردازی - https://is.gd/jEPd5Z
اخبار
,
در چند سال اخیر و به مدد رشد منابع تولید کننده داده، سمت و سوی فناوری‌های پردازش داده از کلان‌داده به داده‌های جریانی تغییر مسیر داده است. تا چند سال پیش، دغدغه ما پردازش میلیونها داده‌ای بود که ذخیره شده بودند و نیاز به پردازش داشتند (Data at Rest) اما سرعت تولید اطلاعات و نیاز به پردازش سریع و ...

یادگیری ماشین : برترین شغل 2018 - https://is.gd/yCrVIh
اخبار و مقالات
, #شغل_برتر, #علم_داده, #یادگیری_ماشین
وب سایت HowMuch اخیرا اقدام به انتشار اینفوگرافیکی از برترین شغل های ۲۰۱۸ آمریکا براساس داده های سایت معتبر کاریابی Indeed و اعمال دو معیار حقوق بالا و رو به رشد بودن حوزه نموده است که بر این اساس، برترین شغل به دست آمده ، یادگیری ماشین با میانگین درآمد سالیانه ۱۳۶۰۰۰ دلار بوده است.
علم داده و به...

Colabratory - سرویس آنلاین و رایگان پردازش داده گوگل - https://is.gd/7JOvdc
ابزار و کتابخانه ها
, #ابزار_تحلیل_داده, #ابزارهای_آنلاین_مهندسی_داده, #ابزارهای_پردازش_داده, #سرویسهای_آنلاین, #کتابچه_های_پایتون, #گوگل
گوگل از سال ۲۰۱۴ در حال کار بر روی پروژه ای است با نام Colabratory  که با استفاده از کتابچه های پایتون (Jupyter Notebooks) ، محققین و علاقه مندان بتوانند علاوه بر اینکه کدهای خود را به صورت آنلاین اجرا کنند، امکان ویرایش و به اشتراک گذاری آنها را هم داشته باشند.
در حال حاضر، مدتیست گوگل ، این سرو...

دست به کد : جمع آوری و پردازش توئیت های فارسی - https://is.gd/1R8MAV
پردازش زبان طبیعی
, #NLP, #پایتون, #پردازش_زبان_طبیعی, #پردازش_متن, #پیش_پردازش_داده, #توئیتر, #دست_به_کد
در ادامه سلسله مباحث آموزشی پردازش زبان طبیعی و قبل از اینکه بخواهیم به صورت کامل به مباحث مرتبط با این موضوع به صورت عملی بپردازیم، نیازمند متون فارسی اولیه برای تحلیل های متنی هستیم.
با توجه به اینکه نوشته های رسمی روزنامه ها و سایتهای خبری، خیلی نیاز به پاکسازی و پیش پردازش ندارند، تصمیم گرفتی...

نگاهی به تغییرات هدوپ در نسخه ۳ - بخش اول - https://is.gd/3d8JAn
ابزار و کتابخانه ها
, #Erasure_Coding, #Yarn, #هدوپ
در ماه های انتهایی سال ۲۰۱۷ بعد از چندین سال کار مداوم، نسخه ۳ هدوپ به صورت رسمی عرضه شد. در این مقاله به قابلیتهای نوین این نسخه از چارچوب پردازشی محبوب کلان داده خواهیم پرداخت.
تغییرات اصلی که در این نسخه شاهد هستیم عبارتند از :


ارتقا به نسخه ۸ جاوا
پشتیبانی از الگوریتم کدگذاری Erasure در HDF...

سیستم فایل پیشنهادی برای ذخیره و بازیابی میلیون ها فایل - https://is.gd/I05RsW
ابزار و کتابخانه ها, مقایسه و انتخاب
, #Alluxio, #Ceph, #HDFS, #سیستم_فایل_توزیع_شده, #هدوپ
یکی از خوانندگان عزیز سایت مهندسی داده، سوالی از بنده پرسیده بود که برای یک سامانه که نیاز به ذخیره و بازیابی میلیون ها عکس دارد، از چه روشی برای مدیریت فایلها استفاده کنم ؟ به سراغ HDFS بروم یا بانک های اطلاعاتی نوین NoSQL را انتخاب کنم ؟
تصمیم گرفتم بررسی دقیق تری برای این موضوع انجام بدهم و بب...

یادگیری علم داده در دوره جامع و آنلاین مایکروسافت - https://is.gd/4LRaEe
آموزش و یادگیری
, #آموزش_کلان_داده, #دوره_آموزشی, #مایکروسافت, #مسیر_یادگیری
اگر قصد یادگیری علم داده را از پایه و به همراه مثالهای مناسب و ابزارهای یکپارچه و هماهنگ و بهره وری از محیط رایانش ابری برای اجرای مدلهای مختلف یادگیری ماشین و اعمال آنها روی هر نوع داده با هر اندازه ای را دارید، توصیه می کنم دوره جامع یادگیری علم داده شرکت مایکروسافت را که با همکاری سایت آموزش ا...

آشنایی با معماری‌های داده در طراحی سامانه‌های جریان‌پرداز - https://is.gd/Ixrmos
اخبار
,
در این مقاله به بررسی دو معماری مطرح در حوزه کلان‌داده برای طراحی سیستم‌های اطلاعاتی یعنی معماری لامبدا و کاپا می‌پردازیم و با جنبه‌های مختلف آنها آشنا خواهیم شد.

چگونه بازماندگان شما را فریب می دهند - معرفی سایت آنالیکا - https://is.gd/OOV8VC
معرفی سایت
, #آمار_و_احتمال, #سوگیری, #معرفی_سایت
وب سایت آنالیکا یکی از سایتهایی است که با رویکردی تخصصی و حرفه ای و با کادری متخصص، به تشریح مفاهیم مختلف حوزه هوش تجاری و تحلیل کسب و کار می پردازد. برای این دوستان ، آرزوی موفقیت و دوام فعالیتهایشان را دارم. مقاله زیر عیناً از این وب سایت و با هدف آشنایی با نحوه نگارش آنالیکا در سایت مهندسی داده، بازنشر داده شده است.

آموزش پاوربی‌آی - اشتراک گذاری داشبورد - https://is.gd/QBcpFD
اخبار
,
در ادامه آموزش نرم افزار محبوب هوش تجاری پاوربی‌آی مایکروسافت، در این قسمت به نحوه اشتراک گذاری داشبوردها و گزارش‌ها و انجام کارهای تیمی خواهیم پرداخت.