مهندسی داده
793 subscribers
112 photos
7 videos
24 files
315 links
BigData.ir کانال رسمی وب سایت
مطالبی راجع به مهندسی داده و طراحی زیرساخت‌های پردازش دیتا و ابزارهای مدرن دیتا
ارتباط با ادمین: @smbanaei
گروه تخصصی مهندسی داده 👇
https://t.iss.one/bigdata_ir_discussions2
کانال یوتیوب 👇
https://www.youtube.com/@irbigdata
Download Telegram
چرا گاردین از مانگودی‌بی به پستگرس مهاجرت کرد ؟ - https://is.gd/yhaq4L
NoSQL, مقایسه و انتخاب
, #پستگرس, #گاردین, #مانگو_دی_بی, #مهاجرت_از_مانگو, #مهاجرت_به_پستگرس, #موردکاوی
روزنامه قدیمی گاردین که سالها از دیتابیس مانگو برای مدیریت مقالات و اسناد خود استفاده می‌کرد در سال ۲۰۱۷ تصمیم به مهاجرت به پستگرس گرفت. این مقاله، خلاصه ای از مقاله اصلی منتشر شده در ماه اخیر توسط گاردین است.
SqlDBM ابزاری آنلاین برای مدلسازی بانک اطلاعاتی - https://is.gd/dfD61n
ابزار و کتابخانه ها
,

چندی پیش مشاهده کردم یکی از بچه‌های فعال واحد آی‌تی، مدلسازی و مستندسازی بانک‌های اطلاعاتی دانشگاه را با ابزاری آنلاین به آدرس sqldbm.com انجام میدهد که با پرس و جو از ایشان، متوجه شدم که به عنوان یک برنامه نویس حرفه‌ای، از کار با این ابزار مدلسازی آنلاین کاملاً راضی است و تنها از امکانات محدودت...
معماری پیشنهادی برای پردازش لحظه‌ای داده‌های بورس - https://is.gd/stKXmw
اخبار
,
پردازش داده های بورس همواره یکی از حوزه های جذاب کاربردهای هوش مصنوعی و یادگیری ماشین در سالیان اخیر بوده است. با توجه به حجم بسیار بالای داده های تبادل شده در این صنعت و نیاز به اخذ تصمیمات لحظه ای، نیازمند یک معماری کامل و جامع و با نگاه به نیازمندیهای آینده هستیم . در این نوشتار، به بررسی ابزارهای موجود در حوزه کلان داده برای ایجاد یک خط پردازش لحظه‌ای داده های بورس می‌پردازیم.
آپاچی فلینک : پرچمدار پردازش جریان - https://bit.ly/2VLyzw0
ابزار و کتابخانه ها, چارچوب های پردازش کلان داده, معماری های اطلاعاتی, هدوپ و فناوریهای مرتبط
, #آپاچی_اسپارک, #آپاچی_فلینک, #پردازش_جریان
شرکت عظیم علی‌بابا که به آمازون چین معروف است، هفته گذشته رسما اعلام کرد که شرکت data Artisans که توسط توسعه‌گران اولیه آپاچی فلینک در سال ۲۰۱۴ ایجاد شده است را به قیمت ۹۰ میلیون یورو خریداری کرده است تا باعث رونق صنعت پردازش داده‌های جریانی در دنیا شود. خبری که نوید بخش رشد سریع آپاچی فلینک در سالیان آتی خواهد بود. فلینک به عنوان یکی از پیشروترین موتورهای پردازش جریان‌های داده آپاچی، امروزه توسط شرکتهای بزرگی چون نتفلیکس و اوبر در حال استفاده است. در این مقاله در ادامه مباحث آشنایی با سامانه‌های جریان‌پرداز دنیا، به مرور قابلیتهای این پروژه متن‌باز خواهیم پرداخت.
انتخاب پستگرس به عنوان دیتابیس برگزیده سال 2018 - https://is.gd/H5QqHK
معرفی و اخبار عمومی
, #پستگرس

وب سایت DB-Engines‌ به عادت مألوف، با بررسی گرایشات جهانی و سایر پارامترهایی که خود تعریف کرده است، دیتابیس منتخب سال ۲۰۱۸ را معرفی کرده است که این عنوان به برای دومین سال متوالی به پستگرس رسیده است. این دیتابیس که امسال وارد سی امین سال حیات خود می‌شود، نه تنها نشانه‌های پیری را بروز نداده اس...
نگاهی به صنعت مانیتورینگ با معرفی Prometheus - https://is.gd/aZaqxS
اخبار
,
با گسترش بانک‌های اطلاعاتی و سرویسهای مختلف نرم افزاری در شرکت‌ها و سازمانهای امروزی، نیاز به ابزاری برای پایش مداوم و بررسی وضعیت سرویس‌های مختلف بر اساس پارامترهای قابل تعریف، از جمله نیازهای رو به رشد حوزه دواپس و زیرساخت است. در این نوشتار که مصاحبه‌ای با برایان برزیل است، با پرومتئوس به عنوان یکی از طلایه داران متن‌باز این حوزه آشنا می شویم.
کلان داده چگونه باعث ایجاد بحرانی بزرگ در علم شده است؟ - https://is.gd/1NQDiL
اخبار
,
در این نوشتار با ذکر مثال‌هایی میبینیم چقدر احتمال دارد دانشمندان از روی بخت‌واقبال سیگنال‌های جالب، اما غیرواقعی را از مجموعه‌ی داده‌ها استخراج کنند. آن‌ها احتمالا براساس همین سیگنال‌ها فرضیه‌سازی و از همان مجموعه‌ی داده‌ی قبلی برای نتیجه‌گیری استفاده می‌کنند. درنهایت، احتمالا زمانی به‌طول خواهد انجامید تا آن‌ها متوجه تکرارپذیرنبودن یافته‌هایشان شوند. چنین مشکلی عموما در تحلیل‌هایی براساس کلان‌داده رخ می‌دهد. به‌طور خلاصه، به‌‌دلیل فراوانی حجم داده احتمال یافتنِ اتفاقی سیگنال‌های مثبت وجود دارد.
دست به کد: جمع آوری و تحلیل داده‌های توئیتر فارسی در چند دقیقه - https://is.gd/veI79O
پردازش زبان طبیعی, دست به کد
, #دست_به_کد, #شبکه_های_اجتماعی
اگر قصد جمع‌آوری و تحلیل داده‌های فارسی در شبکه‌های اجتماعی و بخصوص توئیتر را دارید، به کمک این آموزش گام به گام و به مدد امکانات آنلاین مایکروسافت، در چند دقیقه و بدون نیاز به نصب نرم افزار یا حتی آشنایی با برنامه‌نویسی، شروع به جمع آوری و تحلیل داده‌های توئیتر نمایید.
پیش‌بینی قیمت خودرو بر اساس دیتاست منتشر شده سایت دیوار - https://is.gd/9X05Gs
دست به کد
, #پایتون
مجموعه کافه‌بازار اخیراً دیتاستی حاوی حدود یک میلیون رکورد از خرید و فروش‌های سایت دیوار را به صورت عمومی منشتر کرده‌اند و سعید میرشکاری تحلیل ساده‌ای بر روی آنها انجام داده است که این مقاله، بازنشر مطلب ایشان است.