مهندسی داده
793 subscribers
112 photos
7 videos
24 files
315 links
BigData.ir کانال رسمی وب سایت
مطالبی راجع به مهندسی داده و طراحی زیرساخت‌های پردازش دیتا و ابزارهای مدرن دیتا
ارتباط با ادمین: @smbanaei
گروه تخصصی مهندسی داده 👇
https://t.iss.one/bigdata_ir_discussions2
کانال یوتیوب 👇
https://www.youtube.com/@irbigdata
Download Telegram
تحولی در پردازش کلان‌داده با آپاچی ایگنایت - رقیب سازمانی اسپارک - https://is.gd/uzpAwm
اخبار
,
پردازش‌های درون حافظه‌ای به دلیل سرعت بالایی که با خود به همراه دارند، از رشد سریعی در چند سال گذشته برخوردار شده اند و آپاچی اسپارک از جمله طلایه داران این حوزه است اما یکپارچه سازی کل حافظه های یک شبکه و ایجاد یک زیرساخت واحد برای تمامی پردازش ها و ذخیره و بازیابی خودکار داده‌ها و نتایج پردازش، کاریست که اسپارک نمی‌تواند انجام دهد. وظیفه ای که امروزه، آپاچی ایگنایت برعهده گرفته است و به عنوان لایه ذخیره سازی سامانه های پردازش داده، مکمل و بخش ضروری بسیاری از پروژه های دیگر بنیاد آپاچی شده است.
کارگاه‌های رایگان و عملی یادگیری ماشین رهنما کالج - https://is.gd/uF3cLY
اخبار
,
رهنما کالج به عنوان بازوی آموزشی شرکت رهنما، با هدف پر کردن خلا بین نیاز بازار و دروس دانشگاهی، اقدام به برگزاری کارگاه‌های مختلف رایگان و عملی در حوزه‌های مختلف از جمله یادگیری ماشین نموده است. کافی است ثبت نام کنید، در آزمون ورودی شرکت کنید و حدود شش هفته هم در یک محیط عملی به کسب تجربه بپردازید.
یوتیوب، وایتِس و حل مشکل مقیاس‌پذیری MySQL - https://is.gd/qzY2R8
اخبار
,
خیلی از تیم‌ها و استارتاپ‌ها کار خود را با MySQL‌ شروع می‌کنند و به مرور زمان و با افزایش تعداد درخواست‌ها و داده‌ها با MySQL دچار چالش می‌شوندو مهاجرت از این دیتابیس و امتحان گزینه‌های دیگر، هزینه زیادی برای این شرکت‌ها دارد. بنابراین بهتر است که راه‌حلی پایدار و مناسب برای مقیاس‌پذیری MySQL پیدا کنیم. در این پست راه‌حلی که توسط یوتیوب توسعه داده و اپن سورس شد و امروزه به نام پروژه Vitess شناخته می‌شود را با هم بررسی می‌کنیم.
کارگاه فرآیندکاوی و اهمیت آن در سازمانها - https://is.gd/xAxOdb
اخبار
,
با حمایت معاونت علمی ریاست جمهوری و کافه بازار، سخنرانی آقای مهندس هادی ستوده با موضوع “فرآیند کاوی و اهمیت آن در سازمان‌ها، شرکت‌ها و دستگاه‌های اجرایی” در روز شنبه ۸ دی ماه کافه بازار برگزار می‌شود.
چرا گاردین از مانگودی‌بی به پستگرس مهاجرت کرد ؟ - https://is.gd/yhaq4L
NoSQL, مقایسه و انتخاب
, #پستگرس, #گاردین, #مانگو_دی_بی, #مهاجرت_از_مانگو, #مهاجرت_به_پستگرس, #موردکاوی
روزنامه قدیمی گاردین که سالها از دیتابیس مانگو برای مدیریت مقالات و اسناد خود استفاده می‌کرد در سال ۲۰۱۷ تصمیم به مهاجرت به پستگرس گرفت. این مقاله، خلاصه ای از مقاله اصلی منتشر شده در ماه اخیر توسط گاردین است.
SqlDBM ابزاری آنلاین برای مدلسازی بانک اطلاعاتی - https://is.gd/dfD61n
ابزار و کتابخانه ها
,

چندی پیش مشاهده کردم یکی از بچه‌های فعال واحد آی‌تی، مدلسازی و مستندسازی بانک‌های اطلاعاتی دانشگاه را با ابزاری آنلاین به آدرس sqldbm.com انجام میدهد که با پرس و جو از ایشان، متوجه شدم که به عنوان یک برنامه نویس حرفه‌ای، از کار با این ابزار مدلسازی آنلاین کاملاً راضی است و تنها از امکانات محدودت...
معماری پیشنهادی برای پردازش لحظه‌ای داده‌های بورس - https://is.gd/stKXmw
اخبار
,
پردازش داده های بورس همواره یکی از حوزه های جذاب کاربردهای هوش مصنوعی و یادگیری ماشین در سالیان اخیر بوده است. با توجه به حجم بسیار بالای داده های تبادل شده در این صنعت و نیاز به اخذ تصمیمات لحظه ای، نیازمند یک معماری کامل و جامع و با نگاه به نیازمندیهای آینده هستیم . در این نوشتار، به بررسی ابزارهای موجود در حوزه کلان داده برای ایجاد یک خط پردازش لحظه‌ای داده های بورس می‌پردازیم.
آپاچی فلینک : پرچمدار پردازش جریان - https://bit.ly/2VLyzw0
ابزار و کتابخانه ها, چارچوب های پردازش کلان داده, معماری های اطلاعاتی, هدوپ و فناوریهای مرتبط
, #آپاچی_اسپارک, #آپاچی_فلینک, #پردازش_جریان
شرکت عظیم علی‌بابا که به آمازون چین معروف است، هفته گذشته رسما اعلام کرد که شرکت data Artisans که توسط توسعه‌گران اولیه آپاچی فلینک در سال ۲۰۱۴ ایجاد شده است را به قیمت ۹۰ میلیون یورو خریداری کرده است تا باعث رونق صنعت پردازش داده‌های جریانی در دنیا شود. خبری که نوید بخش رشد سریع آپاچی فلینک در سالیان آتی خواهد بود. فلینک به عنوان یکی از پیشروترین موتورهای پردازش جریان‌های داده آپاچی، امروزه توسط شرکتهای بزرگی چون نتفلیکس و اوبر در حال استفاده است. در این مقاله در ادامه مباحث آشنایی با سامانه‌های جریان‌پرداز دنیا، به مرور قابلیتهای این پروژه متن‌باز خواهیم پرداخت.
انتخاب پستگرس به عنوان دیتابیس برگزیده سال 2018 - https://is.gd/H5QqHK
معرفی و اخبار عمومی
, #پستگرس

وب سایت DB-Engines‌ به عادت مألوف، با بررسی گرایشات جهانی و سایر پارامترهایی که خود تعریف کرده است، دیتابیس منتخب سال ۲۰۱۸ را معرفی کرده است که این عنوان به برای دومین سال متوالی به پستگرس رسیده است. این دیتابیس که امسال وارد سی امین سال حیات خود می‌شود، نه تنها نشانه‌های پیری را بروز نداده اس...
نگاهی به صنعت مانیتورینگ با معرفی Prometheus - https://is.gd/aZaqxS
اخبار
,
با گسترش بانک‌های اطلاعاتی و سرویسهای مختلف نرم افزاری در شرکت‌ها و سازمانهای امروزی، نیاز به ابزاری برای پایش مداوم و بررسی وضعیت سرویس‌های مختلف بر اساس پارامترهای قابل تعریف، از جمله نیازهای رو به رشد حوزه دواپس و زیرساخت است. در این نوشتار که مصاحبه‌ای با برایان برزیل است، با پرومتئوس به عنوان یکی از طلایه داران متن‌باز این حوزه آشنا می شویم.