مهندسی داده
792 subscribers
112 photos
7 videos
24 files
314 links
BigData.ir کانال رسمی وب سایت
مطالبی راجع به مهندسی داده و طراحی زیرساخت‌های پردازش دیتا و ابزارهای مدرن دیتا
ارتباط با ادمین: @smbanaei
گروه تخصصی مهندسی داده 👇
https://t.iss.one/bigdata_ir_discussions2
کانال یوتیوب 👇
https://www.youtube.com/@irbigdata
Download Telegram
سامانه‌های پردازش جریان : اسپارک - https://is.gd/aRtXT6
اخبار
,
در این مقاله ابتدا به بررسی معیارهای سنجش سامانه های پردازش جریان میپردازیم و سپس یکی از رایجترین این سامانه‌ها ، یعنی اسپارک استریمینگ معرفی خواهد شد.
سامانه‌های پردازش جریان : استورم و هِرون - https://is.gd/dktTDl
اخبار
,
در ادامه سری آموزشی آشنایی با فریم‌ورک‌های پردازش جریان، در این مقاله به مروری بر آپاچی استورم و نسخه جدید آن یعنی آپاچی هِرون می پردازیم
چرا از مانگو‌دی‌بی به پستگرس مهاجرت کردیم؟ - https://is.gd/X8UhQN
بانکهای اطلاعاتی سندگرا, معرفی و آموزش, مقایسه و انتخاب
, #پستگرس, #مانگو_دی_بی, #مهاجرت_به_پستگرس
مانگو‌دی‌بی علیرغم ساختار بسیار منعطف خود، مسایلی را در دنیای واقعی با خود به همراه دارد که این مقاله داستان مهاجرت سایت Shippable از مانگو به پستگرس را بازگو می‌کند
انویدیا،RAPIDS وتحولی نوین در پردازش داده - https://is.gd/yOBHWH
ابزار و کتابخانه ها, اخبار و مقالات
, #GPU, #انویدیا, #پردازنده_های_گرافیکی
کار با واحدهای پردازش گرافیک برای کارهای محاسباتی سابقه‌ای دیرینه دارد. افزایش حجم داده‌ها و نیاز به سرعت بیشتر در تحلیل و پردازش آنها، بازیکنان اصلی پردازش داده دنیا را گرد هم آورده است تا به کمک تجربه شرکت انویدیا، خطوط پردازش داده خود را به پردازه‌های گرافیکی منتقل کنند. RAPIDS خروجی این همکاری است و نویدبخش آینده‌ای بهتر برای علم داده
گامی به جلو در استفاده تجاری از هدوپ - https://is.gd/NZXdj7
اخبار
,
در ۱۲ مهر ماه سالجاری دو شرکت بزرگ هورتون‌ورکز و کلوداِرا رسما ادغام خود را اعلام کردند. خبری که نویدبخش گسترش هر چه بیشتر هدوپ در سامانه‌های تجاری دنیا خواهد بود.
مدیریت گرافیکی پروژه‌های کلان‌داده با آپاچی نایفای - https://is.gd/akNUUk
اخبار
,
اگر قصد طراحی یک سامانه پردازش داده با ابزارهای متنوع متن‌باز امروزی مانند هدوپ، اسپارک، ایگنایت ، فلینک و غیره دارید و خواندن از منابع داده و ذخیره نتایج را هم می‌خواهید خودتان مدیریت کنید، آپاچی نایفای به صورت گرافیکی و بسیار سریع، ابزار لازم را در اختیار شما می ‌گذارد. با هم به بررسی این پروژه رو به رشد آپاچی می‌پردازیم.
انتخاب الگوریتم مناسب در یادگیری ماشین - https://is.gd/4asubT
اخبار
,
با توجه به گستره الگوریتم های مورد استفاده در یادگیری ماشین و نیاز به انتخاب مناسب مدل و الگوریتم مورد نیاز، تصمیم گرفتیم نسخه ای از این راهنما را که در سایت شرکت معتبر تحلیل آماری SAS منتشر شده است را برای علاقه‌مندان این حوزه به زبان فارسی تبدیل کنیم با این امید که یک ابزار دم دستی برای علاقه‌مندان و فعالین این حوزه باشد.
آپاچی اَپکس : چارچوب تولید برنامه‌های پردازش داده سازمانی - https://is.gd/oNE5CA

,
در ادامه مباحث آشنایی با چارچوب‌های پردازش داده‌های جریانی بنیاد آپاچی، در این نوشتار به معرفی آپاچی اَپکس می‌پردازیم. شرکت DataTorrent یکی از شرکتهای فعال در حوزه پردازش جریان و مستقر در دره سیلیکون آمریکاست. این شرکت در سال ۲۰۱۵ تصمیم گرفت یکی از محصولات تجاری پردازش جریان خود را به بنیاد آپاچی...
پیش‌بینی دیابت با استفاده از درخت تصمیم «نرم‌افزار رپیدماینر» - https://is.gd/QsXRmX
#مثالـکاربردی, #درخت_تصمیم
یک مثال کاربردی از داده‌کاوی در صنعت پزشکی (پیش‌بینی دیابت) که توسط جناب امیر عبداللهی در سایت Dataio.ir منتشر شده است و وب سایت مهندسی داده به باز نشر بخشی از آن پرداخته است.