مهندسی داده
792 subscribers
112 photos
7 videos
24 files
314 links
BigData.ir کانال رسمی وب سایت
مطالبی راجع به مهندسی داده و طراحی زیرساخت‌های پردازش دیتا و ابزارهای مدرن دیتا
ارتباط با ادمین: @smbanaei
گروه تخصصی مهندسی داده 👇
https://t.iss.one/bigdata_ir_discussions2
کانال یوتیوب 👇
https://www.youtube.com/@irbigdata
Download Telegram
گامی به جلو در استفاده تجاری از هدوپ - https://is.gd/NZXdj7
اخبار
,
در ۱۲ مهر ماه سالجاری دو شرکت بزرگ هورتون‌ورکز و کلوداِرا رسما ادغام خود را اعلام کردند. خبری که نویدبخش گسترش هر چه بیشتر هدوپ در سامانه‌های تجاری دنیا خواهد بود.
مدیریت گرافیکی پروژه‌های کلان‌داده با آپاچی نایفای - https://is.gd/akNUUk
اخبار
,
اگر قصد طراحی یک سامانه پردازش داده با ابزارهای متنوع متن‌باز امروزی مانند هدوپ، اسپارک، ایگنایت ، فلینک و غیره دارید و خواندن از منابع داده و ذخیره نتایج را هم می‌خواهید خودتان مدیریت کنید، آپاچی نایفای به صورت گرافیکی و بسیار سریع، ابزار لازم را در اختیار شما می ‌گذارد. با هم به بررسی این پروژه رو به رشد آپاچی می‌پردازیم.
انتخاب الگوریتم مناسب در یادگیری ماشین - https://is.gd/4asubT
اخبار
,
با توجه به گستره الگوریتم های مورد استفاده در یادگیری ماشین و نیاز به انتخاب مناسب مدل و الگوریتم مورد نیاز، تصمیم گرفتیم نسخه ای از این راهنما را که در سایت شرکت معتبر تحلیل آماری SAS منتشر شده است را برای علاقه‌مندان این حوزه به زبان فارسی تبدیل کنیم با این امید که یک ابزار دم دستی برای علاقه‌مندان و فعالین این حوزه باشد.
آپاچی اَپکس : چارچوب تولید برنامه‌های پردازش داده سازمانی - https://is.gd/oNE5CA

,
در ادامه مباحث آشنایی با چارچوب‌های پردازش داده‌های جریانی بنیاد آپاچی، در این نوشتار به معرفی آپاچی اَپکس می‌پردازیم. شرکت DataTorrent یکی از شرکتهای فعال در حوزه پردازش جریان و مستقر در دره سیلیکون آمریکاست. این شرکت در سال ۲۰۱۵ تصمیم گرفت یکی از محصولات تجاری پردازش جریان خود را به بنیاد آپاچی...
پیش‌بینی دیابت با استفاده از درخت تصمیم «نرم‌افزار رپیدماینر» - https://is.gd/QsXRmX
#مثالـکاربردی, #درخت_تصمیم
یک مثال کاربردی از داده‌کاوی در صنعت پزشکی (پیش‌بینی دیابت) که توسط جناب امیر عبداللهی در سایت Dataio.ir منتشر شده است و وب سایت مهندسی داده به باز نشر بخشی از آن پرداخته است.
گرادیان بوستینگ چیست ؟ - https://is.gd/TWjsqO
مفاهیم پایه
, #بوستینگ, #مفاهیم_پایه
یکی از انواع الگوریتم‌های دسته‌بندی با دقت بالا الگوریتم‌های مبتنی بر مشارکت گروهی و نیز بهبود مستمر (بوستینگ) است که از بین آنها، روش بهبود گرادیان با استقبال خوبی مواجه شده است. جناب آیدین عابدی نیا زحمت تهیه مطلب مفیدی را در این زمینه کشیده اند که وب سایت مهندسی داده به باز نشر آن اقدام کرده است
پردرآمدترین مهارت‌های حوزه کلان‌داده - https://is.gd/Xwulrb
اخبار و مقالات, معرفی و اخبار عمومی
, #الاستیک_سرچ
سایت کاریابی معتبر Dice‌ به رسم هر ساله با استفاده از پرسشنامه‌ای که از مشتریان خود جمع‌آوری می‌کند اقدام به رتبه‌بندی مهارت‌های فناوری‌ اطلاعات بر اساس میزان متوسط پرداخت حقوق به صاحبان آنها می‌پردازد و خلاصه کار را به صورت گزارشی تحلیلی منتشر می‌کند.

در جدیدترین گزارش (نسخه سال ۲۰۱۸) این شرکت ...
هک خودرو؛ چطوری با پردازش تصویر خودروی‌مان را هوشمند کنیم؟ - https://is.gd/2Cbivp
پردازش تصویر
, #شبکه_عمیق, #مثال_عملی
مثالی بسیار خواندنی برای تشخیص خطوط سفید کنار جاده توسط یک دوربین و یک برنامه ساده که توسط آقای هادی عبدی خجسته در سایت ویرگول منتشر شده است.
کافکا استریمز :‌پردازش داده بر بستر کافکا - https://is.gd/rWrcaa
اخبار
,
در ادامه آشنایی با چارچوب‌های پردازش جریان، به پروژه کافکا استریمز می پردازیم. این کتابخانه توسعه داده شده کتابخانه محبوب کافکا با هدف ایجاد امکان ساخت خطوط پردازش داده به صورت توزیع شده بر روی کافکا است.