مهندسی داده
792 subscribers
112 photos
7 videos
24 files
314 links
BigData.ir کانال رسمی وب سایت
مطالبی راجع به مهندسی داده و طراحی زیرساخت‌های پردازش دیتا و ابزارهای مدرن دیتا
ارتباط با ادمین: @smbanaei
گروه تخصصی مهندسی داده 👇
https://t.iss.one/bigdata_ir_discussions2
کانال یوتیوب 👇
https://www.youtube.com/@irbigdata
Download Telegram
انتخاب الگوریتم مناسب در یادگیری ماشین - https://is.gd/4asubT
اخبار
,
با توجه به گستره الگوریتم های مورد استفاده در یادگیری ماشین و نیاز به انتخاب مناسب مدل و الگوریتم مورد نیاز، تصمیم گرفتیم نسخه ای از این راهنما را که در سایت شرکت معتبر تحلیل آماری SAS منتشر شده است را برای علاقه‌مندان این حوزه به زبان فارسی تبدیل کنیم با این امید که یک ابزار دم دستی برای علاقه‌مندان و فعالین این حوزه باشد.
آپاچی اَپکس : چارچوب تولید برنامه‌های پردازش داده سازمانی - https://is.gd/oNE5CA

,
در ادامه مباحث آشنایی با چارچوب‌های پردازش داده‌های جریانی بنیاد آپاچی، در این نوشتار به معرفی آپاچی اَپکس می‌پردازیم. شرکت DataTorrent یکی از شرکتهای فعال در حوزه پردازش جریان و مستقر در دره سیلیکون آمریکاست. این شرکت در سال ۲۰۱۵ تصمیم گرفت یکی از محصولات تجاری پردازش جریان خود را به بنیاد آپاچی...
پیش‌بینی دیابت با استفاده از درخت تصمیم «نرم‌افزار رپیدماینر» - https://is.gd/QsXRmX
#مثالـکاربردی, #درخت_تصمیم
یک مثال کاربردی از داده‌کاوی در صنعت پزشکی (پیش‌بینی دیابت) که توسط جناب امیر عبداللهی در سایت Dataio.ir منتشر شده است و وب سایت مهندسی داده به باز نشر بخشی از آن پرداخته است.
گرادیان بوستینگ چیست ؟ - https://is.gd/TWjsqO
مفاهیم پایه
, #بوستینگ, #مفاهیم_پایه
یکی از انواع الگوریتم‌های دسته‌بندی با دقت بالا الگوریتم‌های مبتنی بر مشارکت گروهی و نیز بهبود مستمر (بوستینگ) است که از بین آنها، روش بهبود گرادیان با استقبال خوبی مواجه شده است. جناب آیدین عابدی نیا زحمت تهیه مطلب مفیدی را در این زمینه کشیده اند که وب سایت مهندسی داده به باز نشر آن اقدام کرده است
پردرآمدترین مهارت‌های حوزه کلان‌داده - https://is.gd/Xwulrb
اخبار و مقالات, معرفی و اخبار عمومی
, #الاستیک_سرچ
سایت کاریابی معتبر Dice‌ به رسم هر ساله با استفاده از پرسشنامه‌ای که از مشتریان خود جمع‌آوری می‌کند اقدام به رتبه‌بندی مهارت‌های فناوری‌ اطلاعات بر اساس میزان متوسط پرداخت حقوق به صاحبان آنها می‌پردازد و خلاصه کار را به صورت گزارشی تحلیلی منتشر می‌کند.

در جدیدترین گزارش (نسخه سال ۲۰۱۸) این شرکت ...
هک خودرو؛ چطوری با پردازش تصویر خودروی‌مان را هوشمند کنیم؟ - https://is.gd/2Cbivp
پردازش تصویر
, #شبکه_عمیق, #مثال_عملی
مثالی بسیار خواندنی برای تشخیص خطوط سفید کنار جاده توسط یک دوربین و یک برنامه ساده که توسط آقای هادی عبدی خجسته در سایت ویرگول منتشر شده است.
کافکا استریمز :‌پردازش داده بر بستر کافکا - https://is.gd/rWrcaa
اخبار
,
در ادامه آشنایی با چارچوب‌های پردازش جریان، به پروژه کافکا استریمز می پردازیم. این کتابخانه توسعه داده شده کتابخانه محبوب کافکا با هدف ایجاد امکان ساخت خطوط پردازش داده به صورت توزیع شده بر روی کافکا است.
بررسی معماری داده شرکت اوبر - https://is.gd/iweKz4
اخبار
,
در این مقاله به بررسی سه نسل از معماری داده شرکت عظیم اوبر می‌پردازیم و با مسایل و مشکلاتی که در به کارگیری هدوپ در سیستم‌های واقعی پیش می‌آید به همراه راهکارهای رفع آنها از زبان رضا شیفته‌فر، مدیر تیم کلان داده اوبر، آشنا می‌شویم
دعوت به همکاری در پروژه طراحی و ایجاد بستر تحلیل ترافیک و ذائقه سنجی کاربران فضای مجازی - https://is.gd/b68y0T
اخبار
, #دعوت_به_همکاری, #مرکز_تحقیقات_مخابرات_ایران
دعوت به همکاری پژوهشکده فناوری اطلاعات مرکز تحقیقات مخابرات ایران برای انجام یک پروژه در حوزه فضای مجازی و نیاز به مهندسین داده، برنامه نویسان و افراد آشنا به کلان داده ، هدوپ، یادگیری ماشین و بانکهای اطلاعاتی نوین
اقدامات پژوهشکده فناوری اطلاعات در حوزه کلان داده کشور - https://is.gd/r7vx5Y
اخبار
,
رییس پژوهشکده فناوری اطلاعات چهار اقدام تهیه نقشه راه کلان داده کشور، پروژه رگولاتوری کلان داده، برگزاری نشست های منظم کلان داده و تجهیز آزمایشگاه کلان داده را اقدامات اخیر این پژوهشگاه در راستای بومی سازی کلان داده و استفاده عملی از آن در کشور دانست.