مهندسی داده
793 subscribers
112 photos
7 videos
24 files
315 links
BigData.ir کانال رسمی وب سایت
مطالبی راجع به مهندسی داده و طراحی زیرساخت‌های پردازش دیتا و ابزارهای مدرن دیتا
ارتباط با ادمین: @smbanaei
گروه تخصصی مهندسی داده 👇
https://t.iss.one/bigdata_ir_discussions2
کانال یوتیوب 👇
https://www.youtube.com/@irbigdata
Download Telegram
پردرآمدترین مهارت‌های حوزه کلان‌داده - https://is.gd/Xwulrb
اخبار و مقالات, معرفی و اخبار عمومی
, #الاستیک_سرچ
سایت کاریابی معتبر Dice‌ به رسم هر ساله با استفاده از پرسشنامه‌ای که از مشتریان خود جمع‌آوری می‌کند اقدام به رتبه‌بندی مهارت‌های فناوری‌ اطلاعات بر اساس میزان متوسط پرداخت حقوق به صاحبان آنها می‌پردازد و خلاصه کار را به صورت گزارشی تحلیلی منتشر می‌کند.

در جدیدترین گزارش (نسخه سال ۲۰۱۸) این شرکت ...
هک خودرو؛ چطوری با پردازش تصویر خودروی‌مان را هوشمند کنیم؟ - https://is.gd/2Cbivp
پردازش تصویر
, #شبکه_عمیق, #مثال_عملی
مثالی بسیار خواندنی برای تشخیص خطوط سفید کنار جاده توسط یک دوربین و یک برنامه ساده که توسط آقای هادی عبدی خجسته در سایت ویرگول منتشر شده است.
کافکا استریمز :‌پردازش داده بر بستر کافکا - https://is.gd/rWrcaa
اخبار
,
در ادامه آشنایی با چارچوب‌های پردازش جریان، به پروژه کافکا استریمز می پردازیم. این کتابخانه توسعه داده شده کتابخانه محبوب کافکا با هدف ایجاد امکان ساخت خطوط پردازش داده به صورت توزیع شده بر روی کافکا است.
بررسی معماری داده شرکت اوبر - https://is.gd/iweKz4
اخبار
,
در این مقاله به بررسی سه نسل از معماری داده شرکت عظیم اوبر می‌پردازیم و با مسایل و مشکلاتی که در به کارگیری هدوپ در سیستم‌های واقعی پیش می‌آید به همراه راهکارهای رفع آنها از زبان رضا شیفته‌فر، مدیر تیم کلان داده اوبر، آشنا می‌شویم
دعوت به همکاری در پروژه طراحی و ایجاد بستر تحلیل ترافیک و ذائقه سنجی کاربران فضای مجازی - https://is.gd/b68y0T
اخبار
, #دعوت_به_همکاری, #مرکز_تحقیقات_مخابرات_ایران
دعوت به همکاری پژوهشکده فناوری اطلاعات مرکز تحقیقات مخابرات ایران برای انجام یک پروژه در حوزه فضای مجازی و نیاز به مهندسین داده، برنامه نویسان و افراد آشنا به کلان داده ، هدوپ، یادگیری ماشین و بانکهای اطلاعاتی نوین
اقدامات پژوهشکده فناوری اطلاعات در حوزه کلان داده کشور - https://is.gd/r7vx5Y
اخبار
,
رییس پژوهشکده فناوری اطلاعات چهار اقدام تهیه نقشه راه کلان داده کشور، پروژه رگولاتوری کلان داده، برگزاری نشست های منظم کلان داده و تجهیز آزمایشگاه کلان داده را اقدامات اخیر این پژوهشگاه در راستای بومی سازی کلان داده و استفاده عملی از آن در کشور دانست.
شما هم هنوز از SQL-92 استفاده می‌کنید؟ - https://is.gd/A5PIDg
اخبار
,
بسیاری از ما عادت به استفاده از امکانات کلاسیک SQL‌ داریم و نیازهای خود را در این زمینه با چند دستور تو در تو و کمی سعی و خطا برطرف می کنیم درصورتیکه از نسخه SQL-92 که از زمان دانشگاه با آن آشنا شده ایم، امکانات بسیاری به SQL افزوده شده است. با هم به مرور سریع این امکانات می پردازیم.
تحولی در پردازش کلان‌داده با آپاچی ایگنایت - رقیب سازمانی اسپارک - https://is.gd/uzpAwm
اخبار
,
پردازش‌های درون حافظه‌ای به دلیل سرعت بالایی که با خود به همراه دارند، از رشد سریعی در چند سال گذشته برخوردار شده اند و آپاچی اسپارک از جمله طلایه داران این حوزه است اما یکپارچه سازی کل حافظه های یک شبکه و ایجاد یک زیرساخت واحد برای تمامی پردازش ها و ذخیره و بازیابی خودکار داده‌ها و نتایج پردازش، کاریست که اسپارک نمی‌تواند انجام دهد. وظیفه ای که امروزه، آپاچی ایگنایت برعهده گرفته است و به عنوان لایه ذخیره سازی سامانه های پردازش داده، مکمل و بخش ضروری بسیاری از پروژه های دیگر بنیاد آپاچی شده است.
کارگاه‌های رایگان و عملی یادگیری ماشین رهنما کالج - https://is.gd/uF3cLY
اخبار
,
رهنما کالج به عنوان بازوی آموزشی شرکت رهنما، با هدف پر کردن خلا بین نیاز بازار و دروس دانشگاهی، اقدام به برگزاری کارگاه‌های مختلف رایگان و عملی در حوزه‌های مختلف از جمله یادگیری ماشین نموده است. کافی است ثبت نام کنید، در آزمون ورودی شرکت کنید و حدود شش هفته هم در یک محیط عملی به کسب تجربه بپردازید.