مهندسی داده
793 subscribers
112 photos
7 videos
24 files
315 links
BigData.ir کانال رسمی وب سایت
مطالبی راجع به مهندسی داده و طراحی زیرساخت‌های پردازش دیتا و ابزارهای مدرن دیتا
ارتباط با ادمین: @smbanaei
گروه تخصصی مهندسی داده 👇
https://t.iss.one/bigdata_ir_discussions2
کانال یوتیوب 👇
https://www.youtube.com/@irbigdata
Download Telegram
کافکا استریمز :‌پردازش داده بر بستر کافکا - https://is.gd/rWrcaa
اخبار
,
در ادامه آشنایی با چارچوب‌های پردازش جریان، به پروژه کافکا استریمز می پردازیم. این کتابخانه توسعه داده شده کتابخانه محبوب کافکا با هدف ایجاد امکان ساخت خطوط پردازش داده به صورت توزیع شده بر روی کافکا است.
بررسی معماری داده شرکت اوبر - https://is.gd/iweKz4
اخبار
,
در این مقاله به بررسی سه نسل از معماری داده شرکت عظیم اوبر می‌پردازیم و با مسایل و مشکلاتی که در به کارگیری هدوپ در سیستم‌های واقعی پیش می‌آید به همراه راهکارهای رفع آنها از زبان رضا شیفته‌فر، مدیر تیم کلان داده اوبر، آشنا می‌شویم
دعوت به همکاری در پروژه طراحی و ایجاد بستر تحلیل ترافیک و ذائقه سنجی کاربران فضای مجازی - https://is.gd/b68y0T
اخبار
, #دعوت_به_همکاری, #مرکز_تحقیقات_مخابرات_ایران
دعوت به همکاری پژوهشکده فناوری اطلاعات مرکز تحقیقات مخابرات ایران برای انجام یک پروژه در حوزه فضای مجازی و نیاز به مهندسین داده، برنامه نویسان و افراد آشنا به کلان داده ، هدوپ، یادگیری ماشین و بانکهای اطلاعاتی نوین
اقدامات پژوهشکده فناوری اطلاعات در حوزه کلان داده کشور - https://is.gd/r7vx5Y
اخبار
,
رییس پژوهشکده فناوری اطلاعات چهار اقدام تهیه نقشه راه کلان داده کشور، پروژه رگولاتوری کلان داده، برگزاری نشست های منظم کلان داده و تجهیز آزمایشگاه کلان داده را اقدامات اخیر این پژوهشگاه در راستای بومی سازی کلان داده و استفاده عملی از آن در کشور دانست.
شما هم هنوز از SQL-92 استفاده می‌کنید؟ - https://is.gd/A5PIDg
اخبار
,
بسیاری از ما عادت به استفاده از امکانات کلاسیک SQL‌ داریم و نیازهای خود را در این زمینه با چند دستور تو در تو و کمی سعی و خطا برطرف می کنیم درصورتیکه از نسخه SQL-92 که از زمان دانشگاه با آن آشنا شده ایم، امکانات بسیاری به SQL افزوده شده است. با هم به مرور سریع این امکانات می پردازیم.
تحولی در پردازش کلان‌داده با آپاچی ایگنایت - رقیب سازمانی اسپارک - https://is.gd/uzpAwm
اخبار
,
پردازش‌های درون حافظه‌ای به دلیل سرعت بالایی که با خود به همراه دارند، از رشد سریعی در چند سال گذشته برخوردار شده اند و آپاچی اسپارک از جمله طلایه داران این حوزه است اما یکپارچه سازی کل حافظه های یک شبکه و ایجاد یک زیرساخت واحد برای تمامی پردازش ها و ذخیره و بازیابی خودکار داده‌ها و نتایج پردازش، کاریست که اسپارک نمی‌تواند انجام دهد. وظیفه ای که امروزه، آپاچی ایگنایت برعهده گرفته است و به عنوان لایه ذخیره سازی سامانه های پردازش داده، مکمل و بخش ضروری بسیاری از پروژه های دیگر بنیاد آپاچی شده است.
کارگاه‌های رایگان و عملی یادگیری ماشین رهنما کالج - https://is.gd/uF3cLY
اخبار
,
رهنما کالج به عنوان بازوی آموزشی شرکت رهنما، با هدف پر کردن خلا بین نیاز بازار و دروس دانشگاهی، اقدام به برگزاری کارگاه‌های مختلف رایگان و عملی در حوزه‌های مختلف از جمله یادگیری ماشین نموده است. کافی است ثبت نام کنید، در آزمون ورودی شرکت کنید و حدود شش هفته هم در یک محیط عملی به کسب تجربه بپردازید.
یوتیوب، وایتِس و حل مشکل مقیاس‌پذیری MySQL - https://is.gd/qzY2R8
اخبار
,
خیلی از تیم‌ها و استارتاپ‌ها کار خود را با MySQL‌ شروع می‌کنند و به مرور زمان و با افزایش تعداد درخواست‌ها و داده‌ها با MySQL دچار چالش می‌شوندو مهاجرت از این دیتابیس و امتحان گزینه‌های دیگر، هزینه زیادی برای این شرکت‌ها دارد. بنابراین بهتر است که راه‌حلی پایدار و مناسب برای مقیاس‌پذیری MySQL پیدا کنیم. در این پست راه‌حلی که توسط یوتیوب توسعه داده و اپن سورس شد و امروزه به نام پروژه Vitess شناخته می‌شود را با هم بررسی می‌کنیم.
کارگاه فرآیندکاوی و اهمیت آن در سازمانها - https://is.gd/xAxOdb
اخبار
,
با حمایت معاونت علمی ریاست جمهوری و کافه بازار، سخنرانی آقای مهندس هادی ستوده با موضوع “فرآیند کاوی و اهمیت آن در سازمان‌ها، شرکت‌ها و دستگاه‌های اجرایی” در روز شنبه ۸ دی ماه کافه بازار برگزار می‌شود.