مهندسی داده
792 subscribers
112 photos
7 videos
24 files
314 links
BigData.ir کانال رسمی وب سایت
مطالبی راجع به مهندسی داده و طراحی زیرساخت‌های پردازش دیتا و ابزارهای مدرن دیتا
ارتباط با ادمین: @smbanaei
گروه تخصصی مهندسی داده 👇
https://t.iss.one/bigdata_ir_discussions2
کانال یوتیوب 👇
https://www.youtube.com/@irbigdata
Download Telegram
بررسی معماری داده شرکت اوبر - https://is.gd/iweKz4
اخبار
,
در این مقاله به بررسی سه نسل از معماری داده شرکت عظیم اوبر می‌پردازیم و با مسایل و مشکلاتی که در به کارگیری هدوپ در سیستم‌های واقعی پیش می‌آید به همراه راهکارهای رفع آنها از زبان رضا شیفته‌فر، مدیر تیم کلان داده اوبر، آشنا می‌شویم
دعوت به همکاری در پروژه طراحی و ایجاد بستر تحلیل ترافیک و ذائقه سنجی کاربران فضای مجازی - https://is.gd/b68y0T
اخبار
, #دعوت_به_همکاری, #مرکز_تحقیقات_مخابرات_ایران
دعوت به همکاری پژوهشکده فناوری اطلاعات مرکز تحقیقات مخابرات ایران برای انجام یک پروژه در حوزه فضای مجازی و نیاز به مهندسین داده، برنامه نویسان و افراد آشنا به کلان داده ، هدوپ، یادگیری ماشین و بانکهای اطلاعاتی نوین
اقدامات پژوهشکده فناوری اطلاعات در حوزه کلان داده کشور - https://is.gd/r7vx5Y
اخبار
,
رییس پژوهشکده فناوری اطلاعات چهار اقدام تهیه نقشه راه کلان داده کشور، پروژه رگولاتوری کلان داده، برگزاری نشست های منظم کلان داده و تجهیز آزمایشگاه کلان داده را اقدامات اخیر این پژوهشگاه در راستای بومی سازی کلان داده و استفاده عملی از آن در کشور دانست.
شما هم هنوز از SQL-92 استفاده می‌کنید؟ - https://is.gd/A5PIDg
اخبار
,
بسیاری از ما عادت به استفاده از امکانات کلاسیک SQL‌ داریم و نیازهای خود را در این زمینه با چند دستور تو در تو و کمی سعی و خطا برطرف می کنیم درصورتیکه از نسخه SQL-92 که از زمان دانشگاه با آن آشنا شده ایم، امکانات بسیاری به SQL افزوده شده است. با هم به مرور سریع این امکانات می پردازیم.
تحولی در پردازش کلان‌داده با آپاچی ایگنایت - رقیب سازمانی اسپارک - https://is.gd/uzpAwm
اخبار
,
پردازش‌های درون حافظه‌ای به دلیل سرعت بالایی که با خود به همراه دارند، از رشد سریعی در چند سال گذشته برخوردار شده اند و آپاچی اسپارک از جمله طلایه داران این حوزه است اما یکپارچه سازی کل حافظه های یک شبکه و ایجاد یک زیرساخت واحد برای تمامی پردازش ها و ذخیره و بازیابی خودکار داده‌ها و نتایج پردازش، کاریست که اسپارک نمی‌تواند انجام دهد. وظیفه ای که امروزه، آپاچی ایگنایت برعهده گرفته است و به عنوان لایه ذخیره سازی سامانه های پردازش داده، مکمل و بخش ضروری بسیاری از پروژه های دیگر بنیاد آپاچی شده است.
کارگاه‌های رایگان و عملی یادگیری ماشین رهنما کالج - https://is.gd/uF3cLY
اخبار
,
رهنما کالج به عنوان بازوی آموزشی شرکت رهنما، با هدف پر کردن خلا بین نیاز بازار و دروس دانشگاهی، اقدام به برگزاری کارگاه‌های مختلف رایگان و عملی در حوزه‌های مختلف از جمله یادگیری ماشین نموده است. کافی است ثبت نام کنید، در آزمون ورودی شرکت کنید و حدود شش هفته هم در یک محیط عملی به کسب تجربه بپردازید.
یوتیوب، وایتِس و حل مشکل مقیاس‌پذیری MySQL - https://is.gd/qzY2R8
اخبار
,
خیلی از تیم‌ها و استارتاپ‌ها کار خود را با MySQL‌ شروع می‌کنند و به مرور زمان و با افزایش تعداد درخواست‌ها و داده‌ها با MySQL دچار چالش می‌شوندو مهاجرت از این دیتابیس و امتحان گزینه‌های دیگر، هزینه زیادی برای این شرکت‌ها دارد. بنابراین بهتر است که راه‌حلی پایدار و مناسب برای مقیاس‌پذیری MySQL پیدا کنیم. در این پست راه‌حلی که توسط یوتیوب توسعه داده و اپن سورس شد و امروزه به نام پروژه Vitess شناخته می‌شود را با هم بررسی می‌کنیم.
کارگاه فرآیندکاوی و اهمیت آن در سازمانها - https://is.gd/xAxOdb
اخبار
,
با حمایت معاونت علمی ریاست جمهوری و کافه بازار، سخنرانی آقای مهندس هادی ستوده با موضوع “فرآیند کاوی و اهمیت آن در سازمان‌ها، شرکت‌ها و دستگاه‌های اجرایی” در روز شنبه ۸ دی ماه کافه بازار برگزار می‌شود.
چرا گاردین از مانگودی‌بی به پستگرس مهاجرت کرد ؟ - https://is.gd/yhaq4L
NoSQL, مقایسه و انتخاب
, #پستگرس, #گاردین, #مانگو_دی_بی, #مهاجرت_از_مانگو, #مهاجرت_به_پستگرس, #موردکاوی
روزنامه قدیمی گاردین که سالها از دیتابیس مانگو برای مدیریت مقالات و اسناد خود استفاده می‌کرد در سال ۲۰۱۷ تصمیم به مهاجرت به پستگرس گرفت. این مقاله، خلاصه ای از مقاله اصلی منتشر شده در ماه اخیر توسط گاردین است.
SqlDBM ابزاری آنلاین برای مدلسازی بانک اطلاعاتی - https://is.gd/dfD61n
ابزار و کتابخانه ها
,

چندی پیش مشاهده کردم یکی از بچه‌های فعال واحد آی‌تی، مدلسازی و مستندسازی بانک‌های اطلاعاتی دانشگاه را با ابزاری آنلاین به آدرس sqldbm.com انجام میدهد که با پرس و جو از ایشان، متوجه شدم که به عنوان یک برنامه نویس حرفه‌ای، از کار با این ابزار مدلسازی آنلاین کاملاً راضی است و تنها از امکانات محدودت...