مهندسی داده
792 subscribers
112 photos
7 videos
24 files
314 links
BigData.ir کانال رسمی وب سایت
مطالبی راجع به مهندسی داده و طراحی زیرساخت‌های پردازش دیتا و ابزارهای مدرن دیتا
ارتباط با ادمین: @smbanaei
گروه تخصصی مهندسی داده 👇
https://t.iss.one/bigdata_ir_discussions2
کانال یوتیوب 👇
https://www.youtube.com/@irbigdata
Download Telegram
دست به کد : جمع آوری و پردازش توئیت های فارسی - https://is.gd/1R8MAV
پردازش زبان طبیعی
, #NLP, #پایتون, #پردازش_زبان_طبیعی, #پردازش_متن, #پیش_پردازش_داده, #توئیتر, #دست_به_کد
در ادامه سلسله مباحث آموزشی پردازش زبان طبیعی و قبل از اینکه بخواهیم به صورت کامل به مباحث مرتبط با این موضوع به صورت عملی بپردازیم، نیازمند متون فارسی اولیه برای تحلیل های متنی هستیم.
با توجه به اینکه نوشته های رسمی روزنامه ها و سایتهای خبری، خیلی نیاز به پاکسازی و پیش پردازش ندارند، تصمیم گرفتی...
نگاهی به تغییرات هدوپ در نسخه ۳ - بخش اول - https://is.gd/3d8JAn
ابزار و کتابخانه ها
, #Erasure_Coding, #Yarn, #هدوپ
در ماه های انتهایی سال ۲۰۱۷ بعد از چندین سال کار مداوم، نسخه ۳ هدوپ به صورت رسمی عرضه شد. در این مقاله به قابلیتهای نوین این نسخه از چارچوب پردازشی محبوب کلان داده خواهیم پرداخت.
تغییرات اصلی که در این نسخه شاهد هستیم عبارتند از :


ارتقا به نسخه ۸ جاوا
پشتیبانی از الگوریتم کدگذاری Erasure در HDF...
سیستم فایل پیشنهادی برای ذخیره و بازیابی میلیون ها فایل - https://is.gd/I05RsW
ابزار و کتابخانه ها, مقایسه و انتخاب
, #Alluxio, #Ceph, #HDFS, #سیستم_فایل_توزیع_شده, #هدوپ
یکی از خوانندگان عزیز سایت مهندسی داده، سوالی از بنده پرسیده بود که برای یک سامانه که نیاز به ذخیره و بازیابی میلیون ها عکس دارد، از چه روشی برای مدیریت فایلها استفاده کنم ؟ به سراغ HDFS بروم یا بانک های اطلاعاتی نوین NoSQL را انتخاب کنم ؟
تصمیم گرفتم بررسی دقیق تری برای این موضوع انجام بدهم و بب...
یادگیری علم داده در دوره جامع و آنلاین مایکروسافت - https://is.gd/4LRaEe
آموزش و یادگیری
, #آموزش_کلان_داده, #دوره_آموزشی, #مایکروسافت, #مسیر_یادگیری
اگر قصد یادگیری علم داده را از پایه و به همراه مثالهای مناسب و ابزارهای یکپارچه و هماهنگ و بهره وری از محیط رایانش ابری برای اجرای مدلهای مختلف یادگیری ماشین و اعمال آنها روی هر نوع داده با هر اندازه ای را دارید، توصیه می کنم دوره جامع یادگیری علم داده شرکت مایکروسافت را که با همکاری سایت آموزش ا...
آشنایی با معماری‌های داده در طراحی سامانه‌های جریان‌پرداز - https://is.gd/Ixrmos
اخبار
,
در این مقاله به بررسی دو معماری مطرح در حوزه کلان‌داده برای طراحی سیستم‌های اطلاعاتی یعنی معماری لامبدا و کاپا می‌پردازیم و با جنبه‌های مختلف آنها آشنا خواهیم شد.
چگونه بازماندگان شما را فریب می دهند - معرفی سایت آنالیکا - https://is.gd/OOV8VC
معرفی سایت
, #آمار_و_احتمال, #سوگیری, #معرفی_سایت
وب سایت آنالیکا یکی از سایتهایی است که با رویکردی تخصصی و حرفه ای و با کادری متخصص، به تشریح مفاهیم مختلف حوزه هوش تجاری و تحلیل کسب و کار می پردازد. برای این دوستان ، آرزوی موفقیت و دوام فعالیتهایشان را دارم. مقاله زیر عیناً از این وب سایت و با هدف آشنایی با نحوه نگارش آنالیکا در سایت مهندسی داده، بازنشر داده شده است.
آموزش پاوربی‌آی - اشتراک گذاری داشبورد - https://is.gd/QBcpFD
اخبار
,
در ادامه آموزش نرم افزار محبوب هوش تجاری پاوربی‌آی مایکروسافت، در این قسمت به نحوه اشتراک گذاری داشبوردها و گزارش‌ها و انجام کارهای تیمی خواهیم پرداخت.
سامانه‌های پردازش جریان : اسپارک - https://is.gd/aRtXT6
اخبار
,
در این مقاله ابتدا به بررسی معیارهای سنجش سامانه های پردازش جریان میپردازیم و سپس یکی از رایجترین این سامانه‌ها ، یعنی اسپارک استریمینگ معرفی خواهد شد.
سامانه‌های پردازش جریان : استورم و هِرون - https://is.gd/dktTDl
اخبار
,
در ادامه سری آموزشی آشنایی با فریم‌ورک‌های پردازش جریان، در این مقاله به مروری بر آپاچی استورم و نسخه جدید آن یعنی آپاچی هِرون می پردازیم
چرا از مانگو‌دی‌بی به پستگرس مهاجرت کردیم؟ - https://is.gd/X8UhQN
بانکهای اطلاعاتی سندگرا, معرفی و آموزش, مقایسه و انتخاب
, #پستگرس, #مانگو_دی_بی, #مهاجرت_به_پستگرس
مانگو‌دی‌بی علیرغم ساختار بسیار منعطف خود، مسایلی را در دنیای واقعی با خود به همراه دارد که این مقاله داستان مهاجرت سایت Shippable از مانگو به پستگرس را بازگو می‌کند