مهندسی داده
793 subscribers
112 photos
7 videos
24 files
315 links
BigData.ir کانال رسمی وب سایت
مطالبی راجع به مهندسی داده و طراحی زیرساخت‌های پردازش دیتا و ابزارهای مدرن دیتا
ارتباط با ادمین: @smbanaei
گروه تخصصی مهندسی داده 👇
https://t.iss.one/bigdata_ir_discussions2
کانال یوتیوب 👇
https://www.youtube.com/@irbigdata
Download Telegram
مدلسازی داده در مانگودی‌بی: یک مثال کاربردی - https://is.gd/itr9At
بانکهای اطلاعاتی سندگرا
, #مدلسازی_داده
نمونه‌ای از یک طراحی بانک اطلاعاتی برای دیتابیس مانگو و ملزومات مورد نیاز برای مستندسازی طراحی آن، در این نوشتار به اشتراک گذاشته شده است.
دست به کد - استخراج متن وب سایتها با اسکرپی / استخراج اخبار سایت ایسنا Scrapy - https://is.gd/hCrVGC
پردازش زبان طبیعی, دست به کد
, #Scrapy, #اسکرپی, #پردازش_زبان_طبیعی, #پردازش_متن, #خزنده_وب, #دست_به_کد, #متن_کاوی, #مثال_عملی, #مثال_کاربردی
در این مقاله به نحوه ساخت یک خزنده وب برای استخراج اطلاعات سایتها به کمک کتابخانه معروف اسکرپی می‌پردازیم. با زدن یک مثال کاربردی برای استخراج اخبار سایت ایسنا، روند کار را به صورت مرحله به مرحله توضیح داده‌ایم.
دست به کد: جمع آوری و تحلیل اولیه آگهی‌های استخدام جابینجا - https://bit.ly/2OpbmMW
دست به کد
, #اسکرپی, #دست_به_کد
در این نوشتار، به استخراج داده‌های سایت کاریابی جابینجا به کمک کتابخانه اسکرپی و تحلیل داده‌های شرکتها با نرم افزار پاور بی آی پرداخته‌ایم.
آماده سازی داده‌ها برای پردازش، بیشترین زمان تحلیل بصری آنها را به خود اختصاص داده است.
علم داده، جامعه و اخلاق - https://is.gd/Vpb1Xb
اخلاق و جامعه
,
به عنوان دیتاساینتیست، چقدر به کارکرد درست الگوریتم و مدل تان فکر می کنید؟ مدلی که توسعه می دهید، چقدر از پیش داوری های ذهنی تان تاثیر می گیرد؟ آیا جایی برای دریافت بازخورد و اصلاح عملکرد مدلتان در نظر می گیرید؟ اگر مدل خطا داشته باشد، چه تبعاتی ممکن است برای کاربران آن ایجاد شود؟
دریمیو : راهکار یکپارچه سازی داده‌های سازمانی -https://bit.ly/2I0ZW1h
ابزار و کتابخانه ها, ابزار و کتابخانه ها, هدوپ و فناوریهای مرتبط
, #دریمیو, #هدوپ #راهکارهایـسازمانی #ابزارهایـهوشـتجاری
وجود منابع مختلف داده‌ در یک سازمان امروزه به امری رایج تبدیل شده است و وجود ابزاری که بتواند به تمام منابع داده‌ای موجود دنیا متصل شده، یک واسط استاندارد در اختیار تحلیل‌گران داده بگذارد، غنیمت بزرگی است که دریمیو، این رسالت را برعهده گرفته است.
کلان‌داده به زبان ساده : نصب و راه‌اندازی هدوپ - بخش اول - https://is.gd/R6KJGG
کلان‌داده به زبان ساده
, #اسپارک, #اوبونتو, #نصب_و_راه_اندازی, #هدوپ

با توجه به رهیافت سایت مهندسی داده در نشر و تولید مطالب تخصصی در حوزه کلان‌داده، تصمیم گرفتیم بخش جدیدی را با عنوان “کلان‌داده به زبان ساده” راه‌اندازی کنیم که مشابه با سری آموزشی “دست به کد”، با نگاهی کاربردی و عملی، راهنمای علاقه‌مندان به کار در این حوزه باشد.



مقدمه...
نگاهی به داده های مسکن در شهر تهران - https://is.gd/BXiAfN
مقالات میهمان
, #پوریا_گنجی, #ماشین_لرنینگ, #مثال_کاربردی, #مسکن, #هوش_تجاری, #یادگیری_ماشین
همراه با پوریا گنجی عزیز به تحلیل داده‌های مسکن شهر تهران بر اساس داده‌های آنلاین سایت کیلید می‌پردازیم. پاور بی آی و پایتون دو ابزار اصلی به کار رفته در این نوشتار هستند.
فیلم گردی با فیلیمو- بخش دوم: متن کاوی و دسته بندی فیلم ها - https://is.gd/arWPIf
مقالات میهمان
, #پوریا_گنجی, #فیلیمو, #ماشین_لرنینگ, #یادگیری_ماشین
در بخش اول به کمک مدلسازی گراف رابطه بین بازیگران فیلمها رو بررسی کردیم. در این بخش در دو قسمت مجزا ابتدا با داشبوردی برای جستجو در داده ها آشنا میشیم. سپس بر اساس مدل ساده ای به دسته بندی فیلم ها میپردازیم قسمت اول برای دسترسی به داشبورد کلیک کنید داشبوردی که برای جستجو …
فیلم گردی با فیلیمو - بخش اول: تحلیل گراف بازیگران - https://is.gd/5SQdr6
مقالات میهمان
, #Gephi, #پوریا_گنجی, #تحلیل_شبکه_های_اجتماعی, #گراف, #ماشین_لرنینگ, #یادگیری_ماشین
در این مقاله، پوریا گنجی با رویکردی کاربردی به تحلیل داده‌های فیلم‌های ایرانی و بررسی گراف بازیگران با استفاده از نرم افزار Gephi پرداخته است.