مهندسی داده
792 subscribers
112 photos
7 videos
24 files
314 links
BigData.ir کانال رسمی وب سایت
مطالبی راجع به مهندسی داده و طراحی زیرساخت‌های پردازش دیتا و ابزارهای مدرن دیتا
ارتباط با ادمین: @smbanaei
گروه تخصصی مهندسی داده 👇
https://t.iss.one/bigdata_ir_discussions2
کانال یوتیوب 👇
https://www.youtube.com/@irbigdata
Download Telegram
سرگذشت تیم داده‌ی وب سایت دیوار - https://is.gd/bU648t
نمونه های کاربردی
, #به_کارگیری_علم_داده_در_ایران, #تجربیات, #تیم_مهندسی_داده, #سایت_دیوار, #علم_داده_در_ایران, #نمونه_معماری_های_کلان_داده


محمد امین خشخاشی مقدم در وبلاگ کافه بازار، تجربیات خود را در چند سال گذشته برای تحلیل داده‌های سایت دیوار و تشکیل یک تیم داده حرفه‌ای به خوبی بیان کرده است. وب سایت مهندسی داده ضمن تقدیر از این کار ارزشمند که هم باعث انتقال تجربیات به علاقه‌مندان می‌شود و هم با مشاهده بازخوردهای کاربران، به ...
دیتا آی کو : بستری مناسب برای شروع علم داده - https://is.gd/jNi9nR
ابزار و کتابخانه ها
, #ابزارهای_پردازش_داده, #ابزارهای_تحلیل_داده, #بسترهای_علم_داده, #دیتا_آی_کو, #شروع_به_کار
همانطور که قبلا اشاره شد، یادگیری ماشین و علم داده جزء برترین شغل های ۲۰۱۸ آمریکا به عنوان یکی از پیشرفته ترین کشورهای دنیا از لحاظ فناوری، قرار گرفته است و روز به روز بر تعداد علاقه مندان و مشتاقان این حوزه نوین از علم ، افزوده میشود.
بسیاری از این علاقه مندان به زبان های برنامه نویسی و تحلیل دا...
رشته‌های دانشگاهی مرتبط با حوزه علم‌داده در ایران - https://is.gd/uZSx8D
آموزش و راهنمایی
, #به_کارگیری_علم_داده_در_ایران, #رشته_علوم_داده, #علم_داده_در_ایران

این مقاله از کانال علم داده در تلگرام با آدرس @dataanalysis عیناً نقل شده است. از جناب محتاط عزیز هم بابت تهیه این نوشتار ارزشمند سپاسگزاریم.

یکی از دغدغه‌های اصلی علاقه‌مندان به حوزه علم‌داده شرکت در رشته مرتبط در مقطع کارشناسی ارشد با حوزه‌هایی مانند علم‌داده، داده‌کاوی کلان‌داده و̷...
معماری سایت کافه بازار - از هزاران درخواست در روز به هزاران درخواست در ثانیه - https://is.gd/au03e9
نمونه های کاربردی
, #به_کارگیری_علم_داده_در_ایران, #تجربیات, #کافه_بازار, #کوبرنیتز, #معماری_داده, #معماری_سرویس_گرا, #نمونه_معماری_های_کلان_داده


مهران اخوان در وبلاگ کافه بازار، تجربیات خود را در چند سال گذشته برای رسیدن به یک معماری مقیاس‌پذیر برای کافه‌بازار به عنوان اصلی‌ترین بستر اشتراک برنامه‌های اندرویدی ایران، بیان کرده است. وب سایت مهندسی داده ضمن تقدیر از این کار ارزشمند که هم باعث انتقال تجربیات به علاقه‌مندان می‌شود و هم ب...
علم داده به زبان ساده - یادگیری آماری #1 - https://is.gd/AsGCUJ
آموزش و راهنمایی, مفاهیم پایه
, #آزمایش_مدل, #به_زبان_ساده, #بیش_برازش, #داده_های_آزمایش, #داده_های_آموزش, #سوگیری, #علم_داده, #علم_داده_به_زبان_ساده, #کم_برازش, #مدل, #واریانس, #یادگیری_آماری, #یادگیری_ماشین, #یادگیری_مدل
امروزه صحبت از علم داده و ضرورت استفاده از آن در تمامی ابعاد زندگی، تکرار مکررات است. مجموعه مقالاتی از Pradeep Menon تحت عنوان «علم داده به زبان ساده» در حال انتشار است که تا این تاریخ قسمت دهم آن هم تحت عنوان «Data Science Simplified Part 10: An Introduction to Classification Models» منتشر شده ...
علم داده به زبان ساده - مفاهیم پایه و فرآیند کار #2 - https://is.gd/Ffa0GU
آموزش و راهنمایی, مفاهیم پایه
, #الگوریتم_های_یادگیری_ماشین, #به_زبان_ساده, #تعریف_علم_داده, #علم_داده, #علم_داده_به_زبان_ساده, #فرآیند_علم_داده, #مدل_سازی, #یادگیری_ماشین
در قسمت اول این سری آموزشی، با برخی مفاهیم اصلی در یادگیری ماشین مانند مدل، متغیرهای وابسته و متغیرهای مستقل آشنا شدیم و دریافتیم که هدف اصلی یادگیری ماشین که یکی از سه رکن اصلی علم داده است، درک بهتر داده ها و کشف روابط بین متغیرهای وابسته و مستقل و نهایتاً تخمین یک مقدار یا یک پیش بینی است.  نی...
علم داده به زبان ساده - آزمایش فرضیه #3 - https://is.gd/zImbyW
آموزش و راهنمایی, مفاهیم پایه
, #Alternate_Hypothesis, #Hypothesis_Test, #Null_Hypothesis, #PValue, #آزمایش_فرضیه, #آزمون_فرضیه, #به_زبان_ساده, #علم_داده, #علم_داده_به_زبان_ساده, #فرضیه_جایگزین, #فرضیه_صفر
ادوارد تلر ، فیزیک دان معروف ، توصیف زیر را درباره حقیقت و فرضیه ، بیان کرده است :
یک حقیقت، یک عبارت ساده است که همه آنرا قبول دارند. این حقیقت، بی گناه و مصون از خطاست تا زمانی که نقص یا ایرادی در آن پدید آید. یک فرضیه ، یک پیشنهاد جدید و بدیع است که کسی نمی خواهد آنرا قبول کند. فرضیه، موجودی گ...
علم داده به زبان ساده - بررسی معیارهای سنجش دسته‌بندی - بخش اول - https://is.gd/sc6Fiq
آموزش و راهنمایی, مفاهیم پایه
, #Accuracy, #F1Score, #Precision, #Recall, #بازخوانی, #دقت, #صحت, #علم_داده_به_زبان_ساده, #معیارهای_دسته_بندی, #معیارهای_سنجش_مدل
مقدمه
در ادامه مباحث آموزشی علم داده به زبان ساده و قبل از پرداختن به الگوریتم های مختلفی که در این حوزه به آنها نیاز خواهیم داشت، بهتر است با معیارهای ارزیابی این الگوریتم­ها (یا چنانچه قبلاً اشاره کردیم : مدل‌ها) آشنا شویم. در اغلب موارد ما به دنبال ساخت یک مدل بر اساس داده ­های موجود برای پیش‌...
TiDB جایگزین مقیاس پذیر MySQL - https://is.gd/nQ1jEd
معرفی و اخبار عمومی
, #AntsDB, #Google_F1, #Google_Spanner, #HTAP, #Hybrid_Transactional_And_Analytical_Processing_HTAP_Database, #MySQL, #Raft, #Spark, #TiDB, #TiKV, #TiSpark, #اسپنر, #تای_دی_بی, #تای_کی_وی, #جایگزین_مای_اس_کیو_ال, #ماریا_دی_بی, #مای_اسکیو_ال, #مقیاس_پذیری
تای‌دی‌بی(TiDB) به عنوان یک دیتابیس مقیاس‌پذیر رابطه‌ای، منطبق بر پروتکل ارتباطی MySQL، بهینه شده برای اجرای پرس و جوهای تحلیلی و کدهای اسپارک علاوه بر دستورات SQL‌ معمولی، تضمین جامعیت داده‌ها و با ایده گرفتن از معماری دیتابیس‌های مقیاس‌پذیر رابطه‌ای گوگل، جایگزینی مناسب و چند منظوره برای تمامی ...
افزوده شدن SQL به الاستیک سرچ - https://is.gd/o1OSJg
معرفی و آموزش
, #SQL, #الاستیک_سرچ, #داشبوردهای_مدیریتی
الاستیک سرچ به عنوان یکی از قویترین موتورهای جستجوی متنی، توانسته است رتبه هشتم را در بین بانک‌های اطلاعاتی محبوب دنیا به خود اختصاص دهد. این موتور جستجو که علاوه بر جستجوی متن، امکان مقیاس‌پذیری افقی را هم به صورت درون‌ساخت داراست و حجم بالای داده‌ها را به راحتی مدیریت می‌کند، با افزودن امکاناتی...
آموزش مقدماتی الاستیک سرچ و کیبانا - https://is.gd/vKEg9U
معرفی و آموزش
, #NoSQL, #الاستیک_سرچ, #داشبوردهای_مدیریتی, #کیبانا, #هوش_تجاری
همانطور که قبلاً هم در این سایت توضیح داده ام، الاستیک سرچ یکی از بهترین بانکهای اطلاعاتی سندگرا و همچنین جزء بهترین کتابخانه های جستجوی متن است که بر پایه کتابخانه معروف لوسین بنا شده است و علاوه بر سرعت بسیار بالا در پاسخگویی به انواع پرس و جوهای موردنیاز، توزیع شوندگی راحت در شبکه و سهولت بسیا...
دومین دوره‌ی مدرسه‌ی تابستانه‌ی یادگیری عمیق - https://is.gd/yFBvTc
اخبار
, #دوره_های, #یادگیری_عمیق
شاخه دانشجویی ACM دانشگاه تهران ، برای علاقه‌مندان به مباحث یادگیری عمیق، دومین دوره آموزش کاربردی یادگیری عمیق را در مرداد ماه ۹۷ با سرفصل‌های زیر برگزار می‌کند :
 

مقدمه ای بر شبکه های عصبی
بهینه سازی در شبکه های عصبی و یادگیری عمیق
شبکه های عصبی کانولوشنال
مباحث پیشرفته در شبکه عصبی کانو...
علم داده به زبان ساده – بررسی معیارهای سنجش دسته‌بندی – بخش دوم - https://is.gd/lhY1di
آموزش و راهنمایی, علم داده
, #AUC, #ROC, #بازخوانی, #دقت, #سطح_زیر_نمودار, #صحت, #معیارهای_ارزیابی_مدل
در مقاله قبلی به تشریح ماتریس پراکنش (Confusion Matrix) و نیز بررسی دو معیار مهم در سنجش کارآیی مدل‌های دسته‌بندی یعنی معیار صحت (Precision) و بازخوانی (Recall) و نهایتا معیار ترکیبی F1-Score که میانگین هارمونیک این دو معیار است، پرداختیم و بیان شد که هدف اصلی ما در یافتن یک مدل دسته‌بندی افزایش ...