چگونه یک میلیون درخواست در ثانیه را با پایتون پاسخ دهیم ؟ - https://is.gd/BxsiZD
ابزار و کتابخانه ها
, #پایتون
در این نوشتار برای آنهایی که قصد دارند بخشی از کارهای یادگیری ماشین خود را از طریق وب سرویس به کاربران ارائه کنند، یک میکروفریمورک پایتون با نام Japronto معرفی شده است که طبق ادعای سازندگان آن، کارآیی آن بسیار بالاتر از سایر فریمورک‌ها و زبان‌های موجود در بازار است.

ساختاری استاندارد برای پروژه‌های علم داده - https://is.gd/wm17AC
ابزار و کتابخانه ها
, #ابزارهای_پایتون, #استاندارد, #پایتون, #پروژه_های_مهندسی_داده, #پروژه_های_علم_داده
پروژه‌های علم داده در سراسر دنیا ساختاری مشابه دارد و اگر با دقت به آنها نگاه کنید،‌ مولفه های زیر را در اکثر قریب به اتفاق آنها خواهید دید : داده‌‌ها . این داده‌ها معمولاً به داده‌های خام، داده‌های تست، داده‌های آموزش و مانند آن تقسیم می شوند. کتابچه‌ها : استفاده از Jupyrt Notebooks هم …

خیلی از تیم‌ها و استارتاپ‌ها با MySQL‌ شروع می‌کنند و به مرور زمان و با افزایش تعداد درخواست‌ها و داده‌ها با MySQL دچار چالش می‌شوندو مهاجرت از این دیتابیس و امتحان گزینه‌های دیگر، هزینه زیادی برای این شرکت‌ها دارد.
با توجه به اینکه یوتیوب بخش بزرگی از خدماتش از این دیتابیس محبوب یعنی MySQL سرویس دهی می شود در این نوشتار با معرفی وایتس به راز مقیاس پذیری مای اسکیوال در این بستر آنلاین اشتراک فیلم می پردازیم .
https://plink.ir/ofrHc

ویژوال استودیو کد، عنوان محبوبترین محیط برنامه نویسی را در سال 2019 از آن خود کرده است(در نظرسنجی استک اورفلو) چندی پیش افزونه پایتون این محیط برنامه نویسی پشتیبانی از کتابچه های پایتون یا همان IPython Notebooks را به مجموعه امکانات خود اضافه کرد.
یعنی امروزه می توانید این کتابچه ها مستقیما درون این محیط ایجاد کرده ، آنها را ویرایش نموده و نهایتاً خروجی آنها را در همان محیط مشاهده کنید.
تجمیع کتابچه های پایتون با یک محیط برنامه نویسی قدرتمند امکانات متنوعی را در اختیار ما می گذارد مانند مشاهده سریع متغیرها و مقادیر لحظه ای آن، اشکالزدایی حرفه ای، تلفیق با گیت . مجموعه این عوامل باعث می شود ویژوال استودیو کد را محیطی بسیار مناسب برای انجام پروژه های علم داده بیابیم. با هم این امکانات را مرور می کنیم .
yun.ir/jw5

به رسم هر ساله، سایت معتبر DB-Engines‌ دیتابیس محبوب سال گذشته میلادی را معرفی می کند. این عنوان که بر اساس میزان محبوبیت بین کاربران و مبتنی بر داده های آماری مختلف و قابل استناد است، در سال جاری به MySQL‌ رسیده است .
https://bit.ly/389sor3

در این نوشتار به مرور سریع دیتابیس توزیع شده و مبتنی بر اس‌کیو‌ال کاک‌روچ‌دی‌بی می‌پردازیم که با الهام از گوگل اسپنر، اجازه مدیریت داده‌های یک دیتابیس را عرصه جغرافیایی به راحتی به ما می‌دهد. فهرست امکانات و معماری آن را در این نوشتار با هم مرور می کنیم. https://bit.ly/2ZE2drp

گروه دیتابیس دانشگاه کارنگی ملون آمریکا سایتی را با آدرس dbdb.io با عنوان دیتابیسی از بانک‌های اطلاعاتی با هدف جمع‌آوری یکپارچه اطلاعات فنی دیتابیس‌ها ایجاد نموده است. در این مقاله به مروری سریع بر امکانات این سایت می پردازیم.
https://www.bigdata.ir/1399/06/dbdb-io/

مایکروسافت که یکی از عظیم ترین مخازن کدهای زبان c دنیا را در اختیار دارد، در حال جایگزینی کدهای سی با زبان Rust است.
https://medium.com/the-innovation/how-microsoft-is-adopting-rust-e0f8816566ba
دلیل اصلی این موضوع هم مشکلات عدیده ای است که بحث مدیریت حافظه در c به مایکروسافت تحمیل کرده است و تعداد بالای باگ‌هایی که به این دلیل در بروزرسانی های محصولات مایکروسافت باید رفع شوند.
زبان ‌‌Rust که بسیار شبیه به زبان c و زبانی سطح پایین (مناسب برای کارهای سیستمی و سیستم عامل) است، گزینه اول مایکروسافت برای تغییر کدها و بازنویسی برخی از اصلی ترین ماژول‌های ویندوز بوده است.
هر چند برخی قابلیت های زبان c هنوز در Rust وجود ندارد اما مهندسین مایکروسافت و اینتل به دنبال گسترش امکانات و کامپایلر این زبان هستند.
در چند سال آینده، شاهد گسترش این زبان سریع و محبوب خواهیم بود و اگر به دنبال یاد گرفتن زبانی برای انجام کارهای سیستمی هستید، بهتر است به جای C از زبان Rust استفاده کنید.
جهت یادآوری اینکه زبان Rust برای پنجمین سال پیاپی، محبوبترین زبان برنامه نویسی در بین کاربران سایت Stackoverflow بوده است.

با همکاری موسسه نیک‌آموز مجموعه‌ آموزشهایی را در حوزه مهندسی داده به صورت کاملا کاربردی برنامه ریزی کرده‌ایم.

برای آشنایی عملی با این دوره و مفاهیم و ابزاری که یک مهندس داده باید با آنها آشنا باشد، در وبیناری پنج شنبه ۸/۸ در یک جلسه حدود سه ساعته مطالب زیر را با هم مرور خواهیم کرد :

· آشنایی با رشته نوظهور مهندسی داده (مفاهیم/ابزار/مهارتها)

· بررسی مثال عملی تحلیل داده‌های روزانه سازمان بورس ایران

· بررسی مثال عملی دریافت لحظه‌ای توئیت‌های بورس و تحلیل اولیه آنها

در مثال اول که با محوریت Apache Airflow انجام خواهد شد، با Docker/Airflow/Hadoop(HDFS)/Hive/Hue با دریافت روزانه و خودکار داده های سازمان بورس و تحلیل آنها، آشنا خواهیم شد.

در مثال دوم هم که با محوریت Apache Nifi به عنوان یک ابزار بصری و کاربردی در حوزه طراحی Data Flow، صورت خواهد گرفت با Docker/Spark/Kafka/Elasticsearch/Nifi به صورت عملی و با بررسی توئیت‌های ارسالی به سایت سهامیاب در هر دقیقه، کار خواهیم کرد .

با توجه به اینکه این دو مثال درون محیط داکر انجام خواهند شد، می‌توانید بعد از اتمام وبینار، فایل docke-compose آنها را دانلود کرده و خودتان، تمام مراحل را از ابتدا انجام دهید.

این وبینار، مرور سریعی بر وظایف یک مهندس داده و مجموعه ابزار و مهارتهایی است که باید داشته باشد. جهت مشاهده فیلم معرفی این وبینار و ثبت نام در آن ، از این لینک استفاده کنید.

https://nikamooz.com/product/data-engineering-workshop/

❇️ شتابدهنده اینووان برگزار می کند:

وبینار "بازاریابی هدفمند به کمک داده های شبکه های اجتماعی "

📆 زمان برگزاری :

۲۴ آبان ماه، از ساعت ۱۵ الی ۱۷

🔷 لینک ثبت نام :
https://evnd.co/BjPvo

@innoone_ir

Just now
اگر شما هم جزء سازمان‌ها و یا توسعه‌دهندگانی هستید که سالهاست با مای‌اس‌کیو‌ال کار کرده‌اید اما افزایش حجم داده و ظهور نیازمندیهای تحلیلی جدید، شما را با چالش‌های جدی در ادامه کار با این دیتابیس قدیمی اما محبوب مواجه کرده‌است، با ما همراه باشید تا راه‌حل سریع و جامع شرکت بیگو که یک شرکت فعال در حوزه رسانه‌های اجتماعی با حدود ۴۰۰ میلیون کاربر ماهیانه است و به تازگی از مای‌اس‌کیو‌ال به تای‌دی‌بی‌۴.۰ مهاجرت کرده است، را با هم بررسی کنیم . با توجه به محبوبیت مای‌اس‌کیو‌ال در جامعه کاربری ایرانی، امیدوارم این بررسی، بتواند به مهندسین داده درگیر در پروژه‌های بزرگ شامل این دیتابیس، یک گزینه مناسب را پیشنهاد دهد.
yun.ir/25dx0c

‍ یکی از پروژه‌های اپن‌سورس مایکروسافت با بیش از دویست و پنجاه توسعه‌دهنده، پروژه ویندوز ترمینال مایکروسافت است که الحق، مشابه سایر پروژه های اخیر این شرکت مثل ویژوال استودیو کد و مایکروسافت اج، کاملا جذاب و کاربردی طراحی شده است.
اگر مثل بنده با خط فرمان زیاد سروکار دارید و انواع ابزارهای مبتنی بر خط فرمان مانند گیت‌بش، کوندا پرامپت، پاورشل (ورژن هفت) و اوبونتو (روی ویندوز) را روزانه استفاده میکنید، توصیه می کنم این پروژه کاربردی را آزمایش و استفاده کنید.
این لینک ها می‌تواند شروع خوبی برای کار با ویندوز ترمینال باشد :
yun.ir/ordjz8
yun.ir/rprvk6
yun.ir/2q8be3
تصویر هم محیط ویندوز ترمینال بنده را نشان میدهد.

⭕️ تایپ خودکار فارسیِ کلامِ صوتی در آفیسِ گوگل‌داک اخیرا پیشرفت قابل توجهی کرده و‌ شخصا از استفاده از آن راضی‌ام وقتی می‌خواهم در حین راه رفتن چیزی بگویم و‌ تایپ شود. امتحان کنید اگر گاهی امکان تایپ پشت کی‌بورد ندارید و ترجیح می‌دهید حرف بزنید و تایپ شود. به ویژه برای کسانی که می‌خواهند خاطرات‌شان را صوتی بگویند و پیاده‌ شود و نیز روزنامه‌نگارانی که مصاحبه پیاده می‌کنند و پژوهشگران تاریخ شفاهی ابزار خوبی است.
@jalaeipour

دوستان سلام
برای شرکت در کنفرانس Tehran Dot NET Conf 2021 می توانید از طریق لینک زیر اقدام کنید.

https://lahzenegar.com/play/kQsox