🎪شوخی با #داده ها:
🚅شرکت ها همه ساله، گزارش عملکرد سالیانه شان را در گزارش های آماری شش ماهه (اول و دوم) به ذی نفعان ارائه می کنند
درین میان مدیران، کارشناسان و...هم هستند
بالاخص کارشناسان!!
اینها آمار ها را از پایگاه های داده!!! استخراج می کنند
در پایگاه داده، داده هایی زندگی می کنند که #صحت و #جامعیت شان احراز شده است.
یعنی مثلا جمعیت یک ناحیه و اداره کل، نمی تواند اعدادی مثل صفر و یک! یا منفی باشد😉
آنهم طی شش،ماه متوالی اول سال
شما تصور کنید اداره کل شامل: اداره خط و ابنیه، اداره بی سیم(ارتباطات)، اداره ی اداره!!!یعنی امور اداری و غیرو
چجوری می تواند در مجموع یک نفر پرسنل داشته باشد؟ حتی اگر خطای محرز نیروی انسانی در ورودی سعی کند تا عدد ۱را وارد کند!
یک چیزی بنام DBMS
جلوی آنرا می گیرد
قدیما، نوع داده و رنج مقادیر مجاز تعریف می شد
🔢مثلا نمی توانید در ستون کد پستی ده رقمی،نام و نام خانوادگی وارد کنید همانطور هم نباید بتوانید جمعیت یک اداره کل را ،یک نفر، اعلام کنید.
طراحی دیتابیس،آموختنی ست
#data
#databases
#Normalization
#noises
https://www.rai.ir/page-karshenasan/fa/0
🚅شرکت ها همه ساله، گزارش عملکرد سالیانه شان را در گزارش های آماری شش ماهه (اول و دوم) به ذی نفعان ارائه می کنند
درین میان مدیران، کارشناسان و...هم هستند
بالاخص کارشناسان!!
اینها آمار ها را از پایگاه های داده!!! استخراج می کنند
در پایگاه داده، داده هایی زندگی می کنند که #صحت و #جامعیت شان احراز شده است.
یعنی مثلا جمعیت یک ناحیه و اداره کل، نمی تواند اعدادی مثل صفر و یک! یا منفی باشد😉
آنهم طی شش،ماه متوالی اول سال
شما تصور کنید اداره کل شامل: اداره خط و ابنیه، اداره بی سیم(ارتباطات)، اداره ی اداره!!!یعنی امور اداری و غیرو
چجوری می تواند در مجموع یک نفر پرسنل داشته باشد؟ حتی اگر خطای محرز نیروی انسانی در ورودی سعی کند تا عدد ۱را وارد کند!
یک چیزی بنام DBMS
جلوی آنرا می گیرد
قدیما، نوع داده و رنج مقادیر مجاز تعریف می شد
🔢مثلا نمی توانید در ستون کد پستی ده رقمی،نام و نام خانوادگی وارد کنید همانطور هم نباید بتوانید جمعیت یک اداره کل را ،یک نفر، اعلام کنید.
طراحی دیتابیس،آموختنی ست
#data
#databases
#Normalization
#noises
https://www.rai.ir/page-karshenasan/fa/0
متخصصان علم داده ها data scientists
Photo
‼️لازم به ذکر است که امروزه در هیچ کجای دنیا، آمار و اطلاعات، به ذینفعان یک شرکت، این شکلی و در این فرم
https://www.rai.ir/page-karshenasan/fa/0
ارائه نمی شود.
📊مخاطبان آمار و اطلاعات، باید در یک نگاه، متوجه شود و بتواند مقایسه کند که مثلا کارکرد بخش یک و بخش دو، با داشتن منابع مختلف و متفاوت، در فلان بازه زمانی، روی بهمان اتریبیوت، چقدر بوده
اگر بخش الف این تعداد دیزل گرم داشته و بخش دیگر تعدادی متفاوت، و اگر کل خطوط این دو بخش مثلا n و m کیلومتر اند
کدامیک کارایی بیشتری داشته است و ....
📈#مصورسازی داده ها، احتمالا به همین کار می آید!
⬅️نه اینکه برای بدست آوردن نتایجی صحیح، مجبور باشد یک فایل متنی را پرینت بگیرد!!!، خودش جداول اکسل بسازد، نرمالسازی کند، آوت لایرزها را بیرون بکشد، آنچه را که حتی با عقل سلیم هم، همخوانی ندارد، حذف و جایگزین کند کند، بدنبال داده های مرحوم و از دست رفته بگردد، فاکتورهای آماری را چندین بار محاسبه کند و....تا بتواند آنها را مصورسازی کند و در نهايت چیزی ازینهمه متن بیخود و بی جهت دستگیرش بشود یا نشود!.
#databases
#DATA
#DataVisualization
#Normalization
#Outliers
https://www.rai.ir/page-karshenasan/fa/0
ارائه نمی شود.
📊مخاطبان آمار و اطلاعات، باید در یک نگاه، متوجه شود و بتواند مقایسه کند که مثلا کارکرد بخش یک و بخش دو، با داشتن منابع مختلف و متفاوت، در فلان بازه زمانی، روی بهمان اتریبیوت، چقدر بوده
اگر بخش الف این تعداد دیزل گرم داشته و بخش دیگر تعدادی متفاوت، و اگر کل خطوط این دو بخش مثلا n و m کیلومتر اند
کدامیک کارایی بیشتری داشته است و ....
📈#مصورسازی داده ها، احتمالا به همین کار می آید!
⬅️نه اینکه برای بدست آوردن نتایجی صحیح، مجبور باشد یک فایل متنی را پرینت بگیرد!!!، خودش جداول اکسل بسازد، نرمالسازی کند، آوت لایرزها را بیرون بکشد، آنچه را که حتی با عقل سلیم هم، همخوانی ندارد، حذف و جایگزین کند کند، بدنبال داده های مرحوم و از دست رفته بگردد، فاکتورهای آماری را چندین بار محاسبه کند و....تا بتواند آنها را مصورسازی کند و در نهايت چیزی ازینهمه متن بیخود و بی جهت دستگیرش بشود یا نشود!.
#databases
#DATA
#DataVisualization
#Normalization
#Outliers
CEH - Hacking Database Secrets and Exploit.pdf
11.7 MB
📚 مروری بر اسرار ِ هک دیتابیس!
🦑صرفا جهت استفاده آموزشی
#CEHs
#infosec
#databases
#Hacking
@toobabigdatascience
🦑صرفا جهت استفاده آموزشی
#CEHs
#infosec
#databases
#Hacking
@toobabigdatascience
📚 Programming Big Data Applications
#️⃣X_informatics: A Bridge Between Data and Discovery
⚠️X-informatics is a broad term encompassing the application of informatics techniques to specific domains.
The "X" can represent various fields, such as bioinformatics, geoinformatics, chemoinformatics, and more. Essentially, it involves the development and use of computational tools and methods to analyze, interpret, and extract knowledge from large and complex datasets.
🔰#X_informatics plays a crucial role in harnessing the power of big data and e-science. By applying computational techniques to specific domains, it empowers researchers to extract valuable knowledge and drive innovation.
#escience
#bigdata
#programming
#Nosql
#databases
#distributedhashtable
#MongoDB
#GoogleFileSystem
#ApacheHBase
#ddb
#HDFS
#DynamoDB
#ParallelComputing
#Distributedlearningstrategies
#️⃣X_informatics: A Bridge Between Data and Discovery
⚠️X-informatics is a broad term encompassing the application of informatics techniques to specific domains.
The "X" can represent various fields, such as bioinformatics, geoinformatics, chemoinformatics, and more. Essentially, it involves the development and use of computational tools and methods to analyze, interpret, and extract knowledge from large and complex datasets.
🔰#X_informatics plays a crucial role in harnessing the power of big data and e-science. By applying computational techniques to specific domains, it empowers researchers to extract valuable knowledge and drive innovation.
#escience
#bigdata
#programming
#Nosql
#databases
#distributedhashtable
#MongoDB
#GoogleFileSystem
#ApacheHBase
#ddb
#HDFS
#DynamoDB
#ParallelComputing
#Distributedlearningstrategies
CleanCode_v2.pdf
30.3 MB
🎁"Clean Code Principles and Patterns:
A Software Practitioner’s Handbook",
2nd Edition, 2024.
#DevOps
#Tech_book
#Sec_code_review
#databases
#SecOps
@toobabigdatascience
A Software Practitioner’s Handbook",
2nd Edition, 2024.
#DevOps
#Tech_book
#Sec_code_review
#databases
#SecOps
@toobabigdatascience
DesigningData-IntensiveApplications.pdf
23.8 MB
🎁🎁Designing Data-Intensive Applications The Big Ideas Behind Reliable, Scalable, and Maintainable Systems
⬅️فصول ۵،۶،۷،۹،۱۰
بالاخص فصول مربوط به
Replication
و
Consistency and Consensus
و
Transactions...
#DistributedDatabases
#Consistency
#Serialization
#Replication
#Databases
@toobabigdatascience
⬅️فصول ۵،۶،۷،۹،۱۰
بالاخص فصول مربوط به
Replication
و
Consistency and Consensus
و
Transactions...
#DistributedDatabases
#Consistency
#Serialization
#Replication
#Databases
@toobabigdatascience
متخصصان علم داده ها data scientists
Data Cleaning challenges.pdf
مشکل جالبی که در دیتابیس ها وجود داشت و تَکرار هم می شد و قبلا عرض شد در باره ساعات ورود/خروج
اینبار در جایی تکرار شده که دیگر یک مشکل نیست یک 🚪 back است! که توسط طراح بی کفایت/فاسد و یا ناراضی نهادینه شده
تا بدون هرگونه محدودیت constraints هر وقت هر چی دلش خواست وارد کند:
ساعت ورودِ قطار به یک ایستگاه خاص در یک روز خاص بعد از ساعت خروج قطار در یک روز خاص ثبت می شود اینجوری:
ساعت ورود واقعی به ایستگاه فلان:۱۶
ساعت خروج ِ واقعی به همان فلان: ۸ صبح
و...
توهمی که خطرناک است! نابود می کند و آرامش می بخشد به برخی مدیران:
🕸توهمی بنام ِ "ما در application چک میکنیم" گور پدر ِ DBMS
javascript
// frontend اعتبارسنجی میکند (اما...)
if (departure > arrival) {
submitData();
}
و قس علیهذا...
🕸توهم بعدی توهم امنیت کاذب:
●ما در frontend چک میکنیم، کسی نمیتونه hack کنه!
●لاگ میگیریم، بعداً اصلاح میکنیم!
●«اینجا تهرانه ( یَنی شهری که.... هر چی توش می بینی باعث ...) کسی حمله نمیکنه!»
🕸احتمال اصلی : احتمال ِفساد سیستماتیک اداری
¤طراحی عمداً ضعیف تا backdoor بماند
¤ممکن است پیمانکار عمداً سیستم آسیبپذیر تحویل داده
¤ برای دریافت حق پشتیبانی مادامالعمر!
¤ پیمانکار فامیل آقای دوگدور فلانیه! مدیر ارشد امور...
و
این داستان ادامه دارد...؟
#Infosec
#Integrity
#Databases
@toobabigdatascience
اینبار در جایی تکرار شده که دیگر یک مشکل نیست یک 🚪 back است! که توسط طراح بی کفایت/فاسد و یا ناراضی نهادینه شده
تا بدون هرگونه محدودیت constraints هر وقت هر چی دلش خواست وارد کند:
ساعت ورودِ قطار به یک ایستگاه خاص در یک روز خاص بعد از ساعت خروج قطار در یک روز خاص ثبت می شود اینجوری:
ساعت ورود واقعی به ایستگاه فلان:۱۶
ساعت خروج ِ واقعی به همان فلان: ۸ صبح
و...
توهمی که خطرناک است! نابود می کند و آرامش می بخشد به برخی مدیران:
🕸توهمی بنام ِ "ما در application چک میکنیم" گور پدر ِ DBMS
javascript
// frontend اعتبارسنجی میکند (اما...)
if (departure > arrival) {
submitData();
}
و قس علیهذا...
🕸توهم بعدی توهم امنیت کاذب:
●ما در frontend چک میکنیم، کسی نمیتونه hack کنه!
●لاگ میگیریم، بعداً اصلاح میکنیم!
●«اینجا تهرانه ( یَنی شهری که.... هر چی توش می بینی باعث ...) کسی حمله نمیکنه!»
🕸احتمال اصلی : احتمال ِفساد سیستماتیک اداری
¤طراحی عمداً ضعیف تا backdoor بماند
¤ممکن است پیمانکار عمداً سیستم آسیبپذیر تحویل داده
¤ برای دریافت حق پشتیبانی مادامالعمر!
¤ پیمانکار فامیل آقای دوگدور فلانیه! مدیر ارشد امور...
و
این داستان ادامه دارد...؟
#Infosec
#Integrity
#Databases
@toobabigdatascience
❤2
Definitive-Guide-Graph-Databases-for-RDBMS-Developer (1).pdf
2 MB
🤖The Definitive Guide to Graph Databases for the RDBMS Developer
By: Michael Hunger, Ryan Boyd & William Lyon
نکته: بر خلاف مقدمه این کتاب، کماکان معتقدم منطقی تر و مستدلتر از پایگاههای داده رابطهای هنوز بدنیا نیآمده است چون بسیاری از قابلیتهای آن هنوز تعریف و بکارگرفته نشده است.
#Databases
#DBMS
@toobabigdatascience
By: Michael Hunger, Ryan Boyd & William Lyon
نکته: بر خلاف مقدمه این کتاب، کماکان معتقدم منطقی تر و مستدلتر از پایگاههای داده رابطهای هنوز بدنیا نیآمده است چون بسیاری از قابلیتهای آن هنوز تعریف و بکارگرفته نشده است.
#Databases
#DBMS
@toobabigdatascience
🙏1
SQL Notes for Begineers.pdf
6.1 MB
🪶دستنوشتهها نمیسوزند!
🌿زیباییهای جزوه نوشتن
بالاخص نوشتن دستورات SQL برای مبتدیان عزیز.
#SQL
#Databases
@toobabigdatascience
🙏1