Forwarded from انجمن علمی آمار دانشگاه اصفهان (-بیتا رسوفی)
■ معاونت حمل و نقل و ترافیک شهرداری اصفهان به مناسبت «روز هوای پاک» برگزار میکند:
مسابقهی تحلیل آماری و دادهکاوی بر روی داده های ۶ سال کیفیت هوای اصفهان☁️
🏆- همراه با جوایز نفیس
💡- محورهای ویژهی این دوره از مسابقات:
-بررسی الگوی تغییرات ساعتی آلایندهی ازن متناسب با تغییرات دما و تشعشع در بازای زمانی ۵ ساله
-بررسی تغییرات ازن متناسب با الگوی وزش باد در شهرستان اصفهان طی ۵ سال
-بررسی تاثیر غلظت اکسیدهای نیتروژن در افزایش و کاهش غلظت ازن
-بررسی تغییرات ۵ سالهی آلاینده ذرات معلق و ارتباط آن با دادههای هواشناسی (سرعت و جهت باد)
⏳- آخرین مهلت ارسال آثار:
۵ دی ماه ۱۴۰۳
📫- نحوهی ارسال آثار:
۱| 📧 | ارسال به آدرسِ ایمیل:
[email protected]
۲| 👣 | مراجعه به مرکز پالایش کیفیت هوا واقع در خیابان کاوه، پل ۲۵ آبان، ضلع شرقی، ساختمان مترو، طبقهی ۲
📎- کسب اطلاعات بیشتر و دریافت دادهها:
031 344 78850
031 344 78856
•
📊| انجمن علمی آمار دانشگاه اصفهان
مسابقهی تحلیل آماری و دادهکاوی بر روی داده های ۶ سال کیفیت هوای اصفهان☁️
🏆- همراه با جوایز نفیس
💡- محورهای ویژهی این دوره از مسابقات:
-بررسی الگوی تغییرات ساعتی آلایندهی ازن متناسب با تغییرات دما و تشعشع در بازای زمانی ۵ ساله
-بررسی تغییرات ازن متناسب با الگوی وزش باد در شهرستان اصفهان طی ۵ سال
-بررسی تاثیر غلظت اکسیدهای نیتروژن در افزایش و کاهش غلظت ازن
-بررسی تغییرات ۵ سالهی آلاینده ذرات معلق و ارتباط آن با دادههای هواشناسی (سرعت و جهت باد)
⏳- آخرین مهلت ارسال آثار:
۵ دی ماه ۱۴۰۳
📫- نحوهی ارسال آثار:
۱| 📧 | ارسال به آدرسِ ایمیل:
[email protected]
۲| 👣 | مراجعه به مرکز پالایش کیفیت هوا واقع در خیابان کاوه، پل ۲۵ آبان، ضلع شرقی، ساختمان مترو، طبقهی ۲
📎- کسب اطلاعات بیشتر و دریافت دادهها:
031 344 78850
031 344 78856
•
📊| انجمن علمی آمار دانشگاه اصفهان
Forwarded from پردیسفام
Forwarded from رضا شکرزاد - علمداده و هوش مصنوعی
یک ابزار هوش مصنوعی جدید میتونه به افراد مبتلا به بیماری پارکینسون کمک کنه تا در عرض چند دقیقه، از راه دور، شدت علائم خودشون رو ارزیابی کنن.
در این ارزیابی، آزمون بر اساس ۱۰ ضربه انگشت انجام میشه و نتایج به سرعت در دسترس قرار میگیره. هرچند نورولوژیستهای متخصص کمی بهتر از مدل هوش مصنوعی عمل کردن، اما مدل هوش مصنوعی نسبت به پزشکان عمومی که وضعیت و علائم بیماران مبتلا به پارکینسون رو با استفاده از یک ابزار اندازهگیری خاص ارزیابی می کنن، عملکرد بهتری از خودش نشون داد.
#Artificial_Intelligence
@DSLanders | دیاسلندرز
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Data Science | علم داده
⭕️ دانلود رایگان کتاب Doing Data Science in R
👨🏻💻 کتاب "Doing Data Science in R" با مفهومی جذاب و مبتنی بر دادهها، به تجزیه و تحلیل آماری دادههای واقعی با استفاده از ابزارهای مدرن میپردازه و اطلاعات گستردهای رو ارائه میده.
💬 مارک اندروز نویسنده این کتاب، راهنمای مرحله به مرحلهای رو برای استفاده از ابزارها و روشهای آماری در تجزیه و تحلیل داده ارائه میکنه و ابتدا اصول علوم داده و زبان R رو معرفی میکنه و سپس به مباحث پیشرفتهتری مثل مدلهای چند سطحی و مدلسازی احتمالی با استفاده از Stan میپردازه، تا به تدریج دانش و مهارتتون ارتقا پیدا کنه.👌🏼
🔖 لینک دسترسی به کتاب + منابع :
┌ 🏷 Doing Data Science in R
├ 📘 WEB
├ 🗄 Data Files
└ 🗃 GitHub-Repos
#️⃣ #علم_داده #DataScience
➖➖➖➖➖➖➖➖➖➖➖➖➖➖➖➖
📊 دانشمند داده شوید :
📎 @DataScience_ir
👨🏻💻 کتاب "Doing Data Science in R" با مفهومی جذاب و مبتنی بر دادهها، به تجزیه و تحلیل آماری دادههای واقعی با استفاده از ابزارهای مدرن میپردازه و اطلاعات گستردهای رو ارائه میده.
💬 مارک اندروز نویسنده این کتاب، راهنمای مرحله به مرحلهای رو برای استفاده از ابزارها و روشهای آماری در تجزیه و تحلیل داده ارائه میکنه و ابتدا اصول علوم داده و زبان R رو معرفی میکنه و سپس به مباحث پیشرفتهتری مثل مدلهای چند سطحی و مدلسازی احتمالی با استفاده از Stan میپردازه، تا به تدریج دانش و مهارتتون ارتقا پیدا کنه.👌🏼
🔖 لینک دسترسی به کتاب + منابع :
┌ 🏷 Doing Data Science in R
├ 📘 WEB
├ 🗄 Data Files
└ 🗃 GitHub-Repos
#️⃣ #علم_داده #DataScience
➖➖➖➖➖➖➖➖➖➖➖➖➖➖➖➖
📊 دانشمند داده شوید :
📎 @DataScience_ir
🔶#استخدام کارشناس هوش تجاری شرکت سامانه هوشمند ماداکتو(فعال در زمینه اتوماسیون اداری)
شرح موقعیت شغلی
تجزیهوتحلیل دادههای فروش، موجودی، عملکرد شعب و دیگر شاخصهای کلیدی برای ارائه پیشنهادات جهت بهبود عملکرد.
طراحی و توسعه داشبوردهای پویا و گزارشهای تحلیلی با استفاده از ابزارهایی مانند Power BI و SSRS.
شناسایی روندها، الگوها و انحرافات موجود در دادهها.
همکاری نزدیک با تیمهای مختلف از جمله فروش، مالی و منابع انسانی برای شناسایی نیازهای اطلاعاتی و بهینهسازی فرآیندهای گزارشدهی.
اطمینان از دقت و صحت دادهها و انجام فرآیندهای ETL جهت انتقال و پاکسازی دادهها.
شرایط احراز:
مدرک تحصیلی در رشتههای مهندسی صنایع، مهندسی کامپیوتر، ریاضی یا آمار.
مسلط به Power BI و Excel.
توانایی حل مسئله و تحلیل وضعیتهای پیچیده.
مهارت در ارتباطات و تعامل با همتیمیها
🌐لینک آگهی: لینک
🆔@dsfum
شرح موقعیت شغلی
تجزیهوتحلیل دادههای فروش، موجودی، عملکرد شعب و دیگر شاخصهای کلیدی برای ارائه پیشنهادات جهت بهبود عملکرد.
طراحی و توسعه داشبوردهای پویا و گزارشهای تحلیلی با استفاده از ابزارهایی مانند Power BI و SSRS.
شناسایی روندها، الگوها و انحرافات موجود در دادهها.
همکاری نزدیک با تیمهای مختلف از جمله فروش، مالی و منابع انسانی برای شناسایی نیازهای اطلاعاتی و بهینهسازی فرآیندهای گزارشدهی.
اطمینان از دقت و صحت دادهها و انجام فرآیندهای ETL جهت انتقال و پاکسازی دادهها.
شرایط احراز:
مدرک تحصیلی در رشتههای مهندسی صنایع، مهندسی کامپیوتر، ریاضی یا آمار.
مسلط به Power BI و Excel.
توانایی حل مسئله و تحلیل وضعیتهای پیچیده.
مهارت در ارتباطات و تعامل با همتیمیها
🌐لینک آگهی: لینک
🆔@dsfum
Forwarded from Machine Learning | یادگیری ماشین
⭕️ 10 ایده برتر پروژههای یادگیری ماشین 2023
✍🏼 ناتاشا سلواراج / دانشمند داده
🔷 شرکت در پروژههای یادگیری ماشین به شما این امکان را میدهد تا دانشی که از دورههای آنلاین به دست آوردهاید را بر روی مجموعه دادههای واقعی پیاده سازی کنید و نتیجه کار خود را در رزومهتان به نمایش بگذارید.
🔶 در این مقاله، 10 ایدهی فوق العاده پروژه های یادگیری ماشین را برای مبتدیها ارائه کردهام. برای هر ایده نیز، لینکی برای دیتاست و راهحلی که توسط یک دانشمند داده حرفه ای ارائه شده است، را قرار داده ام. به این ترتیب، اگر جایی به مشکل برخوردید، می توانید به سورس کد مراجعه کنید تا نحوه ادامه کار را کامل متوجه شوید.
1️⃣ پیشبینی بقاء تایتانیک
┌ 🏷 Titanic Survival Prediction
├ ◼️ Dataset
└ ◻️ Sample solution
2️⃣ طبقهبندی گلهای آیریس
┌ 🏷 Iris Flower Classification
├ ◼️ Dataset
└ ◻️ Sample solution
3️⃣ پیش بینی قیمت مسکن
┌ 🏷 House Price Prediction
├ ◼️ Dataset
└ ◻️ Sample solution
4️⃣ مطالعه قلب فرامینگهام
┌ 🏷 The Framingham Heart Study
├ ◼️ Dataset
└ ◻️ Sample solution
5️⃣ پیش بینی امید به زندگی
┌ 🏷 Life Expectancy Prediction
├ ◼️ Dataset
└ ◻️ Sample solution
6️⃣ تشخیص اسپم
┌ 🏷 Spam Detection
├ ◼️ Dataset
└ ◻️ Sample solution
7️⃣ تشخیص سرطان سینه
┌ 🏷 Breast Cancer Detection
├ ◼️ Dataset
└ ◻️ Sample solution
8️⃣ تقسیم بندی مشتریان مرکز خرید
┌ 🏷 Mall Customer Segmentation
├ ◼️ Dataset
└ ◻️ Sample solution
9️⃣ آنالیز احساسات بر روی نقدهای فیلم
┌ 🏷 Sentiment Analysis on Movie Reviews
├ ◼️ Dataset
└ ◻️ Sample solution
🔟 پیشبینی دیابت قبیله پیما هندی
┌ 🏷 Pima Indian Diabetes Prediction
├ ◼️ Dataset
└ ◻️ Sample solution
#️⃣ #یادگیری_ماشین #MachineLearning
➖➖➖➖➖➖➖➖➖➖➖➖➖➖➖➖
💡 مهندس ML شوید :
📎 @MachineLearning_ir
✍🏼 ناتاشا سلواراج / دانشمند داده
🔷 شرکت در پروژههای یادگیری ماشین به شما این امکان را میدهد تا دانشی که از دورههای آنلاین به دست آوردهاید را بر روی مجموعه دادههای واقعی پیاده سازی کنید و نتیجه کار خود را در رزومهتان به نمایش بگذارید.
🔶 در این مقاله، 10 ایدهی فوق العاده پروژه های یادگیری ماشین را برای مبتدیها ارائه کردهام. برای هر ایده نیز، لینکی برای دیتاست و راهحلی که توسط یک دانشمند داده حرفه ای ارائه شده است، را قرار داده ام. به این ترتیب، اگر جایی به مشکل برخوردید، می توانید به سورس کد مراجعه کنید تا نحوه ادامه کار را کامل متوجه شوید.
1️⃣ پیشبینی بقاء تایتانیک
┌ 🏷 Titanic Survival Prediction
├ ◼️ Dataset
└ ◻️ Sample solution
2️⃣ طبقهبندی گلهای آیریس
┌ 🏷 Iris Flower Classification
├ ◼️ Dataset
└ ◻️ Sample solution
3️⃣ پیش بینی قیمت مسکن
┌ 🏷 House Price Prediction
├ ◼️ Dataset
└ ◻️ Sample solution
4️⃣ مطالعه قلب فرامینگهام
┌ 🏷 The Framingham Heart Study
├ ◼️ Dataset
└ ◻️ Sample solution
5️⃣ پیش بینی امید به زندگی
┌ 🏷 Life Expectancy Prediction
├ ◼️ Dataset
└ ◻️ Sample solution
6️⃣ تشخیص اسپم
┌ 🏷 Spam Detection
├ ◼️ Dataset
└ ◻️ Sample solution
7️⃣ تشخیص سرطان سینه
┌ 🏷 Breast Cancer Detection
├ ◼️ Dataset
└ ◻️ Sample solution
8️⃣ تقسیم بندی مشتریان مرکز خرید
┌ 🏷 Mall Customer Segmentation
├ ◼️ Dataset
└ ◻️ Sample solution
9️⃣ آنالیز احساسات بر روی نقدهای فیلم
┌ 🏷 Sentiment Analysis on Movie Reviews
├ ◼️ Dataset
└ ◻️ Sample solution
🔟 پیشبینی دیابت قبیله پیما هندی
┌ 🏷 Pima Indian Diabetes Prediction
├ ◼️ Dataset
└ ◻️ Sample solution
#️⃣ #یادگیری_ماشین #MachineLearning
➖➖➖➖➖➖➖➖➖➖➖➖➖➖➖➖
💡 مهندس ML شوید :
📎 @MachineLearning_ir
Forwarded from کانال آقای صنایع (اميـررضـا تجـلى)
Google Clouds - MLOps.pdf
8.2 MB
راهنمای بینظیر گوگلکلاود پیرامون MLOps - نسخه ۲۰۲۱ به قلم تیمی از مهندسان یادگیری ماشین گوگل!
⬅️ دیگر فایلهای MLOps
⬅️ آموزشهای MLOps
☯️ @Mr_IE | آقای صنایع 🚥
⬅️ دیگر فایلهای MLOps
⬅️ آموزشهای MLOps
☯️ @Mr_IE | آقای صنایع 🚥
🔶#استخدام مهندس داده شرکت بادصبا
مسئولیت های شما در این موقعیت شغلی به شرح زیر است:
طراحی، پیادهسازی ، توسعه و نگهداری پایپلاینهای مقیاسپذیر داده و فرآیندهای ETL/ELT را انجام خواهید داد .
معماریهای داده را برای پشتیبانی از تحلیلهای پیشرفته و جریانهای کاری یادگیری ماشین ارزیابی ، توسعه و بهبود و بهینه میکنید .
با دانشمندان داده و تحلیلگران همکاری میکنید تا دسترسی به دادهها و کیفیت آنها تضمین شود .
بهترین شیوهها برای امنیت داده، انطباق و حاکمیت دادهها را پیادهسازی میکنید .
در جریان تکنولوژیهای نوظهوری چون هوش مصنوعی قرار گرفته و پیشنهادهایی برای بهبود زیر ساخت های دادهی مورد نیاز محصولات داده محور ما ارائه میدهید.
مدیریت موثر سیستمهای داده در مقیاس بزرگ با استفاده از پایگاههای داده SQL و NoSQL
توسعه و بهینهسازی معماریهای داده و فریم ورک های هوش تجاری (BI)
بهرهگیری از فناوریهای Data Warehousing برای پشتیبانی از ذخیرهسازی و پردازش دادهها در مقیاس وسیع
🌐لینک آگهی: لینک
🆔@dsfum
مسئولیت های شما در این موقعیت شغلی به شرح زیر است:
طراحی، پیادهسازی ، توسعه و نگهداری پایپلاینهای مقیاسپذیر داده و فرآیندهای ETL/ELT را انجام خواهید داد .
معماریهای داده را برای پشتیبانی از تحلیلهای پیشرفته و جریانهای کاری یادگیری ماشین ارزیابی ، توسعه و بهبود و بهینه میکنید .
با دانشمندان داده و تحلیلگران همکاری میکنید تا دسترسی به دادهها و کیفیت آنها تضمین شود .
بهترین شیوهها برای امنیت داده، انطباق و حاکمیت دادهها را پیادهسازی میکنید .
در جریان تکنولوژیهای نوظهوری چون هوش مصنوعی قرار گرفته و پیشنهادهایی برای بهبود زیر ساخت های دادهی مورد نیاز محصولات داده محور ما ارائه میدهید.
مدیریت موثر سیستمهای داده در مقیاس بزرگ با استفاده از پایگاههای داده SQL و NoSQL
توسعه و بهینهسازی معماریهای داده و فریم ورک های هوش تجاری (BI)
بهرهگیری از فناوریهای Data Warehousing برای پشتیبانی از ذخیرهسازی و پردازش دادهها در مقیاس وسیع
🌐لینک آگهی: لینک
🆔@dsfum
Forwarded from Data Science Python and R
lbdl.pdf
5 MB
جزوه یادگیری عمیق
تقریبا شبیه جزوه های شب امتحان آخر ترمه دانشجویی که درس نخونده ولی یه چیزایی رو باید بخاطر بسپره که حداقل ناپلئونی پاس کنه!
🟢 این کتاب در مورد یادگیری عمیق (deep learning) است و شامل مطالب زیر می شود:
- مقدمه ای بر یادگیری ماشین و انواع آن مثل رگرسیون، طبقه بندی و مدلسازی توزیع
- توضیحی در مورد محاسبات کارآمد با استفاده از GPUها و تنسورها
- آموزش مدلها با استفاده از تابع زیان، مدلهای پیشبین، گرادیاننزولی و انتشار به عقب
- معرفی اجزای اصلی مدلها مثل لایههای خطی، توابع فعالسازی، لایههای همسانسازی و اتصالات فراگذر
- توضیح معماریهای مختلف مثل شبکههای عصبی پیچشی و مدلهای مبتنی بر توجه
- بررسی کاربردهایی مثل طبقهبندی تصویر، تشخیص اشیا، بخشبندی سمانتیک، ترجمه ماشینی و تولید متن
- توضیح روشهایی برای ساخت مدلهای بزرگمقیاس و قدرت آنها در حل مسائل مختلف
به طور کلی این کتاب مروری مفید بر مبانی و مفاهیم کلیدی یادگیری عمیق ارائه میدهد.
#جزوه #یادگیری_عمیق
🆔 @data_science_python_and_r
تقریبا شبیه جزوه های شب امتحان آخر ترمه دانشجویی که درس نخونده ولی یه چیزایی رو باید بخاطر بسپره که حداقل ناپلئونی پاس کنه!
🟢 این کتاب در مورد یادگیری عمیق (deep learning) است و شامل مطالب زیر می شود:
- مقدمه ای بر یادگیری ماشین و انواع آن مثل رگرسیون، طبقه بندی و مدلسازی توزیع
- توضیحی در مورد محاسبات کارآمد با استفاده از GPUها و تنسورها
- آموزش مدلها با استفاده از تابع زیان، مدلهای پیشبین، گرادیاننزولی و انتشار به عقب
- معرفی اجزای اصلی مدلها مثل لایههای خطی، توابع فعالسازی، لایههای همسانسازی و اتصالات فراگذر
- توضیح معماریهای مختلف مثل شبکههای عصبی پیچشی و مدلهای مبتنی بر توجه
- بررسی کاربردهایی مثل طبقهبندی تصویر، تشخیص اشیا، بخشبندی سمانتیک، ترجمه ماشینی و تولید متن
- توضیح روشهایی برای ساخت مدلهای بزرگمقیاس و قدرت آنها در حل مسائل مختلف
به طور کلی این کتاب مروری مفید بر مبانی و مفاهیم کلیدی یادگیری عمیق ارائه میدهد.
#جزوه #یادگیری_عمیق
🆔 @data_science_python_and_r
🔶#کارآموزی هوش تجاری کارخانه عالیس
شرح شغل و وظایف
مهارت های فنی:
آشنایی با Power BI و مدل سازی داده ها
اشنایی با زبان M و DAX
آشنایی با کویری نویسی در محیط دیتابیس های رابطه ای به خصوص SQL Server
آشنایی با مفاهیم انبار داده (DataWarehouse)
اشنایی با شاخص های کلیدی عملکرد (KPI)
اشنایی با مفاهیم و فرآیندهای مالی، بازرگانی، تولیدی، منابع انسانی و ... جهت درک هر چه بیشتر داشبوردهای درخواستی
مهارت های امتیازی:
آشنایی با محیط SSAS و SSIS مزیت محسوب می شود
اشنایی با زبان برنامه نویسی پایتون مزیت محسوب می شود
🌐لینک آگهی: لینک
🆔@dsfum
شرح شغل و وظایف
مهارت های فنی:
آشنایی با Power BI و مدل سازی داده ها
اشنایی با زبان M و DAX
آشنایی با کویری نویسی در محیط دیتابیس های رابطه ای به خصوص SQL Server
آشنایی با مفاهیم انبار داده (DataWarehouse)
اشنایی با شاخص های کلیدی عملکرد (KPI)
اشنایی با مفاهیم و فرآیندهای مالی، بازرگانی، تولیدی، منابع انسانی و ... جهت درک هر چه بیشتر داشبوردهای درخواستی
مهارت های امتیازی:
آشنایی با محیط SSAS و SSIS مزیت محسوب می شود
اشنایی با زبان برنامه نویسی پایتون مزیت محسوب می شود
🌐لینک آگهی: لینک
🆔@dsfum
Forwarded from پایتون مالی
@PyFinance- Iran-AI.pdf
12.1 MB
شاخص هوشمصنوعی ایران ۱۴۰۳
این گزارش با الهام از تجربیات بینالمللی در شاخصهای هوش مصنوعی، تلاش میکند چارچوبی جامع برای درک وضعیت ایران در این حوزه ارائه دهد و امکان برنامهریزی استراتژیک و سیاستگذاریهای کوتاهمدت، میانمدت و بلندمدت مبتنی بـر شواهد را فراهم کرده و به اجرای مؤثر سیاستها کمک کند.
➖➖➖➖➖➖
🔖 هوشمصنوعی در صنعت مالی
✅ @pyfinance
این گزارش با الهام از تجربیات بینالمللی در شاخصهای هوش مصنوعی، تلاش میکند چارچوبی جامع برای درک وضعیت ایران در این حوزه ارائه دهد و امکان برنامهریزی استراتژیک و سیاستگذاریهای کوتاهمدت، میانمدت و بلندمدت مبتنی بـر شواهد را فراهم کرده و به اجرای مؤثر سیاستها کمک کند.
➖➖➖➖➖➖
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
Forwarded from Data world with Mina (Mina Ra)
در دنیای همیشه در حال تکامل داده ها، درک گزینه های ذخیرهسازی شما بسیار مهم است. بیایید تفاوت های بین Data Warehouse ها، Data Lakes و مفهوم نوظهور Data Lakehouse ها را بشکنیم:
🔺انبار داده datawareHouse 🏢:
✔️ایده آل برای داده های ساخت یافته
✅طراحی شده برای پرس و جو با کارایی بالا.
برای هوش تجاری و گزارش دهی مناسب است. بعنوان هسته اصلی یک سیستم هوش تجاری BI به شمار میآید. به عبارت دیگر انبار داده یک مخزن داده مرکزی از دادههای تجمیع شده است که از سیستمها و منابع مختلف سازمان جمعآوری شده است .
🔺دریاچه داده (data lake)
دریاچه داده یک مخزن ذخیره سازی مرکزی است که کلان دادهها را از منابع مختلف در فرمت خام و دست نخورده ذخیره میکند. Data lake میتواند دادههای ساختار یافته، نیمه ساختار یافته یا بدون ساختار را ذخیره کند
✅اغلب برای داده های بزرگ و تجزیه و تحلیل پیشرفته استفاده می شود.
دریاچه داده بر اساس اصولی به نام خواندن با ساختار (schema-on-read) کار میکند.
این بدان معناست که هیچ طرح (schema) از پیش تعیین شدهای وجود ندارد که دادهها قبل از ذخیره سازی به آن نیاز داشته باشند.
فقط زمانی که دادهها در حین پردازش خوانده میشوند، تجزیه و تحلیل میشوند و در صورت لزوم داخل یک طرح (schema) تطبیق داده میشوند.
این ویژگی زمان مصرف شده روی تعریف کردن طرح (schema) را به حداقل میرساند و باعث میشود که دادهها به همان شکلی که هستند در هر فرمتی ذخیره شوند.
🔺تفاوت دریاچه داده با انبار داده:
طرح یا اسکیمای یک انبار داده قبل از ذخیره سازی تعریف و ساختار یافته میشود (طرح و اسکیما هنگام نوشتن دادهها اعمال میشود). ✔️در مقابل یک دریاچه داده، هیچ طرح و برنامهی از پیش تعیین شدهای ندارد تا به آن اجازه دهد که دادهها را در فرمت اصلی خود ذخیره کند. بنابراین، در انبار داده اکثرا آماده سازی دادهها معمولاً قبل از پردازش اتفاق میافتد ولی در Data Lakes هنگامی که دادهها واقعاً مورد استفاده قرار بگیرند، آماده سازی میشوند.
از آنجا که دادهها قبل از ذخیره سازی به شکل ساده شده سازماندهی نشدند، یک دریاچه داده اغلب نیاز به یک متخصص با درک کامل انواع مختلف دادهها و روابط آنها دارد تا بتواند آنها را بخواند. در عوض یک انبار داده به دلیل طرح و اسکیمای مستند خود و به دلیل این که به خوبی تعریف شده، هم برای کاربران فناوری و حتی افراد غیر فناوری نیز قابل دسترسی است. حتی یک عضو جدید در تیم میتواند به سرعت از انبار استفاده کند.
معماری دریاچه داده: آمازون وب سرویس (AWS)، هادوپ (Hadoop)، آزور (Azure)
Data Lakehouse دیتا لیک هاوس🔺
🚀
دیتا لیک هاوس نوع جدیدی از معماری داده است که یک دریاچه داده را با یک انبار داده ترکیب می کند تا کاستی های هر یک را به طور جداگانه برطرف کند.
یک ذخیره سازی از داده های غیر ساختار یافته و ساختار یافته است که از فناوری های cloud-native مانند Hadoop، Spark و Kafka استفاده می کند.
این معماری به سازمان ها امکان می دهد داده های خود را از هر منبعی ذخیره، مدیریت و تحلیل کنند.
دیتا لیک هاوس مزایای زیر را نسبت به data lake و data warehouse دارد:
🔶انعطاف پذیری: data lakehouse می تواند داده های غیر ساختار یافته، ساختار یافته و نیمه ساختار یافته را ذخیره کند. این انعطاف پذیری به سازمان ها امکان می دهد طیف گسترده ای از داده ها را از هر منبعی جمع آوری و تجزیه و تحلیل کنند.
🔶هزینه: data lakehouse می تواند هزینه های ذخیره سازی و پردازش داده ها را کاهش دهد. این به دلیل استفاده از فناوری های cloud-native است که هزینه های کلی را کاهش می دهند.
🔶سرعت: data lakehouse می تواند داده ها را سریعتر از data warehouse پردازش کند. این به دلیل استفاده از فناوری های cloud-native است که می توانند حجم زیادی از داده ها را به طور همزمان پردازش کنند.
✅ می تواند برای هوش مصنوعی و یادگیری ماشینی استفاده شود. این می تواند به سازمان ها کمک کند تا مدل های یادگیری ماشینی را ایجاد و آموزش دهند.
🔺انبار داده datawareHouse 🏢:
✔️ایده آل برای داده های ساخت یافته
✅طراحی شده برای پرس و جو با کارایی بالا.
برای هوش تجاری و گزارش دهی مناسب است. بعنوان هسته اصلی یک سیستم هوش تجاری BI به شمار میآید. به عبارت دیگر انبار داده یک مخزن داده مرکزی از دادههای تجمیع شده است که از سیستمها و منابع مختلف سازمان جمعآوری شده است .
🔺دریاچه داده (data lake)
دریاچه داده یک مخزن ذخیره سازی مرکزی است که کلان دادهها را از منابع مختلف در فرمت خام و دست نخورده ذخیره میکند. Data lake میتواند دادههای ساختار یافته، نیمه ساختار یافته یا بدون ساختار را ذخیره کند
✅اغلب برای داده های بزرگ و تجزیه و تحلیل پیشرفته استفاده می شود.
دریاچه داده بر اساس اصولی به نام خواندن با ساختار (schema-on-read) کار میکند.
این بدان معناست که هیچ طرح (schema) از پیش تعیین شدهای وجود ندارد که دادهها قبل از ذخیره سازی به آن نیاز داشته باشند.
فقط زمانی که دادهها در حین پردازش خوانده میشوند، تجزیه و تحلیل میشوند و در صورت لزوم داخل یک طرح (schema) تطبیق داده میشوند.
این ویژگی زمان مصرف شده روی تعریف کردن طرح (schema) را به حداقل میرساند و باعث میشود که دادهها به همان شکلی که هستند در هر فرمتی ذخیره شوند.
🔺تفاوت دریاچه داده با انبار داده:
طرح یا اسکیمای یک انبار داده قبل از ذخیره سازی تعریف و ساختار یافته میشود (طرح و اسکیما هنگام نوشتن دادهها اعمال میشود). ✔️در مقابل یک دریاچه داده، هیچ طرح و برنامهی از پیش تعیین شدهای ندارد تا به آن اجازه دهد که دادهها را در فرمت اصلی خود ذخیره کند. بنابراین، در انبار داده اکثرا آماده سازی دادهها معمولاً قبل از پردازش اتفاق میافتد ولی در Data Lakes هنگامی که دادهها واقعاً مورد استفاده قرار بگیرند، آماده سازی میشوند.
از آنجا که دادهها قبل از ذخیره سازی به شکل ساده شده سازماندهی نشدند، یک دریاچه داده اغلب نیاز به یک متخصص با درک کامل انواع مختلف دادهها و روابط آنها دارد تا بتواند آنها را بخواند. در عوض یک انبار داده به دلیل طرح و اسکیمای مستند خود و به دلیل این که به خوبی تعریف شده، هم برای کاربران فناوری و حتی افراد غیر فناوری نیز قابل دسترسی است. حتی یک عضو جدید در تیم میتواند به سرعت از انبار استفاده کند.
معماری دریاچه داده: آمازون وب سرویس (AWS)، هادوپ (Hadoop)، آزور (Azure)
Data Lakehouse دیتا لیک هاوس🔺
🚀
دیتا لیک هاوس نوع جدیدی از معماری داده است که یک دریاچه داده را با یک انبار داده ترکیب می کند تا کاستی های هر یک را به طور جداگانه برطرف کند.
یک ذخیره سازی از داده های غیر ساختار یافته و ساختار یافته است که از فناوری های cloud-native مانند Hadoop، Spark و Kafka استفاده می کند.
این معماری به سازمان ها امکان می دهد داده های خود را از هر منبعی ذخیره، مدیریت و تحلیل کنند.
دیتا لیک هاوس مزایای زیر را نسبت به data lake و data warehouse دارد:
🔶انعطاف پذیری: data lakehouse می تواند داده های غیر ساختار یافته، ساختار یافته و نیمه ساختار یافته را ذخیره کند. این انعطاف پذیری به سازمان ها امکان می دهد طیف گسترده ای از داده ها را از هر منبعی جمع آوری و تجزیه و تحلیل کنند.
🔶هزینه: data lakehouse می تواند هزینه های ذخیره سازی و پردازش داده ها را کاهش دهد. این به دلیل استفاده از فناوری های cloud-native است که هزینه های کلی را کاهش می دهند.
🔶سرعت: data lakehouse می تواند داده ها را سریعتر از data warehouse پردازش کند. این به دلیل استفاده از فناوری های cloud-native است که می توانند حجم زیادی از داده ها را به طور همزمان پردازش کنند.
✅ می تواند برای هوش مصنوعی و یادگیری ماشینی استفاده شود. این می تواند به سازمان ها کمک کند تا مدل های یادگیری ماشینی را ایجاد و آموزش دهند.
👍1
ایرانداک برگزار می کند
همایش چارچوب ملی تضمین کیفیت آمار چالش ها و راهکارهای پیاده سازی
چهارشنبه ۱۲ دی ساعت ۱۱ تا ۱۳
حضوری و مجازی
لینک مجازی:
https://meeting.irandoc.ac.ir/lecture
همایش چارچوب ملی تضمین کیفیت آمار چالش ها و راهکارهای پیاده سازی
چهارشنبه ۱۲ دی ساعت ۱۱ تا ۱۳
حضوری و مجازی
لینک مجازی:
https://meeting.irandoc.ac.ir/lecture
👍1
Forwarded from DeepMind AI Expert (Farzad)
کتاب جدیدی که منتشر شده جالبیش در انتشار نوت بوکهاش به زبان R و پایتون هستش که میتونه توسط پژوهشگران #آمار و علوم کامپیوتر مورد استفاده قرار گیرد.
▪️ Applied Causal Inference Powered by ML and AI
#کتاب #منابع
🔸 مطالب بیشتر 👇👇
✅ @AI_DeepMind
🔸 @AI_Person
▪️ Applied Causal Inference Powered by ML and AI
#کتاب #منابع
🔸 مطالب بیشتر 👇👇
✅ @AI_DeepMind
🔸 @AI_Person
👍1
🔶#استخدام کارشناس هوش تجاری شرکت یو تراوز
توانمندیهای تخصصی همکار آیندهی ما:
مسلط به ابزار مصورسازی Power BI
مسلط به SQL
مسلط به پروسه ETL
آشنا به حداقل یکی از نرم افزارهای برنامهنویس در این حوزه نظیر Python
آشنا به مفاهیم، تکنیک ها و پیادهسازی الگوریتمهای دادهکاوی و علم داده
شرح وظایف همکار آینده ما:
آماده سازی و توسعه زیر ساخت ها
ایجاد گزارشات بیزینسی در سطح سازمان
دارا بودن قدرت تحلیل داده و پیاده سازی داشبوردها
کمک به هم تیمی ها به منظور افزایش کیفیت و کمیت کار
🌐لینک آگهی: لینک
🆔@dsfum
توانمندیهای تخصصی همکار آیندهی ما:
مسلط به ابزار مصورسازی Power BI
مسلط به SQL
مسلط به پروسه ETL
آشنا به حداقل یکی از نرم افزارهای برنامهنویس در این حوزه نظیر Python
آشنا به مفاهیم، تکنیک ها و پیادهسازی الگوریتمهای دادهکاوی و علم داده
شرح وظایف همکار آینده ما:
آماده سازی و توسعه زیر ساخت ها
ایجاد گزارشات بیزینسی در سطح سازمان
دارا بودن قدرت تحلیل داده و پیاده سازی داشبوردها
کمک به هم تیمی ها به منظور افزایش کیفیت و کمیت کار
🌐لینک آگهی: لینک
🆔@dsfum
🔶#استخدام دانشمند داده(بازارهای مالی) شرکت آلفا نیرو
وظایف و مسئولیتها:
جمعآوری، پاکسازی و تحلیل دادههای مالی
تست و اعتبارسنجی الگوریتمهای معاملاتی و ارائه گزارش نتایج.
همکاری نزدیک با تیمهای معاملاتی و توسعه نرمافزار برای پیادهسازی الزامات:
مدرک کارشناسی یا کارشناسی ارشد در علوم داده، آمار، ریاضیات یا رشتههای مرتبط.
تجربه عملی در کار با دادههای مالی و ابزارهای تحلیلی مانند Python، R، SQL.
مهارت در گزارشنویسی و ارائه یافتهها به زبان ساده و شفاف.
🌐لینک آگهی: لینک
🆔@dsfum
وظایف و مسئولیتها:
جمعآوری، پاکسازی و تحلیل دادههای مالی
تست و اعتبارسنجی الگوریتمهای معاملاتی و ارائه گزارش نتایج.
همکاری نزدیک با تیمهای معاملاتی و توسعه نرمافزار برای پیادهسازی الزامات:
مدرک کارشناسی یا کارشناسی ارشد در علوم داده، آمار، ریاضیات یا رشتههای مرتبط.
تجربه عملی در کار با دادههای مالی و ابزارهای تحلیلی مانند Python، R، SQL.
مهارت در گزارشنویسی و ارائه یافتهها به زبان ساده و شفاف.
🌐لینک آگهی: لینک
🆔@dsfum
Forwarded from Intellimage ( intelligent image processing )
🆕️ استفاده از روشهای مدرن تصویربرداری در بررسی ساختار تومور
✅ ساختارها و زیستگاههای تومور با استفاده از روشهای مدرن تصویربرداری و آنالیز فضایی مورد بررسی قرار گرفته است. محققان "میکرومنطقههای توموری" را به عنوان خوشههای متمایز سلولهای سرطانی که توسط اجزای استرومایی جدا شدهاند، تعریف کردند. ویژگیهای این میکرومنطقهها شامل:
- اندازه و چگالی متفاوت در انواع سرطان، با بزرگترین میکرومنطقهها در نمونههای متاستاتیک
- تقسیمبندی به "زیرکلونهای فضایی" با تغییرات ژنتیکی مشترک
- فعالیت متابولیکی افزایشیافته در مرکز و ارائه آنتیژن بیشتر در حاشیههای میکرومنطقهها
- نفوذ متغیر سلولهای T و حضور غالب ماکروفاژها در مرزهای تومور
✅ همچنین با بازسازی ساختارهای سهبعدی تومور و آنالیز همسایگیهای سلولی، نشانگرهای خستگی ایمنی در اطراف زیرکلونهای تومور شناسایی شد. این یافتهها به درک چگونگی تکامل فضایی تومور در تعامل با محیط میکروسکوپی کمک میکند.
🔎📄paper
🆔️ telegram channel:
https://t.iss.one/Intellimage
#image_processing
#article
✅ ساختارها و زیستگاههای تومور با استفاده از روشهای مدرن تصویربرداری و آنالیز فضایی مورد بررسی قرار گرفته است. محققان "میکرومنطقههای توموری" را به عنوان خوشههای متمایز سلولهای سرطانی که توسط اجزای استرومایی جدا شدهاند، تعریف کردند. ویژگیهای این میکرومنطقهها شامل:
- اندازه و چگالی متفاوت در انواع سرطان، با بزرگترین میکرومنطقهها در نمونههای متاستاتیک
- تقسیمبندی به "زیرکلونهای فضایی" با تغییرات ژنتیکی مشترک
- فعالیت متابولیکی افزایشیافته در مرکز و ارائه آنتیژن بیشتر در حاشیههای میکرومنطقهها
- نفوذ متغیر سلولهای T و حضور غالب ماکروفاژها در مرزهای تومور
✅ همچنین با بازسازی ساختارهای سهبعدی تومور و آنالیز همسایگیهای سلولی، نشانگرهای خستگی ایمنی در اطراف زیرکلونهای تومور شناسایی شد. این یافتهها به درک چگونگی تکامل فضایی تومور در تعامل با محیط میکروسکوپی کمک میکند.
🔎📄paper
🆔️ telegram channel:
https://t.iss.one/Intellimage
#image_processing
#article
👍1
🔶#استخدام تحلیل گر داده داتین
شرح وظایف:
تحلیل و بررسی دیتاها و ایجاد مستندات لازم
توانایی بالا در تحلیل داده
بررسی نیازمندی ها از سمت مشتری و تحلیل های لازم روی دیتا و به موازات آن ایجاد مستندات لازم
آشنایی با ابزار های ایجاد دیتا مدل
تعامل و ارتباط با دیگر اعضا تیم در فرآیند تولید و توسعه محصول با کیفیت
بررسی عمیق صورت مسئله و تحلیل کسبوکار
بصریسازی دادهها
طراحی سناریو و اسکریپتهای تست و صحت سنجی دادهها
یادگیری و درک سرویسهای تولیدی با توجه به سند تحلیل و طراحی مربوطه
طراحی و مستندسازی تست کیس و سناریوهای تست
انجام Manual سناریوهای تست و گزارش نتایج
مستندسازی نتایج تست و ثبت Issueها
🌐لینک آگهی: لینک
🆔@dsfum
شرح وظایف:
تحلیل و بررسی دیتاها و ایجاد مستندات لازم
توانایی بالا در تحلیل داده
بررسی نیازمندی ها از سمت مشتری و تحلیل های لازم روی دیتا و به موازات آن ایجاد مستندات لازم
آشنایی با ابزار های ایجاد دیتا مدل
تعامل و ارتباط با دیگر اعضا تیم در فرآیند تولید و توسعه محصول با کیفیت
بررسی عمیق صورت مسئله و تحلیل کسبوکار
بصریسازی دادهها
طراحی سناریو و اسکریپتهای تست و صحت سنجی دادهها
یادگیری و درک سرویسهای تولیدی با توجه به سند تحلیل و طراحی مربوطه
طراحی و مستندسازی تست کیس و سناریوهای تست
انجام Manual سناریوهای تست و گزارش نتایج
مستندسازی نتایج تست و ثبت Issueها
🌐لینک آگهی: لینک
🆔@dsfum
👍2
🔶#استخدام برنامه نویس هوش مصنوعی
مهارتهای الزامی:
تسلط به زبان برنامهنویسی پایتون
آشنایی با پردازش زبان طبیعی (NLP) یا Computer Vision (تسلط به یکی از این دو الزامی است)
آشنایی با تحولات جدید مانند مدلهای زبانی بزرگ (LLM) و Generative AI
مهارتهای ترجیحی:
آشنایی با کتابخانههای مرتبط مانند PyTorch، TensorFlow، NumPy، Pandas
آشنایی با تکنیکهای Crawling
آشنایی با تایپها و کتابخونه Pydantic
توانایی کار با مدلهای Transformer
مسلط به Regex و استفاده مؤثر از آن
تجربه در تحقیق و مقایسه ابزارها (R&D)
مهارتهای مدیریت زمان و کار تیمی
آشنایی با توسعه چابک و چارچوبهای Kanban و Scrum
آشنایی با مفاهیم توسعه نرمافزارهای تحت وب (اختیاری)
🌐لینک آگهی: لینک
🆔@dsfum
مهارتهای الزامی:
تسلط به زبان برنامهنویسی پایتون
آشنایی با پردازش زبان طبیعی (NLP) یا Computer Vision (تسلط به یکی از این دو الزامی است)
آشنایی با تحولات جدید مانند مدلهای زبانی بزرگ (LLM) و Generative AI
مهارتهای ترجیحی:
آشنایی با کتابخانههای مرتبط مانند PyTorch، TensorFlow، NumPy، Pandas
آشنایی با تکنیکهای Crawling
آشنایی با تایپها و کتابخونه Pydantic
توانایی کار با مدلهای Transformer
مسلط به Regex و استفاده مؤثر از آن
تجربه در تحقیق و مقایسه ابزارها (R&D)
مهارتهای مدیریت زمان و کار تیمی
آشنایی با توسعه چابک و چارچوبهای Kanban و Scrum
آشنایی با مفاهیم توسعه نرمافزارهای تحت وب (اختیاری)
🌐لینک آگهی: لینک
🆔@dsfum
👍1