https://www.linkedin.com/posts/sofia%D9%80mojahed_datascience-machinelearning-ai-activity-7282704774871891968-aKjj?utm_source=share&utm_medium=member_android

✍️ از اهمیت تحلیل اکتشافی داده‌ها (EDA) در فرآیند علم داده هرچه بگیم کمه! چرا؟
این مرحله پایه‌ای قوی برای مدل‌سازی و تحلیل دقیق‌تر داده‌ها ایجاد می‌کند. دلایل اهمیت EDA به شرح زیر هست:

1. درک بهتر داده‌ها
به شما کمک می‌کند تا داده‌ ها را عمیق‌تر بشناسید:
- نوع داده‌ها (عددی، دسته‌بندی‌شده، زمانی و غیره).
- دامنه مقادیر و رفتار متغیرها.
- الگوها و روندهای موجود در داده.


2. شناسایی کیفیت داده‌ها
- مقادیر گمشده (Missing Values): شناسایی و تصمیم‌گیری در مورد حذف یا جایگزینی آنها.
- داده‌های پرت (Outliers): یافتن مقادیری که ممکن است بر مدل تأثیر منفی بگذارند.
- داده‌های تکراری (Duplicate Data): حذف داده‌های اضافی برای بهبود کارایی.


3. کشف الگوها و روابط
امکان کشف روابط بین متغیرها را فراهم می‌کند:
- بررسی همبستگی (Correlation) بین متغیرها.
- شناسایی متغیرهای تأثیرگذار در هدف (Target Variable).
- کمک به تشخیص رفتار داده‌ها در شرایط مختلف.


4. آگاهی از چالش‌های داده
مشکلات پنهان در داده را آشکار می‌کند:
- وجود داده‌های ناقص یا ناهماهنگ.
- عدم تطابق توزیع داده‌ها با فرضیات مدل‌سازی (مانند نرمال بودن).
- تشخیص سوگیری‌های احتمالی.


5. انتخاب ویژگی‌های مهم (Feature Selection)
- شناسایی متغیرهای مرتبط و حذف متغیرهای کم‌اهمیت یا همبسته.
- کمک به کاهش ابعاد داده برای ساده‌تر کردن مدل‌سازی.


6. بهبود کیفیت مدل
- نتایج EDA می‌تواند به ایجاد مدل‌های دقیق‌تر کمک کند.
- تنظیم پیش‌پردازش مناسب (مانند نرمال‌سازی، تبدیل داده‌ها یا دسته‌بندی).
- جلوگیری از مشکلاتی مانند Overfitting یا Underfitting.


7. شناسایی نیاز به مهندسی ویژگی‌ها (Feature Engineering)
می‌تواند نیاز به ایجاد ویژگی‌های جدید (ترکیب، تبدیل یا استخراج ویژگی‌ها) را شناسایی کند.


8. تصمیم‌گیری استراتژیک
به دانشمند داده کمک می‌کند تا:
- درک بهتری از هدف پروژه داشته باشد.
- استراتژی مدل‌سازی مناسبی انتخاب کند (مانند انتخاب الگوریتم‌ها و روش‌های ارزیابی).


یک مثال از اهمیت آن در پروژه‌های واقعی،
فرض کنید که در یک پروژه پیش‌بینی قیمت مسکن:
- بدون EDA، ممکن است داده‌های پرت یا مقادیر گمشده نادیده گرفته شوند که دقت مدل را کاهش می‌دهد.
- با EDA، متغیرهایی مثل مساحت، تعداد اتاق‌ها یا موقعیت جغرافیایی که بیشترین تأثیر را دارند، شناسایی می‌شوند.

✨ پس EDA یکی از مراحل کلیدی در علم داده است که پایه‌ای برای تمام مراحل بعدی مانند مدل‌سازی‌ و  ارزیابی فراهم می‌کند. صرف زمان برای EDA به معنای صرفه‌جویی در زمان و بهبود دقت در مراحل بعدی پروژه است.
#datascience
#machinelearning
#ai

✨From Raw Data to Real Insights:

Understanding the Journey of a Modern Data

Pipeline

A data pipeline generally consists of a sequence of stages or components that transfer data from its origin to a destination for analysis and utilization.

Here's an overview of the common stages and components in a data pipeline.

1. Collect

- Purpose: Gather raw data from various sources. This data can be generated by applications, sensors, devices, databases, or user interactions.

Components:

- Data Store: Holds operational data, often a database (e.g., relational databases, NoSQL stores).

- Data Stream: Handles real-time data feeds, often using sources like IoT devices, transactional systems, or event logs.

- Application Data: Collects data directly from applications, APIs, or web services.

2. Ingest

Purpose: Move collected data into the pipeline, transforming and consolidating it for further use.

Components:

Data Load: Transfers data from data stores and applications into the processing system.

Event Queue: Manages the flow of data, particularly streaming data, using tools like Apache Kafka or AWS Kinesis.

- Outcome: Data enters the processing layer, often in a more structured format, with consistent formats and time-stamping.

3. Store

Purpose: Persist data so it can be easily

accessed and processed.

- Components:

- Data Lake: A centralized storage repository for large amounts of structured,

semi-structured, and unstructured data.

- Data Warehouse: Structured storage for processed data, optimized for querying and

reporting.

- Lakehouse: Combines elements of data lakes and data warehouses to provide both raw and processed data storage.

- Outcome: Data is stored in various formats (raw, transformed, aggregated) and is accessible for compute and analysis.

4. Compute

Purpose: Process data to prepare it for

analysis and use.

- Components:

- Batch Processing: Periodic processing of large datasets, using frameworks like Apache

Spark or Hadoop.

- Stream Processing: Real-time processing of data streams, often using Apache Flink, Apache Kafka Streams, or AWS Kinesis Data Analytics.

Outcome: Data is processed into usable forms, such as aggregated tables, machine learning features, or transformed datasets.

5. Consume

- Purpose: Deliver data insights and enable its

use across various applications and user groups.

Components:

Data Science, Business Analysis, ML

سلام....
من اومدم با ی مطلب جالب دیگه 😊
از اونجایی که هم جنگو کار کردم و هم دیتاساینس، برای خودم خیلی جذابه که این دور رو باهم merge کنم و در موردش سرچ میکنم. شاید شما هم بخواید بدونید که
چطوری یک پروژه ی هوش مصنوعی رو وارد بک اندی مثلاً جنگو کنید؟!
چون جنگو و هوش مصنوعی هر دو با زبان پایتون هست پس کار سختی نیست.
البته قبلا این کار رو برای RAG system که یک نوع LLM هست انجام دادم. خالی از لطف نیست تا در موردش بیشتر بحث بشه، روش های مختلفی هست، اما ساده ترین روش بنظرم این داکیومنتشن Django ai هست.
مراحل کار اینطوری هست که:
بعد از اینکه virtual environment رو ایجاد کردین، Django ai رو نصب میکنید، حتما دایرکتوری رو مشخص میکنید و سپس با کد :
python manage.py makemigrations
python manage.py migrate
عملیات مهم migration رو میزنید!

بعدش super user رو ایجاد میکنید(شاید از قبل هم داشته باشید!)،
بعد از اون run server و git clone داریم!
قسمت requirements.txt هم که جز لاینفک جنگو هست! پس فراموشش نکنید:
pip install -r requirements.txt
(اگه نصب دارید پس فقط آپدیتش کنید)

لینک داکیومنتشن Django ai هست
https://lnkd.in/dfmVGnim

اگه مطلب واستون جالبه و دوست داشتید برای دوستان تون share کنید. بر اساس ویوها و کامنت های شما محتواهای بعدی کانال رو میسازم.
نظر همراهانم ارزشمنده. ❣️

✍️ توضیح عملکرد متد های پایتون:
دستور append(item)— افزودن یک عنصر به انتهای لیست.

دستور remove(item) — حذف اولین مورد از یک مقدار خاص.

دستور insert(index, item) — قرار دادن یک عنصر در موقعیت خاصی در لیست. → زمانی که ترتیب عناصر حیاتی است، کاربرد دارد.

دستور pop([index]) — حذف و بازگشت یک عنصر با استفاده از اندیس آن. → معمولاً با append() در الگوریتم‌های مبتنی بر پشته همراه است.

دستور count(item) — تعداد دفعاتی که یک مقدار در لیست ظاهر می‌شود را برمی‌گرداند.

دستور index(item[, start[, end]]) — اولین موقعیت یک مقدار را پیدا می‌کند. → ضروری برای پیاده‌سازی جستجو یا منطق اعتبارسنجی.

دستور sort(key=None, reverse=False)— مرتب‌سازی عناصر در محل، با قوانین سفارشی اختیاری.

دستور reverse() — ترتیب لیست را معکوس می‌کند. → معمولاً در مکانیزم‌های لغو یا ویژگی‌های بازگشت استفاده می‌شود.

دستور copy() — یک کپی سطحی از لیست ایجاد می‌کند. → از تغییرات ناخواسته هنگام انتقال لیست‌ها بین توابع جلوگیری می‌کند.

دستور clear() — لیست را به‌طور کامل خالی می‌کند. → ایده‌آل برای بازنشانی ذخیره‌سازی موقت یا ساختارهای کش.

✅ مراحل ساده برای کار با Git:

1. وضعیت اولیه
- یک مخزن راه دور دارید که شامل فایل README.md است.
- در ماشین محلی هیچ فایل پروژه‌ای وجود ندارد.

2. دستور

git clone <repository>

- کل مخزن راه دور به ماشین محلی کپی می‌شود.
- یک مخزن محلی متصل به مخزن راه دور ایجاد می‌شود.

3. ایجاد یک فایل جدید
- فایلی به نام

newfile.txt

در دایرکتوری کاری محلی ایجاد می‌کنید.
- این فایل در حالت untracked قرار دارد.

4. دستور

git add .

- تمام تغییرات در دایرکتوری کاری برای ثبت در commit بعدی آماده می‌شوند.

5. دستور

git commit -m "<message>"

- تغییرات آماده شده ثبت می‌شوند و یک commit جدید ایجاد می‌شود.

6. دستور

git push

-د commit ‌های محلی به مخزن راه دور بارگذاری می‌شوند.

امشب تولد داداشتونه
دیگه‌حوصله متن اینا نوشتن ندارم

داداشتون از ۱۷ رفت تو۱۸

پ.ن: شمع دوس‌داشتم قلب بزارم گیر میر ندید

👀
#SXL

برای راه اندازی بیزینسم پول کم اوردم بیایید دونات کنید بچه ها تتر متراتونو رو کنید هرچقد تونستید بزنید بهم خدا خیرتون بده دیگه من صفرم :) از ۱ ریال تا ۱۰۰ میلیون ریال پذیرای کمک های شما هستم:)

دیپ سیک زمانه ات را بشناس!
این مدته که درگیرم یسری پستا میبینم بین دیپ سیکیا و چت جیبیتیا دعوای ناموسی اتفاق افتاده اکیپ دیپ سیکیا میگن ما با هزینه کم این مدلو دادیم چت جیبیتیا میگن کیفیت مارو نداری اون وسطم مدیرای این دو شرکت نشستن میدون کالیفرنیا قهوه خونه بارون ترامپ دیزی مشتی میزنن میخندن به اهالی تویتر و لینکدین!
#SXL

این فرایند مالی و حسابداری هست که قراره تا چند روز اینده اینو براتون مارک دان کنم که توی کد زدن‌ماژول حسابداری بتونید راحت درک کنید بیزینس مالی رو.


شایدم بدردتون نخوره ولی اگر زمانی رفتید شرکت نرم افزاری اونجا ادعای قدرت کنید.
#SXL

این کتابو بخونید واسه کد تمیز نوشتن مطالب خوبی داره.

پ.ن: من خودم‌ کد تمیز‌نمیزنم بلدم نیستم میدونم شماهم اینو کامل نمیخونید ولی حداقل کانالو خالی‌ نمیزارم بمونه

Clean Code in Python

#SXL

اصلا تو روایتای حضرت روسوم هست که پسری که کلین کد بزنه ….
دولوپر چیه باگ دولوپر باشید باگ توسعه بدید این مردونگیه
#SXL

فردا روز اول کاری رسمی من تو هلدینگ صنعتی وطن زرین هست ( پنبه ریز و لدورا و…) معروفترین‌شرکتای زیر گروهشه
پروژه قبلی پروندش تموم شد . وطن زرینم شرکت خوبیه بزرگه و حرفه ایه به عنوان یه شیرینی یه ارز معرفی میکنم بخرید تو ۲۴ ساعت ۳۲۴ درصد سود میکنید اینم از طرف من برا شما نوش جونتون :)

پ.ن: کسی بلده چجوری ارز دیجیتال درست کنیم ؟ شت کوین میم کوین چجوری میشه‌درست کرد؟

#SXL

خب پول کم اوردم‌چیکار‌کنم؟
برم به یه مدل هوش مصنوعی پرامپت‌بدم‌برام‌برنامه تدریس پایتون تو ۴‌جلسه‌رو طبقه بندی کنه کنارش به کانوا بدم یه بنر بزنه برام ۱۰۰ هزارتومن بدم به ایوند یه محیط کلاس انلاین درست کنم بیام با شعار این دوره ۰ تا ۱۱۰۰ پایتونه بفروشم ۳ میلیون تازه منتم بزارم :)


پ.ن: پایتون رو از ۳.۱۴ میگم تازه بهتون میگم که GİL برداشته شده سرعتش بهتر شده
بهتون یاد میدم چجوری فایل با پسوند پای رو تو نوت پد پلاس پلاس بکنید سی پلاس پلاس


اگر خواستید کلمه پایتونیزم رو پیوی کنید

#SXL

https://www.linkedin.com/in/amirakbarisxl-py

این وسط لینکدین منم داشته باشید برسم به ۱۹۰۰۰ تا شو آف کنم خیلی وقته بهونه ندارم جلو اینه عکس بگیرم بزارم :)
#SXL

فردا بابت خیلی چیزا ویسای خوبی میزارم 🥂
تحملم کنید تا رستگار شوید
#SXL

حالا بشین Agile و Jira یاد بگیر که بتونی پول پوش کنی تسکتو
#SXL

خلاصه که عصبیم :/
#SXL

Print (‘’Happy Nowruz’’)
:)
#SXL

هوا هوای کالی ۲۰۱۷ باز کردن ترمینال بغل پنجره با هودی مشکیه :)
#SXL

خیلی وقت‌بود‌نبودم درگیر یسری کارت بودم و اومدم باز زبان مزخرفی مثل پایتون رو ادامه‌بدیم و‌به‌مسخره‌بازیامون برسیم :)
#SXL