This GitHub repo is a gold mine for EVERY data scientist!

DS Interactive Python repo has interactive dashboards to learn statistics, ML models, and other DS concepts.

Topics include PCA, bagging & boosting, clustering, neural networks, etc.

Fully open-source and free!
https://github.com/GeostatsGuy/DataScienceInteractivePython

#پایتون #Python #علم_داده

🆔 @programmers_street

تحقیقات نشان داده شده که تسلط بر جبر خطی و معادلات دیفرانسیل و انتگرال می‌تواند عملکرد مدل‌های یادگیری ماشین را تا ۳۰٪ بهبود بخشد
این کتاب به بررسی عمیق پایه های ریاضی یادگیری ماشین می پردازد و منبع کاملی برای آموزش ریاضیات مخصوص یادگیری ماشین است

500-pages a wonderful book for practicing mathematics for ML

"Mathematics for both Data Science and Machine Learning."

A good book for understanding and practicing, mathematics for ML

https://people.smp.uq.edu.au/DirkKroese/DSML/DSML.pdf


#یادگیری_ماشین #علم_داده

🆔 @programmers_street

یکی از دوستانم که اصلاً تو خط تکنولوژی نیست، ازم می‌پرسید ChatGPT چطوری کار می‌کنه. منم سعی کردم یه توضیح ساده و سریع بدم. گفتم اینجا هم بذارمش که بعداً به کار بقیه هم بیاد!
البته جزییات فنی‌ش خیلی بیشتر از اینه، ولی این یه خلاصه TL;DR بود که امیدوارم به دردتون بخوره :))

How LLMs works ?

فرض کن می‌خوایم از صفر شروع کنیم. LLM در اصل یه جور سیستم خیلی پیشرفته‌ست که با متن (و گاهی چیزای دیگه) کار می‌کنه. اول کار، هر متنی که بهش می‌دیم رو به یه زبون عددی تبدیل می‌کنه که خودش بفهمه. به این کار می‌گن tokenization. یعنی متن رو به تکه‌های کوچیک (مثل کلمه یا بخشی از کلمه) تبدیل می‌کنه و به هر تکه یه شماره می‌ده که بهش می‌گن token. مثلاً کلمه "سلام" ممکنه یه token بشه، یا یه کلمه پیچیده‌تر مثل "ناباورانه" بشکنه به "نا" و "باورانه". این کار با الگوریتم‌هایی مثل Byte Pair Encoding (BPE) انجام می‌شه و یه دایره لغات درست می‌کنه که مثلاً تو GPT-4 حدود 100 هزار token داره. حالا متن ما به یه رشته عدد تبدیل شده که مدل می‌تونه باهاش کار کنه.

بعدش می‌رسیم به اصل ماجرا: LLMs از یه neural network به اسم Transformer استفاده می‌کنن. این شبکه یه سری عدد (همون token‌ها) رو می‌گیره و حدس می‌زنه که بعدش چه token‌ای باید بیاد. این حدس زدن بر اساس احتمالاتیه که مدل تو مرحله pre-training یاد گرفته. تو این مرحله، مدل رو با مقدار عظیمی داده (مثلاً 15 تریلیون token از اینترنت) تمرین می‌دن که بتونه الگوهای زبون رو بفهمه. کارش اینه که ببینه تو این داده‌ها، بعد از یه جمله یا یه کلمه، معمولاً چی میاد. اینجوری میلیاردها parameter (وزن‌های داخل شبکه) رو تنظیم می‌کنه تا پیش‌بینی‌هاش دقیق‌تر بشه.

وقتی مدل آموزشش تموم شد، می‌تونی ازش استفاده کنی. به این کار می‌گن inference. یه متن اولیه (مثلاً یه سوال) بهش می‌دی، اون شروع می‌کنه به پیش‌بینی token بعدی، یه نمونه از احتمالات انتخاب می‌کنه، به متن اضافه می‌کنه و همین‌جوری ادامه می‌ده. مثل یه سیستم autocomplete خیلی باهوشه که جمله‌به‌جمله می‌سازه. چون انتخاب token‌ها یه مقدار تصادفیه، هر بار که اجرا می‌کنی ممکنه جواب یه کم فرق کنه.

تا اینجا، این یه base model‌ه، یعنی فقط می‌تونه متنایی شبیه چیزایی که تو اینترنت دیده تولید کنه. ولی برای اینکه واقعاً به‌دردبخور بشه (مثلاً جواب سوال بده)، باید یه مرحله دیگه بره که بهش می‌گن post-training. اینجا دو تا تکنیک اصلی داره:
اولی : Supervised Fine-Tuning (SFT) به مدل یاد می‌دن که چجوری مثل یه دستیار جواب بده، مثلاً با تمرین روی مکالمه‌ها یا سوال‌وجواب‌ها.

دومی : Reinforcement Learning (RL)مدل رو با پاداش دادن به جواب‌های درست (مثلاً تو ریاضی یا کدزنی) بهتر می‌کنن تا بتونه استدلال کنه و مثلاً مسائل رو قدم‌به‌قدم حل کنه.

تا اینجا، تقریبا کل داستان LLMs خلاصه گفتیم: متن رو به token تبدیل می‌کنه، با Transformer پیش‌بینی می‌کنه چی باید بیاد، و با post-training به بلوغ میرسه:))

مدل‌های multimodalهم بدونی بد نیست . اینا همون LLMs‌ن، ولی یه قدم جلوتر. اینجا دیگه فقط با متن کار نمی‌کنن، بلکه با چیزای دیگه مثل عکس، صدا یا حتی ویدئو هم کار می‌کنن. چجوری؟
مثل قبل، همه‌چیز با tokenization شروع می‌شه. ولی حالا فقط متن نیست. مثلاً یه عکس رو به تکه‌های کوچیک (مثل پچ‌های تصویر) تقسیم می‌کنن و بهشون token می‌دن. یا یه فایل صوتی رو به شکل موج صوتی (مثل spectrogram) درمی‌آرن و به token تبدیل می‌کنن.
بعدش، همون Transformer که برای متن بود، این token‌های جدید رو هم می‌فهمه. فرقی نمی‌کنه که token از متن باشه، عکس باشه یا صدا مدل فقط یه رشته token می‌بینه و پیش‌بینی می‌کنه که بعدش چی باید بیاد.
تو مرحله آموزش، مدل رو با داده‌های مخلوط (مثلاً متن + عکس) تمرین می‌دن که بتونه ارتباط بین اینا رو بفهمه. مثلاً یاد می‌گیره که یه عکس رو توصیف کنه یا از یه صدا متن بسازه.
در کل مدل‌های multimodal همون سیستم LLM‌ن، ولی گسترش پیدا کردن که همه‌چیز رو به شکل token ببینن و بتونن بین نوعای مختلف داده (مثل متن و تصویر) ارتباط برقرار کنن.

اگر دوست داشتید عمیق تر راجب این موضوع مطالعه داشته باشید این ویدئو از آقای Andrej Karpathy رو پیشنهاد میکنم :

https://youtu.be/7xTGNNLPyMI?list=TLGGF2qs5wlgDR4zMDA0MjAyNQ

خیلی خوب و کامل توضیح دادن .
منبع

#LLM #AI #Machine_Learning


#یادگیری_ماشین #هوش_مصنوعی

🆔 @programmers_street

👉This AI extension can automatically control your actual browser.

📍OpenDia lets Claude, ChatGPT and local LLMs click buttons, fill forms, and navigate websites using your existing logged-in accounts.

📌هوش مصنوعی OpenDia یک افزونه مرورگر متن باز است که به مدل‌های هوش مصنوعی مانند Claude و ChatGPT اجازه می‌دهد تا مرورگرهای وب را کنترل کنند، وظایفی مانند کلیک کردن روی دکمه‌ها، پر کردن فرم‌ها و جستجو در وب‌سایت‌ها را با استفاده از حساب‌های کاربری موجود انجام دهند، که قابلیت‌های اتوماسیون را بدون نیاز به تغییر مرورگر ارائه می‌دهد.

🔗https://github.com/aaronjmars/opendia


#یادگیری_ماشین #هوش_مصنوعی

🆔 @programmers_street

⬅️ شروع دوره جدید Large Language Models دانشگاه استنفورد


در این دوره روش ساخت مدلهای زبانی( مشابه ChatGPT ) از جمع آوری و تحلیل داده تا تکنیک‌هایی برای پاسخدهی بهتر مدل آموزش داده شده


https://www.youtube.com/watch?v=9vM4p9NN0Ts



#یادگیری_ماشین #هوش_مصنوعی

🆔 @programmers_street

⚜ منابع یادگیری عمیق ( Deep Learning )

☑️ دوره‌ دانشگاه‌های داخل
➖ دکتر سلیمانی - شریف
➖ دکتر محمدی ( مبانی ) - علم و صنعت
➖ دکتر محمدی ( برای بینایی ) - علم و صنعت
➖ دکتر غیاثی - فردوسی
➖ دکتر رضوی - تبریز
➖ دکتر کلهر - تهران
➖ دکتر آقامحمدی - شریف
➖ اخوان پور - شهید رجایی
➖ دکتر کیوان راد - مالک اشتر



☑️ دوره‌‌ دانشگاه‌های خارج از کشور

➖ List of all Courses




کانال مهندسی کامپیوتر
👇
🆔 @programmers_street

کانال اختصاصی پایتون👇
🆔 @Python4all_pro

📘The-book-of-secret-knowledge : A curated knowledge bank every developer wishes they had sooner

A collection of inspiring lists, manuals, cheatsheets, blogs, hacks, one-liners, cli/web tools and more.

🔻 این ریپو مجموعه‌ای منحصربه‌فرد و متن‌باز از ابزارها، چیت‌شیت‌ها و هک‌ها برای توسعه‌دهندگان ارائه می‌دهد

✔️https://github.com/trimstray/the-book-of-secret-knowledge


🆔 @programmers_street

💠 سلام به همه علاقه‌مندان به علم داده، مخصوصاً اون‌هایی که تازه وارد این مسیر شدن

من سعی کردم چالش‌ها و دغدغه‌هایی که افراد در ابتدای مسیر باهاش روبه‌رو هستن رو جمع‌آوری کنم و درباره‌شون با متخصص‌های این حوزه گفت‌وگوهای کوتاه و مفیدی داشته باشم.

👈اگه شما هم در ابتدای مسیر یادگیری علم داده هستید، پیشنهاد می‌کنم این ویدئو و سایر محتوای کانال رو از دست ندید

https://youtu.be/T4TEKd-YFT0?si=t0UfrUwGv31FY6Ca

#علم_داده
🆔 @programmers_street

💠ریاضی برای علم داده

✅ در علم داده و یادگیری ماشین با چهار شاخه از ریاضی درگیر هستیم

۱- حساب دیفرانسیل و انتگرال
۲- جبر خطی
- آمار
۴- احتمال

⬅️ در این دوره رایگان از استاد علی مس فروش تلاش شده است تا به این چهار شاخه به شکل کاربردی پرداخته شود و علاوه بر بیان مفاهیم ریاضی به چگونگی استفاده از پایتون در این موضوعات پرداخته شود.

https://youtube.com/playlist?list=PLkwcg2bJtvvYAr0aaUHjKBegQoTfa5odQ&si=Zm26kPwDXwN_E7MQ

#علم_داده

🆔 @programmers_street

یه ابزار فوق‌العاده کاربردی برای استخراج داده که خصوصاً برای کسانی که مهارت برنامه‌نویسی بالایی ندارن، خیلی می تونه مفید باشه.

استخراج داده از وبسایت‌ها یا در اصطلاح کرالینگ، گاهی به شدت پیچیده است و نیاز به دانش تخصصی HTML و کتابخانه‌هایی مثل BeautifulSoup یا Scrapy داره و گاها واقعاً حوصله سر بر میشه.

مثلاً فرض کنید می‌خواید از یک سایت خبری، تمام اخبار مربوط به یک موضوع خاص را جمع‌آوری کنید. روش سنتی این بود که باید کدهای پیچیده‌ای بنویسید، با ساختار HTML آشنا باشید و برای هر تغییر کوچک در سایت، دوباره کدتون را بازنویسی کنید. این خیلی بده که هر بار که سایت تغییر کنه، کد شما باید بروز بشه.

اما حالا یک ابزار جدید به نام FireCrawl این کار را کاملاً ساده کرده. این ابزار به شما امکان می‌ده فقط با نوشتن یک پرامپت، داده‌های مورد نظرتون را از هر وبسایتی استخراج کنید. بدون هیچ کدنویسی.

روش کار خیلی ساده است: شما فقط کافیه لیست URLهای مورد نظر را به FireCrawl بدید و در یک پرامپت توضیح بدید که دقیقاً چه اطلاعاتی را می‌خواید. سپس ابزار خودش عمل crawling را انجام داده و داده‌های مرتب و ساختار یافته را برای شما آماده می‌کنه.

https://www.firecrawl.dev



#علم_داده
🆔 @programmers_street

10 GitHub repos to sleep with as an ai engineer covering ML systems, Agents, RAG, MLOps:

1. Machine Learning for Beginners by Microsoft
→ Start here if you’re brand new to ML.
Covers basic ML concepts in Jupyter notebooks beginner-friendly and visual.
🔗 lnkd.in/gGithBVP

2. Learn PyTorch for Deep Learning
→ A great repo to learn PyTorch - could be a bit outdated but the concepts still applies.
🔗 lnkd.in/d4ptSuUY

3. Hands-on Large Language Models
→ This repo supports the Hands-On LLM book.
Learn everything from basic language models to finetuning with real notebooks.
🔗 lnkd.in/gpvPemeG

4. AI Agents for Beginners
→ A fantastic beginner-friendly course to get started with AI agents.
Free 11-lesson hands-on curriculum - no fluff, just code.
🔗 lnkd.in/gVm5gmv7

5. Prompt Engineering Guide
→ One-stop-shop for prompt engineering.
Guides, papers, lectures, and tons of curated examples.
🔗 lnkd.in/gDt3Sknr

6. LLM Course
→ Hands-on course covering the entire LLM lifecycle — design to deployment.
Includes roadmaps + Colab notebooks.
🔗 lnkd.in/gUPJmWNM

7. GenAI Agents
→ Great tutorials + code for building agent-based LLM systems.
Covers everything from simple tool-using agents to advanced workflows.
🔗 lnkd.in/gaiZgzpA

8. RAG Techniques
→ One of the most comprehensive and dynamic collections of Retrieval-Augmented Generation (RAG) tutorials available
🔗 lnkd.in/dcGtjFgY

9. Made With ML
→ Covers full ML product lifecycle: from design to CI/CD and monitoring. If you’re serious about building production-grade ML systems, this is gold.
🔗 lnkd.in/gn2RhT_m

10. Designing Machine Learning Systems
→ Summaries + code + diagrams from the popular O’Reilly book.
A must-read if you want to architect real-world ML pipelines.
🔗 lnkd.in/g26KNXfb

#هوش_مصنوعی #یادگیری_ماشین

🆔 @programmers_street

✨ ScholarXIV.com ✨

➡️Explore academic papers from the arXiv repository. AI powered and fully open-source.

Demo Video
• youtu.be/-GlxZRCfxYA

Star & Contribute
• github.com/dagmawibabi/ScholarXIVWeb



🆔 @programmers_street

🗂 دوره رایگان یادگیری ماشین از coursera

آنچه در این دوره می آموزید:

📌 طراحی و پیاده‌سازی راه‌حل‌های ML و DL
📌 الگوریتم‌های یادگیری نظارت‌شده
📌 مبانی یادگیری ماشین و یادگیری عمیق
📌 شیوه‌های ارزیابی مدل

https://www.coursera.org/learn/stanford-statistics

#یادگیری_ماشین

🆔 @programmers_street

🗂 در این ریپو می تونید کار با مدل‌های یادگیری ماشین رو یاد بگیرید و مدلهای مختلف رو تست و اجرا کنید

📍https://github.com/eugeneyan/applied-ml


#یادگیری_ماشین

🆔 @programmers_street

📍دوره رایگان آموزش MCP از huggingFace به همراه مدرک


MCP is protocol developed by anthropoic so AI tools can communicate with external tools

https://huggingface.co/mcp-course


🆔 @programmers_street

self-hosted Telegram file downloader for automated and stable downloads

https://github.com/jarvis2f/telegram-files



🆔 @programmers_street

200 n8n workflow templates covering AI, automation, DevOps, finance, IoT, and more, ready to import and use

https://github.com/wassupjay/n8n-free-templates



🆔 @programmers_street

649-page PDF >> Introduction to Machine Learning (textbook on foundations, algorithms, and techniques):

https://arxiv.org/abs/2409.02668

#MachineLearning #DeepLearning


🆔 @programmers_street