مقدمه / مسئله و هدف

🔍 کار این پروژه اینه که مدلی بسازه که بتونه تشخیص بده کدوم ایموجی بیشتر به یه پیام کوتاه می‌خوره.

این کار شبیه تحلیل احساساته، چون باید از روی کلمات حال‌وهوای متن رو بفهمه.

اهداف پروژه:

🔸 ساختن مدلی که بتونه پیام‌های کوتاه رو به ایموجی مناسب وصل کنه

🔸 بهتر کردن پیش‌بینی برای ایموجی‌های کم‌استفاده

🔸 مقایسه مدل‌ها و روش‌های تنظیمشون تا بفهمیم کدوم بهتر جواب می‌ده

🔸 ساختن مدلی که بتونه تغییر معنای ایموجی‌هارو بفهمه ( "😭" الان بیشتر به معنای خندیدن استفاده ميشه تا خود گریه)

Introduction

Emojis are like a shorthand for emotions in text. Predicting the right emoji is basically sentiment analysis with extra nuance.

Problem: Some emojis (❤️) appear way more often than others 🎄, making training biased.

Goal: Build models that don’t just predict frequent emojis, but also learn rare ones and handle context changes

🔰 @scopeofai | #papers

دیتاست

از دیتاست TweetEval استفاده کردن:

شامل دو ستون که ستون اول توییته و ستون دوم ایموجی‌ای که بهش نسبت داده می‌شه

۴۵هزار نمونه آموزش، ۵ هزار نمونه برای اعتبارسنجی و ۵۰ هزار تست.

مشکل: بعضی ایموجی‌ها (❤️) خیلی زیاد تکرار شدن، بعضی خیلی کم مثل 😏 یا 😅

Dataset

TweetEval Emoji Dataset (tweets + 20 emoji classes).

~45K training, 5K validation, 50K test.

Class imbalance: ❤️ is everywhere; 😏 or 😅 are rare.

This imbalance makes the problem realistic but harder

🔰 @scopeofai | #papers

نتایج

BERT: ٪بهترین عملکرد → دقت ۴۴
قوی روی ایموجی‌های پرکاربرد و مشخص (❤️، 🎄، 🇺🇸). ضعیف روی ایموجی‌های کمیاب یا مشابه.

CNN: ٪دقت ۳۳
خوب روی ایموجی‌هایی با الگوهای مشخص (🎄، 🔥).

Transformer: ٪دقت ~۳۰
بهتر از شبکه ساده، ولی overfitting زیاد.

شبکه ساده: ضعیف‌ترین (۲۸٪). خیلی ساده‌ست برای این کار.

Results

BERT: Best accuracy (44%) + best weighted F1 (0.45). Strong on frequent emojis and distinctive ones (❤️, 🎄, 🇺🇸). Weak on rare/ambiguous emojis.



CNN: Second best (33%). Great at spotting emojis tied to clear word patterns (🎄, 🔥).


Transformer: Moderate (30%). Better than feedforward but still overfit.


Feedforward: Weakest (28%). Too simple to capture nuance.


👉 BERT wins because of pretraining + context awareness. CNN is a good backup for spotting distinct keywords.

🔰 @scopeofai | #papers

نتیجه‌گیری

انتخاب معماری خیلی تاثیر داره. BERT بهترین بود چون از قبل آموزش دیده.

مشکل بزرگ: نامتوازن بودن داده‌ها (ایموجی قلب‌ خیلی بیشتر از بقیه بود).

همه‌ی مدل‌ها روی ایموجی‌های واضح خوب بودن ولی روی ایموجی‌های مشابه (💙💜❤️) یا کمیاب بد عمل کردن.

کاربردها: کیبورد گوشیت بهتر عمل می‌کنه، می‌شه با این مدل محتوای شبکه‌های اجتماعی رو بهتر درک کرد (شاید)

کارهای آینده: داده‌سازی بیشتر، مدل‌های ترکیبی، روش‌های جدید برای حل مشکل ایموجی‌های نادر

Conclusion

Architecture choice is crucial: simple models underperform, pretrained BERT dominates.

Imbalance is still a big issue: hearts dominate, subtle distinctions (💜 vs 💙 vs ❤️) are hard.

Applications: Smarter keyboards, content moderation, sentiment analysis improvements.

Future work: Data augmentation, hybrid models, contrastive learning.

👉 Core insight: Emoji prediction is a fun but serious testbed for emotional NLP—teaches us a lot about how models grasp subtle sentiment

🔰 @scopeofai | #papers

این خبر یه‌ذره قدیمیه اما بشنوینش:

🔵 شرکت متا به یه مهندس هوش مصنوعی‌ یک میلیارد دلار در ازای چهارسال کار پیشنهاد کرد

و طرف پیشنهاد رو رد کرد!

هزینه‌های که شرکت‌های تاپ برای کسب برتری توی حوزه هوش مصنوعی پرداخت می‌کنن واقعا عجیبه

⚫️ @scopeofai | #tweets

این هم رزومه اون فرد...

🐳 شرکت DeepSeek بی‌ سروصدا مدل جدیدش رو منتشر کرده: DeepSeek V3.1 با ۶۸۵ میلیارد پارامتر.

این مدل رو می‌تونید از Hugging Face رایگان دانلود کنید. ظرفیتش تا ۱۲۸ هزار توکن رو مدیریت می‌کنه ( یه کتاب ۴۰۰ صفحه‌‌ای رو توی یه لحظه می‌خونه)

DeepSeek just quietly dropped DeepSeek V3.1—a massive 685-billion parameter, open-source model now available on Hugging Face. It’s fast, handles up to 128,000 tokens in one go (like reading a 400-page book instantly), and competes with top-tier AIs from OpenAI and Anthropic. What’s cooler?

📰 @scopeofai | #news

🔏 به تازگی ChatGPT ویژگی جدید ساخت فلش‌کارت رو به خودش اضافه کرده و می‎‌‌تونه برای هر موضوعی که بخوایید براتون فلش‌کارت درست کنه. فقط باید توی پرامپتتون ذکر کنید که از quizgpt برای این کار استفاده کن

ChatGPT has recently added a new flashcard feature. It can now create flashcards for any topic you want . you just need to mention in your prompt that you want to use quizgpt for it.

📰 @scopeofai | #news

💡 ابزار SightEngine می‌تونه با دقت بالایی تشخیص بده که تصویر و یا ویدیو با هوش مصنوعی ساخته شده یا نه. خیلی سریع کار می‌کنه و واقعا دقتش زیاده. تازه می‌تونه بهت کامل بگه چه مدلی برای ساخت تصویر استفاده شده. ماهانه رایگان می‌تونی 2000 تا عملیات باهاش انجام بدی.

SightEngine can accurately detect whether an image or video was created with AI. It’s super fast and highly precise — and it can even tell you which model was used to generate the image. You also get 2,000 free operations per month.

🧰 @scopeofai | #tools

راستشو بگم از مطالب کانال راضی نیستم. حس می‌کنم زیادی عامه‌پسند و ساده‌ان و هرکسی می‌تونه همچنین محتوایی تولید کنه.
می‌خوام روند تولید محتوارو به یه سمت و سوی تخصصی‌تر ببرم. شما هم موافقید با این تغییر؟

شبکه عصبی دقیقاً چیه؟

🧠 شبکه عصبی یه مدل محاسباتیه که از ساختار مغز الهام گرفته. داده‌ها وارد لایه ورودی می‌شن، توی لایه‌های مخفی حسابی پردازش می‌شن (با تغییر وزن‌ها و بایاس‌ها) و در نهایت توی لایه خروجی جواب می‌گیریم.

مکانیزم یادگیریش هم ساده ولی عمیقه: مدل یه پیش‌بینی می‌کنه، خطاش اندازه‌گیری می‌شه، و بعد با الگوریتم‌هایی مثل پس‌انتشار خطا (Backpropagation) وزن‌ها اصلاح می‌شن. تکرار همین چرخه باعث می‌شه شبکه کم‌کم هوشمندتر بشه.

A neural network is a computational system inspired by how our brains work. It consists of layers of artificial nodes—neurons—that process data step by step

Input layer: Receives raw data (e.g., images, numbers, text).

Hidden layers: Process that data through interconnected neurons, adjusting internal values called weights and biases to improve accuracy

Output layer: Generates a prediction or classification.

The network learns by making predictions, measuring how off they are using a loss function, and then tweaking those weights and biases

🦴 @scopeofai | #concepts

انواع شبکه‌های عصبی

⚱ همه‌ی شبکه‌ها یه شکل نیستن؛ هر معماری برای مسئله‌ای خاص طراحی شده:

🔹Feedforward (MLP): جریان یک‌طرفه داده. ساده و پایه‌ای، ولی برای دسته‌بندی و پیش‌بینی‌های معمولی خیلی کاربردیه

🔹CNN (Convolutional Neural Network): مخصوص بینایی ماشین. لایه‌های کانولوشن ویژگی‌های تصویر رو خودشون استخراج می‌کنن؛ برای تشخیص چهره، اشیا و هر چیزی که پای پیکسل وسطه، فوق‌العاده‌ست

🔹RNN (Recurrent Neural Network): مناسب داده‌های ترتیبی. چون حافظه داخلی داره، می‌تونه وابستگی بین داده‌های پشت‌سرهم رو بفهمه

🔹DNN (Deep Neural Network): همون شبکه‌های عمیق با چندین لایه مخفی. هرچی شبکه عمیق‌تر باشه، قابلیت یادگیری الگوهای پیچیده‌تر هم بیشتر می‌شه

( بعدا به اینا عمیق‌تر هم می‌پردازیم)

Different architectures exist to tackle various challenges. The main ones:

🔹Feedforward Neural Networks (MLPs): Data moves straight from input to output. Great for general tasks like classification and pattern recognition

🔹Convolutional Neural Networks (CNNs): Built for vision tasks—images, object detection, segmentation. They use convolutional layers to automatically extract features, making them incredibly efficient

🔹Recurrent Neural Networks (RNNs): Designed for sequential data—text, speech, time series. They "remember" past info via feedback loops. LSTMs and GRUs improve their ability to handle long-range dependencies

🔹Deep Neural Networks (DNNs): Simply NNs with multiple hidden layers—depth allows learning highly complex patterns

🦴 @scopeofai | #concepts

کاربردهای شبکه‌های عصبی

تقریباً در تمام حوزه‌های هوش مصنوعی ردپای شبکه‌های عصبی دیده می‌شه:

🔅 بینایی ماشین: از فیلترهای اینستاگرام تا سیستم‌های تشخیص چهره و ماشین‌های خودران.

🔉 پردازش زبان طبیعی: ترجمه ماشینی، چت‌بات‌ها، مدل‌های مولد متن.

🎙پردازش صوتی: تشخیص گفتار، تولید موسیقی یا صدا با هوش مصنوعی.

⏳ تحلیل سری‌های زمانی: پیش‌بینی بازارهای مالی، تحلیل روندها، تشخیص ناهنجاری‌ها.

3) What Are Neural Networks Used For?

Neural networks are everywhere:

Image recognition & computer vision — think facial recognition, object detection, video analysis (thanks to CNNs)

Language & audio tasks — including speech recognition, translation, text generation using RNNs and more modern variants like transformers

Predictive & time-series modeling — especially in areas like finance, forecasting, or any data that needs pattern detection

Everyday tech — voice assistants, self-driving cars, logistics, security cameras—you name it

🦴 @scopeofai | #concepts

محدودیت‌ها و چالش‌ها

قدرت بالا به معنی بی‌نقص بودن نیست:

▫️داده و محاسبات سنگین: شبکه‌های عمیق برای آموزش نیاز به دیتاست‌های بزرگ و GPU/TPU دارن.

▫️جعبه سیاه بودن: تصمیم‌گیری شبکه قابل توضیح نیست. شفافیت (Explainability) همچنان یه چالش جدیه.

▫️پیچیدگی در آموزش: مسائلی مثل vanishing gradient یا انتخاب معماری درست، کار رو سخت می‌کنن.

▫️Overfitting: وقتی داده کافی یا متنوع نداشته باشی، مدل به جای یادگیری الگو، فقط داده‌ی آموزشی رو حفظ می‌کنه

What Are the Limitations of Neural Networks?

As powerful as they are, neural networks aren’t perfect:

▫️Data-hungry & compute-intensive: They need massive datasets and hardware (GPUs, TPUs) to train well

▫️Opaque “black box” nature: Often hard to understand how they reach a decision—explainability is a growing concern

▫️Training complexity: Deep or recurrent networks can suffer from problems like vanishing gradients, and setting up architectures and training regimes is non-trivial

▫️Overfitting & generalization risk: Without enough diverse data, models can learn “noise” instead of true patterns and fail on new data

🦴 @scopeofai | #concepts

🔗 منبع:
https://www.datacamp.com/blog/what-are-neural-networks

چرا شبکه‌های عصبی؟

🔬هوش مصنوعی مدرن روی دوش شبکه‌های عصبی بنا شده. اما قبل از اینکه تبدیل به موتور پشت LLMها و مدل‌های بینایی بشن، از چیزی خیلی ساده‌تر شروع شدن: تقلید ریاضی از مغز.

Why Neural Networks?

Modern AI is powered by neural networks. But before they became the engines behind LLMs and vision models, they started from something much simpler: a mathematical imitation of the brain. To appreciate the cutting-edge, we need to grasp the basics.

🦴 @scopeofai | #concepts

یک نورون دقیقاً چیکار می‌کنه؟

در زیست‌شناسی، نورون سیگنال‌ها رو دریافت می‌کنه، پردازش می‌کنه و اگه قوی باشن، خروجی می‌ده.
در شبکه عصبی هم همین اتفاق می‌افته:

1️⃣ورودی‌ها به شکل عدد میان.

2️⃣هر ورودی در یک وزن (اهمیت) ضرب می‌شه.

3️⃣همه با هم جمع می‌شن.

4️⃣یک بایاس هم اضافه می‌شه (برای تغییر نقطه حساسیت).

5️⃣ در نهایت، تابع فعال‌سازی تصمیم می‌گیره خروجی چی باشه.


این واحد ساده، آجر اولیه تمام مدل‌های غول‌پیکر امروزیه.

What Does a Neuron Actually Do?

In biology, a neuron receives signals through its dendrites, processes them, and fires an output if the signal is strong enough.
In neural networks, we mimic this:

1️⃣Inputs come in as numbers (features).

2️⃣Each input is multiplied by a weight (importance).

3️⃣All weighted inputs are added together.

4️⃣A bias is added (shifts the decision boundary).

5️⃣Finally, an activation function decides the output.

This simple unit is the foundation of everything from perceptrons to GPT-4.

🦴 @scopeofai | #concepts

شبکه عصبی چطور یاد می‌گیره؟

یادگیری یعنی تنظیم وزن‌ها و بایاس‌ها تا پیش‌بینی درست انجام بشه.

۱. ورودی وارد شبکه می‌شه.
۲. خروجی ساخته می‌شه.
۳. با جواب درست مقایسه می‌کنیم.
۴. خطا (loss) حساب می‌شه.
۵. وزن‌ها طوری تغییر می‌کنن که خطا کمتر بشه.

🌀این چرخه بارها تکرار می‌شه تا شبکه الگوها رو درست یاد بگیره.

How Does a Neural Network Learn?

Learning means adjusting weights and biases so that predictions match reality.

1-Input goes through the network.

2-Network produces an output.

3-Compare output with the correct answer (label).

4-Calculate the error (loss).

5-Update the weights to reduce that error.

🌀 Repeat this thousands (or millions) of times, and the network gradually internalizes patterns. This is called training.

🦴 @scopeofai | #concepts

وزن و بایاس؛ اهرم‌های پنهان

🔹وزن: اهمیت هر ورودی رو مشخص می‌کنه.

🔹بایاس: مثل یه ثابت عمل می‌کنه و کل تابع رو جابه‌جا می‌کنه.

بدون بایاس، شبکه‌ها قدرت انعطاف کمتری داشتن.

📣 فرض کن یک نورون داریم که ورودی‌ها رو می‌گیره، هر کدوم رو در وزن خودش ضرب می‌کنه و بعد جمع می‌کنه. بدون بایاس، خروجی نورون همیشه از صفر عبور می‌کنه وقتی همه ورودی‌ها صفر باشن یعنی شبکه محدود می‌شه و نمی‌تونه بعضی الگوها رو یاد بگیره.


وزن = قدرت تاثیر ورودی

بایاس = خط پایه یا نقطه شروع نورون

بدون بایاس، شبکه مجبور می‌شه خط پاسخ از مبدا (0,0) عبور کنه. با بایاس، می‌تونه این خط رو جابه‌جا کنه و هرجایی که لازمه تصمیم بگیره.

Weights and Biases — The Hidden Levers

Weight: Determines the importance of each input.

Bias: Acts like a constant that shifts the entire function.

Without bias, networks would have much less flexibility.
Think of weight as the volume knob, and bias as shifting the baseline level.

🔈 Imagine a neuron that takes inputs, multiplies each by its weight, and then sums them up. Without bias, the neuron’s output will always pass through zero when all inputs are zero. That limits the network and prevents it from learning certain patterns.

Weight = strength of influence of an input

Bias = the baseline or starting point of the neuron

Without bias, the network is forced to have its decision boundary pass through the origin (0,0). With bias, it can shift that boundary and make decisions wherever needed.

🦴 @scopeofai | #concepts

پس‌انتشار خطا (Backpropagation)؛ قلب یادگیری شبکه

برای اینکه شبکه عصبی یاد بگیره، باید بدونیم کدوم ورودی‌ها و وزن‌ها باعث خطا شدن و چقدر باید تغییر کنن.

اینجاست که پس‌انتشار خطا وارد می‌شه:

شبکه یه پیش‌بینی می‌کنه و ما خطا (فرق بین جواب واقعی و جواب شبکه) رو حساب می‌کنیم.

🗝 این خطا به تدریج از خروجی به سمت لایه‌های قبلی منتقل می‌شه تا مشخص بشه هر وزن چقدر مسئول خطاست.

حالا می‌تونیم هر وزن رو به اندازه سهمش در خطا تغییر بدیم.

📍 تصور کن شبکه مثل یه گروه آدمه که با هم پروژه‌ای انجام دادن. نتیجه نهایی اشتباه بود. پس همه به عقب نگاه می‌کنن و می‌فهمن هر کس چقدر تو اشتباه تاثیر داشت و بر اساس اون، کارش رو اصلاح می‌کنه.

پس‌انتشار خطا روشیه که باعث شد شبکه‌های عمیق و پیشرفته ممکن بشن، چون بدون اون نمی‌تونستیم لایه‌ها رو درست آموزش بدیم.

Backpropagation — The Real Breakthrough

Training requires knowing which weights to tweak and how much. That’s where backpropagation enters.

It’s essentially calculus at scale:

Compute the gradient of the loss function with respect to every weight.

🖇 Use the chain rule to propagate errors backward from output → hidden layers → input.

Update each parameter in proportion to its contribution to the error.

Backpropagation was the key innovation that unlocked deep learning in the 1980s. Without it, we wouldn’t have today’s AI revolution.

🦴 @scopeofai | #concepts