PyTorch Howsam
3K subscribers
336 photos
48 videos
5 files
472 links
از هوش مصنوعی میگیم...

ارتباط با ادمین
@howsam_support
Download Telegram
The AI CUDA Engineer:
Agentic CUDA Kernel Discovery, Optimization and Composition

مهندس CUDA مبتنی بر هوش مصنوعی قادر است کرنل‌های CUDA با بهره‌وری بالا تولید کند و سرعت اجرای عملیات یادگیری ماشین در PyTorch را ۱۰ تا ۱۰۰ برابر افزایش دهد. این سیستم کرنل‌های CUDA بسیار بهینه‌تری نسبت به کرنل‌های رایج تولیدی در صنعت ارائه می‌دهد.
چند ساعتی از انتشار (با محدودیت زمانی) Grok-3 میگذره

مسئله پریمیوم Strobogrammatic Number III لیت کد رو بهش دادم و تست کردم
چیزی که chatgpt حل کرد ، همون بار اول مسئله و ساختار حل مسئله رو درک کرد و توی کلاس Solution ، بدون خطا ، درست و بهینه حل کرد.
اما Grok زد به جاده خاکی و ساختار مسئله رو درست متوجه نشد مثل DeepSeek
در ادامه ی چت با Grok و DeepSeek ساختار اولیه کلاس مسئله رو ارسال کردم :
class Solution:
def strobogrammaticInRange(self, low: str, high: str) -> int:


این بار Grok ساختار مسئله رو شناخت ، اما اشتباه حل کرد.
از طرفی DeepSeek هم ساختار رو فهمید و هم بهینه حل کرد.
PyTorch Howsam
دو روزی از Qwen2.5-Max مدل جدید علی بابا میگذره یه تستی از قابلیت هاش گرفتم میشه از نظر مقایسه فنی در کنار claude گذاشت. ازش خواستم : (پرامپت) create a frontend for a modern note taking app (miro). make it so that you can add sticky notes. ایجاد رابط کاربری…
هفته های گذشته این پرامپت رو با Qwen تست کرده بودم ک خروجی قابل قبولی داشت.

create a frontend for a modern note taking app (miro).
make it so that you can add sticky notes.

اینبار با Grok تست کردم:
یک نکته اینکه از نظر فنی، خود پلتفرم هنوز کار داره و قابلیت اجرای لایو رو نداره و همچنین ارسال فایل.
نکته ی بعدی در این تست، تولید کد، بسیار افتضاح بود در حد GPT 3.5 میشه قبول کرد.

بیشتر به نظر میاد آمارها Fake باشه!
Trae - Adaptive AI IDE that helps you ship faster 🤟🏻

- Be the first to try Trae and enjoy the completely "Free 💰" option among powerful AI coding tools now.

What is Trae?
Trae is an adaptive AI IDE that transforms how you work, collaborating with you to run faster.

Collaboration = You & Trae 🔥

Builder :
Chat to build a project faster

Multimodality :
Upload images to clarify requirements

Context :
Get better results with full context

Autocomplete :
Boost efficiency with smart completion

Product-Hunt
مهندسی، ... ! ... ! ...
فراتر از یک رشته دانشگاهی، بلکه یک طرز فکر است.
طرز فکری که به دنبال حل مشکلات، بهبود شرایط و ساختن آینده‌ای بهتر است.
در روز مهندس، باید قدردان تمامی متخصصانی باشیم که با تعهد و خلاقیت، دنیا را به جای بهتری تبدیل می‌کنند.
این مسیر شاید چالش‌برانگیز باشد، اما برای کسانی که عاشق نوآوری و خلق راه‌حل‌های جدید هستند، هیچ لذتی بالاتر از این نیست که تأثیر کارشان را در دنیای واقعی ببینند.

مهندسان هوش مصنوعی، با طراحی الگوریتم‌های هوشمند، ماشین‌ها را قادر می‌سازند که همانند انسان بیاموزند، تصمیم بگیرند و به طور مستقل عمل کنند.
امروزه این فناوری در پزشکی، خودروهای خودران، پردازش زبان طبیعی و بسیاری از صنایع دیگر تحول‌آفرین بوده است.

تحلیل‌گران داده با بررسی حجم عظیمی از اطلاعات، الگوهای پنهان را کشف می‌کنند و مسیر تصمیم‌گیری‌های استراتژیک را هموار می‌سازند.
آن‌ها معماران دنیای مبتنی بر داده هستند که با پیش‌بینی روندها، به کسب‌وکارها و سازمان‌ها در اتخاذ بهترین تصمیمات کمک می‌کنند.

ولی بیاید روراست باشیم 🤠
این مسیر آسون نیست. کلی شب‌بیداری، کلی دیباگ کردن، کلی کلنجار رفتن با کدهایی که معلوم نیست چرا اجرا نمی‌شن!
اما اون لحظه‌ای که بالاخره یه مشکل رو حل می‌کنی، اون حس پیروزی، یه چیزی تو مایه‌های فتح قله اورسته 😄
همینه که مهندسی رو خاص می‌کنه؛ چالش، هیجان، خلاقیت و ساختن آینده!

پس، امروز به خودتون افتخار کنید 💪🏻
شما فقط مهندس نیستید، شما آینده‌سازید 😍
دنیا به شما نیاز داره، به ایده‌هاتون، به کدهاتون، به هوشتون!

روزتون مبارک، قهرمان‌های دیجیتالی ❤️
"گاد" منتشر کرد 🤠 (گروه آموزشی دیپسیک)

آزمایشگاه DeepSeek AI، که توسط High-Flyer حمایت می‌شود، FlashMLA را معرفی کرده است.

یک هستهٔ رمزگشایی فوق سریع که برای پردازنده‌های گرافیکی Hopper بهینه‌سازی شده است.
این فناوری که برای توالی‌های با طول متغیر طراحی شده، سرعت حافظه ۳۰۰۰ گیگابایت بر ثانیه و توان پردازشی ۵۸۰ ترافلاپس را روی پردازنده‌های H800 ارائه می‌دهد. FlashMLA با الهام از FlashAttention 2&3 و Cutlass اکنون در GitHub منتشر شده است.

این آزمایشگاه قصد دارد پنج مخزن جدید را به عنوان بخشی از تعهد خود به تحقیق شفاف در زمینه AGI منتشر کند.
تیم DeepSeek تاکنون ۱۴ مدل متن‌باز را در Hugging Face عرضه کرده است، که عملکرد پیشرفتهٔ هوش مصنوعی را با هزینه‌ای به‌مراتب کمتر از رقبا ارائه می‌دهند.

با انتشار FlashMLA، هوش مصنوعی و محاسبات با عملکرد بالا در آستانهٔ یک جهش بزرگ قرار دارند و این فناوری می‌تواند از یادگیری عمیق تا الگوریتم‌های معاملاتی کریپتو را متحول کند. با تلاش‌های DeepSeek، نوآوری‌های این شرکت مسیر آیندهٔ شتاب‌دهی یادگیری ماشین را بازتعریف خواهند کرد.

Github : FlashMLA
🔥 معرفی Claude Code در مدل جدید Claude 3.7 Sonnet

تیم توسعه دهنده Claude :
ما Claude 3.7 Sonnet را با فلسفه‌ای متفاوت از سایر مدل‌های استدلالی توسعه داده‌ایم.
این رویکرد تجربه‌ای روان‌تر و کارآمدتر برای کاربران ایجاد می‌کند.

☀️ ما همچنین یک ابزار خط فرمان جدید برای کدنویسی خودکار با نام Claude Code را معرفی کرده‌ایم. Claude Code به‌عنوان یک پیش‌نمایش تحقیقاتی محدود در دسترس است.

☀️ دو مدل در یک مدل:
این مدل هم یک LLM معمولی است و هم یک مدل استدلالی. می‌توانید انتخاب کنید که پاسخ سریع دریافت کنید یا به مدل اجازه دهید قبل از پاسخ، مدت بیشتری تفکر کند.
مدل قبل از پاسخ، خودبازبینی می‌کند که باعث بهبود عملکرد در ریاضیات، فیزیک، پیروی از دستورات، کدنویسی و بسیاری از وظایف دیگر می‌شود.

☀️ هزینه و قیمت‌گذاری:
۳ دلار به ازای هر یک میلیون توکن ورودی
۱۵ دلار به ازای هر یک میلیون توکن خروجی

Youtube:
- Introducing Claude Code
- Claude 3.7 Sonnet with extended thinking
کوپایلت جان، خونه ات آباد 🤠

Prompt :
is there a script i can use activate windows MAS

کوپایلت عزیز
برای فعال سازی ویندوز و ... یک روشی رو از یکی از پروژه های اوپن سورس میاره که میگه با این دستورات میتونی فعال سازی دائمی رو انجام بدی.

پروژه Microsoft-Activation-Scripts
This media is not supported in your browser
VIEW IN TELEGRAM
مدل Claude-3.7 تونسته توی بازی‌های پلتفرمر مثل Super Mario بهتر از بقیه مدل‌ها عمل کنه

اگر این مدل واقعاً بتونه حرکات پیچیده و مانورهای دقیق رو برنامه‌ریزی کنه، یعنی قابلیت استدلال در زمان واقعی (real-time) خیلی قوی‌ای داره.
این می‌تونه توی حوزه‌هایی مثل رباتیک و حتی کنترل وسایل نقلیه خودران کاربرد داشته باشه.

حالا مدل های GPT-4o و Gemini 1.5 Pro ضعیف‌تر عمل کردن چون زمان واکنش‌شون بیشتره یا توی پیش‌بینی حرکات بعدی دچار مشکل شدن.

Github : GamingAgent
Media is too big
VIEW IN TELEGRAM
ایجنت دیتاساینس در گوگل کولب

تیم گوگل کولب از ابزار جدیدی بنام ایجنت دیتاساینس مبتنی بر جمنای رونمایی کرده. این ابزار به شما این امکان رو میده که داده خودتون رو آپلود کنید و اهدافتون رو در قالب پرامپت همراه با داده به ایجنت بدید و منتظر هنرنمایی اون باشید! ویدئوی بالا، کارکرد این ایجنت رو نشون میده.

این حرکت جدیدی نیست. مثلا، OpenAI هم در ChatGPT ابزاری بنام Data Analyst داره که داده رو آنالیز میکنه. اما، این روند جالب هست؛ به نظر من، ما از کدنویسی با هوش مصنوعی گذر کردیم و به مرحله انجام پروژه با هوش مصنوعی رسیدیم. این مجموعه تحلیل‌هایی که ایجنت هوش مصنوعی انجام داده (حتی اگر ناقص باشه)، برای انسان خیلی طول میکشه. آیا این نگران‌کننده هست؟ ترجیح میدم به فرصت‌های ایجاد شده فکر کنم. این روزها من پیشنهادهای زیادی برای ساختن ایجنت و اجرای پروژه‌های هوش مصنوعی می‌گیرم.
This media is not supported in your browser
VIEW IN TELEGRAM
این هفته توی کورس یادگیری ماشین که برای یه شرکت برگزار می‌کنیم، قراره درباره یادگیری بدون ناظر (کاهش بُعد و خوشه‌بندی) صحبت کنیم. گفتم یه توضیح ساده درباره خوشه‌بندی اینجا بدم.

روش‌های مختلفی برای خوشه‌بندی وجود داره؛ مثلا K-Means که احتمالا خیلیا باهاش آشنا هستن. ولی این روش اصلا به شکل و توزیع داده‌ها کاری نداره و فقط بر اساس فاصله داده‌ها رو خوشه‌بندی می‌کنه.

در عوض، یه روش دیگه به اسم DBSCAN داریم که خوشه‌بندی رو بر اساس چگالی داده‌ها انجام میده و برخلاف K-Means، به شکل و پخش شدن داده‌ها هم توجه می‌کنه.

انیمیشنی که بالا گذاشتم، خیلی خوب نشون میده که DBSCAN چطوری داده‌ها رو خوشه‌بندی می‌کنه. کاری که K-Means نمی‌تونه انجام بده.
یک مقاله مهم منتشر شده! بین نویسندگان مقاله، نام Yann Lecun و Kaiming He دیده میشه! 😳

عنوان مقاله این هست:
Transformers without Normalization


توی این مقاله پیشنهاد شده که بجای لایه نرمالیزیشن از تابع تانژانت مقیاس‌یافته استفاده بشه. تصویری پیوستی رو ببینید.

این ایده روی مدل‌های مختلف ترنسفورمر در ویژن، nlp، صوت و غیره تست شده.

نکته مهم این هست که این ایده باعث بهبود سرعت مدل در آموزش و اینفرنس میشه. مثلا، اینفرنس مدل Llama 7B حدودا 7.8% بهبود سرعت داشته.

احتمالا این ایده به زودی در بسیاری از مدل‌ها استفاده بشه. باید بخونیمش امیررضا! :)

مقاله | کد | رشتو
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
یکی از دوستان در لینکدین این ویدئو رو گذاشته بود! لینک
اگه در یک سال گذشته مطالب کانال رو دنبال کرده باشید، حتما دیدید که مطالب زیادی درباره مدل‌های زبانی بزرگ (LLM) گذاشتم؛ از مطالعه مقاله‌ها و کتاب‌ها در این کانال نوشتم. همچنین، با دستیارم توی آکادمی هوسم کلی وقت گذاشتیم، تحقیق کردیم و کد زدیم.

خیلی دوست داشتم در این راستا در هوسم محتوای آموزشی خوب و باکیفیت تولید کنیم. دوره‌های زیادی برای LLM با رویکردهای مختلف طراحی کردیم. یکی از این دوره‌ها به انسجام خوبی رسیده و می‌خوایم در هفته دوم عید برگزار کنیم.

دوره آموزش ساخت ChatGPT از صفر با پایتورچ


ساخت ChatGPT از صفر با پایتورچ، دوره‌ای هست که به شما یاد میده چطوری به کمک پایتورچ یک مدل LLM بسازید، روی یک دیتاست خوب آموزش بدید و فاین-تیون کنید. همه بخش‌ها رو به صورت گام به گام در ویدئوها کد می‌زنم و شما هم می‌تونید همراه من کد بزنید. با مطالبی که جمع‌آوری و آماده شده معتقدم آموزش خوبی خواهد شد.

این دوره حدودا 15 ساعت آموزش عملی هست و در هفته دوم عید شروع میشه. اگه دوست دارید به صورت عملی یک LLM رو از صفر بسازید و آموزش بدید، این دوره برای شما مناسب هست. این دوره، یکسری بخش‌های پریمیوم هم داره که درصورت استقبال از دوره ضبط میشن.

در لینک زیر اطلاعات جامعی درباره دوره قرار دادیم. ویدئوی معرفی دوره رو ببینید و توضیحات رو با دقت بخونید. اگه دوست داشتید، ثبت‌نام کنید. 🙂

صفحه دوره ساخت ChatGPT از صفر با پایتورچ

ارادتمند،
اشرفی
Please open Telegram to view this post
VIEW IN TELEGRAM
دوره ChatGPT رو می‌خوام با کولب پیش ببرم که همه بتونن ازش استفاده کنن. اما، می‌خوام برای یک قسمت سخت‌افزار اجاره کنم که بشه برای طولانی‌مدت مدل رو آموزش داد. شایدم سایز مدل و دیتا رو افزایش بدم. از طرفی این پروسه هم آموزنده هست. گوگل کردم runpod، بعد یک نکته جالب دیدم! سایت runpod.io سخت‌افزار GPU اجاره میده ولی یه سایت دیگه هم بنام runpod.ie وجود داره که لوازم و لباس ورزشی میفروشه! 😄

از این نکته که بگذریم؛ GPU-های رده بالایی که توی runpod در دسترس هستن واقعا هیجان‌انگیزن! H200 H100 A100. هر سه اینها آپشن‌های خوبی برای آموزش مدل هستن. ولی H100 و H200 برای کار یادگیری ماشین و ترنسفورمرها بهینه شدن. عملکرد بهتری نسبت به A100 دارن. نمودار بالا سمت چپ هم عملکرد دو GPU روی GPT-3 175B پارامتری رو نشون میده. VRAM بالایی هم دارن! توی runpod هزینه اجارشون ساعتی 2 تا 3 دلار هست.
Please open Telegram to view this post
VIEW IN TELEGRAM
1742505397632.pdf
650.3 KB
پیام زیر برگرفته از امیررضا در لینکدین:

دوستان سلام ، سال نو مبارک 🌼🌻🌿🌱
خوش حالم اعلام کنم که اخیراً یک هندبوک ساده و جمع و جور درباره استفاده از معماری‌های ترنسفورمر برای پیش‌بینی سری‌های زمانی رو آماده کردم.

این کتابچه راهنما اصول اولیه مدل‌های ترنسفورمر برای داده‌های سری زمانی، رویکردهای معماری مختلف، و پیاده‌سازی‌های عملی در PyTorch رو پوشش می‌ده. محتوای این کتابچه به گونه‌ای طراحی شده که هم برای پژوهشگران و هم متخصصان حوزه‌های مختلف که با داده‌های سری زمانی کار می‌کنند، مفید باشه‌.

از آنجایی که این نسخه اولیه 0.0.1 هست، از هرگونه بازخورد یا پیشنهاد برای بهبود نسخه‌های آینده استقبال می‌کنم.
توی لینک زیر، می‌تونید عملکرد GPU-ها برای اجرای LLM-ها رو باهم مقایسه کنید:
https://www.runpod.io/compare/h100sxm-vs-4090

به درد زمانی میخوره که بخواید GPU اجاره کنید. بنچ‌مارک هم توسط runpod ارائه شده که خودش GPU اجاره میده.
PyTorch Howsam
اگه در یک سال گذشته مطالب کانال رو دنبال کرده باشید، حتما دیدید که مطالب زیادی درباره مدل‌های زبانی بزرگ (LLM) گذاشتم؛ از مطالعه مقاله‌ها و کتاب‌ها در این کانال نوشتم. همچنین، با دستیارم توی آکادمی هوسم کلی وقت گذاشتیم، تحقیق کردیم و کد زدیم. خیلی دوست…
امروز، یک بخش از دوره ChatGPT منتشر شد. دوست داشتم کاری کنم افرادی که در دوره ثبت‌نام نکردن هم با سناریوی دوره همراه بشن. به همین خاطر، از بخش معرفی دوره، چهار ویدئوی مهم رو رایگان منتشر کردیم. این چهار ویدئو شامل معرفی دوره، سناریوی دوره، بررسی دیتاست در هاگینگ‌فیس و کار با دیتاست هست.

اگه نمی‌خواید دوره رو تهیه کنید، ولی محتوای دوره رو دوست دارید، این ویدئوها رو ببینید و تلاش کنید خودتون این سناریو رو تا آخر برید. رفرنس‌ها مشخص هست و کدهای دوره هم به مرور در گیتهاب قرار میگیره و در دسترس همه هست. اگه هم دوره رو تهیه نکردید، به این دلیل که مطمئن نبودید، دیدن این ویدئوها ممکن هست کمکتون کنه که تصمیم مطمئن‌تری بگیرید.

برای دیدن این چهار ویدئو به بخش فهرست مطالب لینک زیر مراجعه کنید:
لینک صفحه دوره

برای دیدن ریپوی دوره که فعلا یک نوتبوک ازش منتشر شده به لینک زیر مراجعه کنید:
لینک ریپوی دوره
مقایسه زمانی BPE Tokenizer روی دو کتابخونه Hugging Face Tokenizers و OpenAI TikToken روی ولیدیشن دیتاست تاینی‌استوریز:

dataset = load_dataset("roneneldan/TinyStories")
texts = dataset["validation"]["text"]

# Load the GPT-2 tokenizer for both libraries
tiktokenizer = tiktoken.get_encoding("gpt2") # tiktoken
hf_tokenizer = Tokenizer.from_pretrained("gpt2") # Hugging Face tokenizers

# Measure tiktoken speed
start_time = time.time()
tiktoken_results = [tiktokenizer.encode(text) for text in texts]
tiktoken_time = time.time() - start_time

# Measure tokenizers speed
start_time = time.time()
hf_results = [hf_tokenizer.encode(text).ids for text in texts]
hf_time = time.time() - start_time

# Print results
print(f"tiktoken Time: {tiktoken_time:.4f} seconds")
print(f"tokenizers Time: {hf_time:.4f} seconds")

tiktoken Time: 2.6481 seconds
tokenizers Time: 16.7744 seconds
آقای دکتر Christof Henkel پژوهشگر ارشد در شرکت NVIDIA و یکی از معدود افرادی در دنیاست که موفق به کسب عنوان Triple Grandmaster در پلتفرم Kaggle شده؛ یعنی، او هم در بخش رقابت‌ها، هم نوت‌بوک‌ها و هم بحث‌های فنی، جزو برترین‌هاست. او هم‌اکنون رتبه یک Kaggle هست.

او در توییتی، بخشی از تجربه شخصیش از مسیر سخت و طولانی تبدیل شدن به یکی از برترین‌های Kaggle رو به اشتراک گذاشته؛ متنی الهام‌بخش برای هر کسی که در مسیر رشد و یادگیری هست. در ادامه، این نوشته رو براتون نقل می‌کنم:

چرا فقط ۳۶۲ نفر در دنیا عنوان Grandmaster رقابت‌های Kaggle رو دارن؟
دلیلش ساده هست: چون رسیدن به این سطح، نیاز به تجربه‌ای دیوانه‌وار و تلاشی بی‌پایان داره. حتی با داشتن دکترای ریاضی، من بیش از ۴۰۰۰ ساعت وقت صرف کردم تا Grandmaster بشم. برای بردن اولین رقابت، ۲۰۰۰ ساعت دیگه لازم بود؛ و برای رسیدن به رتبه اول کلی در Kaggle، باید بیش از 10000 ساعت تلاش می‌کردم.

وقتی اولین بار در Kaggle شروع کردم، فکر می‌کردم مدرک دکترایم یک مزیت بزرگ هست. اما واقعیت رو خیلی زود فهمیدم: تجربه بر تئوری برتری داره. فقط برای رسیدن به سطح گرندمستر، ۴۰۰۰ ساعت وقت گذاشتم.

اولین برد در یک رقابت؟
باید ۲۰۰۰ ساعت دیگه تلاش می‌کردم. موفقیت از دل کتاب‌ها بیرون نمیاد، از دل تمرین مستمر، آزمون و خطا، و یاد گرفتن از ریزترین اشتباهات به دست میاد.

رسیدن به رتبه اول جدول کلی Kaggle؟
بیش از ۱۰000 ساعت زمان برد. سال‌ها رقابت، شب‌های بی‌خوابی، ایده‌هایی که شکست می‌خوردند و تکرار و تکرار. نه میان‌بری بود، نه راز خاصی. فقط زمان و استمرار (Consistency).

اگه آرزو داری در هر زمینه‌ای پیشرفت کنی (چه علم داده، چه Kaggle یا حتی زندگی) این رو فراموش نکن:
🧠 استعداد خوبه.
📚 دانش خوبه.
اما هیچ چیز جای تجربه و استمرار بی‌وقفه رو نمی‌گیرد.

اگر تازه وارد دنیای Kaggle شدی:
🔍 تمرکزت رو روی یادگیری بگذار، نه صرفا بردن.
🧠 راه‌حل‌های برتر رو عمیق بررسی کن.
🤝 با دیگران همکاری کن.

نتایج خواهند اومد، به شرطی که اونقدر بمونی که شاهدشون باشی.