آیا LLM ها می توانند به اندازه پزشکان انسانی در تشخیص پزشکی موثر باشند؟

برای ساختن بهتر مدل‌های زبان بزرگ برای پزشکان با همترازی قوانین تشخیصی چکار میشه کرد؟

▪️ RuleAlign: Making Large Language Models Better Physicians with Diagnostic Rule Alignment

#ایده_جذاب #علوم_پزشکی

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

روزدفاع پایان نامه 😂
نظرتون چیه واگعیه یا کیک؟😂

#متفرقه

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

سیستمهای باینری چطور کار میکنن

مدل یا سامانه؟!

در پیاده‌سازی اپلیکیشن‌های مبتنی بر هوش مصنوعی دو رویکرد کلی وجود دارد:
۱. ساخت یک مدلِ End-to-End که صفر تا صد کار را از روی داده‌ی آموزشی، یادگرفته و در قالب یک مدلِ یک‌پارچه به انجام کار (Task) می‌پردازد.
۲. ساخت یک سامانه‌ی Compound AI که از اجزای مختلف از جمله مدل‌ها و ماژول‌ها و ابزارهای نرم‌افزاری مختلف تشکیل شده و در قالب یک سامانه‌ی ترکیبی،‌ به انجام کار می‌پردازد. این سامانه در حین انجام کار ممکن‌ست چندین بار، یک مدل مشخص را به‌شکل‌های مختلف فراخوانی کند.

روش اول ساده‌تر و تاحدی سریع‌ترست. پژوهشی موسوم به Scaling Laws هم نشان می‌دهد که با افزایش پیچیدگی محاسباتی مدل می‌توان به نتایج بهتری رسید. ازطرفی بهینه‌سازی کلیِ این روش ساده‌ست چون برخلافِ یک سامانه‌ی AI متشکل از اجرایی مثل موتور جستجو، همه‌ی اجزای یک مدل End-to-End مشتق‌پذیر و قابل‌بهینه‌سازی‌اند.

بااین‌حال، روندها نشان‌دهنده‌ی این‌اند که علاقه‌مندی بیشتر به‌سمت طراحی سامانه‌ها (System Design) و بهره‌گیری از ابزارها و روش‌های موجود در مهندسی‌ست. در زیر، شش دلیل برای این علاقه‌مندی آمده‌ست.

- وقتی از مدل‌ها استفاده می‌کنیم، هزینه‌ی تمام‌شده و دقت، مشخص و ثابت‌ست اما اپلیکیشن‌ها و بخش‌های مختلف آن‌ها، بسته به کاربرد، نیاز به دقت و هزینه‌ی متفاوت دارند. مثلا وقتی قرارست یک متن حقوقی دقیق نوشته شود، هزینه‌ی GPT-4o اصلا برای کاربر دغدغه نیست اما زمانی که اپلیکیشنی مثل GitHub Copilot قصد کمک به تکمیل کد برنامه‌نویس در هر خط را دارد، احتمالا استفاده از یک مدل ساده‌تر و ارزان‌تر مطلوب‌ترست.

- در بعضی از تسک‌ها (مثلا حل مسابقات برنامه‌نویسی)، افزایش جدی هزینه‌ی آموزش مدل (مثلا افزایش سه‌برابری)، باعث بهبود عملکرد مدل می‌شود ولی نه زیاد (مثلا دقت ۳۰ درصد می‌شه ۳۵ درصد) اما فقط با مهندسی‌ِ یک سامانه‌ی Compound AI ممکن‌ست بهبود بسیاری حاصل شود (مثلا ۸۰ درصد) - منبع

- مدل‌های ML (با وجود قابلیت Generalization) محدود به داده‌های آموزشی‌اند ولی اپلیکیشن‌های AI نیاز به پویایی دارند. استفاده از یک سامانه به‌جای یک مدل، امکان استفاده‌ی لحظه‌ای از جستجو و بازیابی به‌منظور دریافت اطلاعت جدید و دقیق را به اپلیکیشن اضافه می‌کند. با دسترسی مستقیم به مراجع خارجی در کنار دانش داخلیِ مدل، اپلیکیشن قابلیت شفافیت (Transparency) و تفسیرپذیری (Interpretability) بیشتری پیدا می‌کند که این قدم مهمی در راستای Trustworthy AI است.

- خیلی از داده‌ها را به‌علت رعایت مسايل مربوط به privacy و copyright و safety نمی‌توان موقع آموزش به مدل نشان داد. استفاده از سامانه‌های Compound AI به ما اجازه‌ی کنترل داده‌ها باتوجه به سطح دسترسی افراد (ACL) را می‌دهد. به‌این شکل اپلیکیشن در هنگام استفاده‌ی کودک به داده‌های مشخص‌تر و امن‌تری دسترسی دارد، فایل‌های شخصی افراد فقط براستفاده‌ی خودشان قابل بازیابی‌اند، برای دسترسی به بعضی از داده‌ها می‌توان حقوق مولف را درنظر گرفت و …

- مدل‌ها پتانسیل بالایی در تولید توهم (Hullucination) دارند. استفاده از ابزارهایی مثل Guardrails و Outlines و LMQL و SGLang در سامانه‌های AI، به ما اجازه‌ی ارزیابی، پایش و پالایش خروجی مدل را می‌دهند. این موضوع می‌تواند در کنترل سوگیری‌های اجتماعی (Social Bias) ازجمل سوگیری‌های سیاسی، نژادی، مذهبی و … کمک‌کننده باشد. پژوهش جدیدی نشان می‌دهد که بیش‌تر مدل‌های زبانی موجود (به‌‌علت سوگیری در داده‌های جمع‌آور‌ی‌شده از رسانه‌ها) ازنظر سیاسی چپ-‌گرا‌اند.

- با این‌که همه‌ی اجزای یک سامانه‌ی AI مشتق‌پذیر نیستند اما ابزارهایی مانند DSPy معرفی شده‌اند که به‌روش‌هایی سعی در بهینه‌کردن کل پایپ‌لاین سامانه به‌صورت End-to-End دارند.


مرجع: بخش‌های از نوشتار بالا از این بلاگ‌پست برداشت شده‌ست.

پیشنهادهای اهل فن ریسرچ توییتر برای color pallets حرفه‌ای و زیبایی‌شناسانه‌تر کتابخونه پرکاربرد matplotlib

https://x.com/MilesCranmer/status/1821965705929281604?t=lbCRqoCFzuX26joOSwuLKA&s=35

#پایتون

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

💥Long Short-Term Memory (LSTM) for Time Series

🎲 Applications of LSTMs in Time Series:

1. Stock price prediction: Forecasting future stock prices based on historical data.
2. Sales forecasting: Predicting future sales trends for products or services.
3. Weather forecasting: Predicting future weather patterns.
4. Energy demand forecasting: Predicting future energy demand.


🔗Kaggle Notebook Link: link

در پکیج Liger-Kernel که توسط لینکدین برای مدلهای LLM با هدف افزایش توان GPU ها تا 20درصد و کاهش مصرف حافظه تا 60درصد تهیه شده است فقط میتوان با یک خط کد به سطح بهینه ای با این ابزار رسید . به نظرم میشه با سیستمهای شخصی ترین کرد و به نتایج قابل قبولتری رسید و حتی میتوان روی سیستمهای قدرتمندی با هدف افزایش پتانسیل و سرعت مورد استفاده قرارداد.

◾️ GitHub

#پایتون #هوش_مصنوعی

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

تایم کات این رفاقت رو باید فهمید تایم خداحافظی رو باید فهمید به موقع باید خداحافظی کرد با احترام باید خداحافظی کرد با خوشحالی باید خداحافظی کرد تایم ی رفاقتی اینقد بوده....

هرکسی تویتر داره میتونیم همدیگه دنبال کنیم بیایین همدیگه رو دنبال کنیم
https://x.com/farzadhss

لینکدین من
https://www.linkedin.com/in/farzad-hassanvand-218484a4

بصری‌سازی سری‌های زمانی: از داده خام تا بینش‌های عمیق

کگل نوت‌بوک: لينك

داده‌های سری زمانی، که نشان‌دهنده یک توالی از نقاط داده‌ای است که در طول زمان جمع‌آوری شده‌اند، در زمینه‌های مختلفی مانند مالی، بهداشت، هواشناسی و اقتصاد کاربرد دارند. بصری‌سازی مؤثر این داده‌ها می‌تواند الگوها، روندها و ناهنجاری‌های پنهان را آشکار کند. در این پست وبلاگ، به بررسی برخی از رایج‌ترین و مؤثرترین تکنیک‌های بصری‌سازی سری‌های زمانی با استفاده از کتابخانه‌های محبوب پایتون، یعنی Matplotlib و Seaborn، می‌پردازیم.

📈📉درک داده‌های سری زمانی

1. وابستگی زمانی:ترتیب نقاط داده‌ای اهمیت دارد. مقادیر در نقاط زمانی اولیه می‌توانند بر مقادیر در نقاط زمانی بعدی تأثیر بگذارند.
2. ایستایی:یک سری زمانی ایستا است اگر ویژگی‌های آماری آن (میانگین، واریانس، خودهمبستگی) در طول زمان ثابت بماند. سری‌های زمانی غیرایستا اغلب قبل از تحلیل و بصری‌سازی نیاز به تبدیل (مانند تفاوت‌گیری) دارند.



#TimeSeries
👁️‍🗨️@Recomendersystem2023

در هفته ای ک گذشت چه مقالاتی در رشته علوم پزشکی منتشر شد:

◾️ Medical MLLM is Vulnerable: Cross-Modality Jailbreak and Mismatched Attacks on Medical Multimodal Large Language Models
◾️ LLMs are not Zero-Shot Reasoners for Biomedical Information Extraction
◾️ RuleAlign: Making Large Language Models Better Physicians with Diagnostic Rule Alignment
◾️ CTP-LLM: Clinical Trial Phase Transition Prediction Using Large Language Models
◾️ Hibou: A Family of Foundational Vision Transformers for Pathology
◾️ LLaVA-Surg: Towards Multimodal Surgical Assistant via Structured Surgical Video Learning
◾️ MEDCO: Medical Education Copilots Based on A Multi-Agent Framework
◾️ Clinical Insights: A Comprehensive Review of Language Models in Medicine
◾️ FEDKIM: Adaptive Federated Knowledge Injection into Medical Foundation Models
◾️ MSDiagnosis: An EMR-based Dataset for Clinical Multi-Step Diagnosis

#ایده_جذاب #علوم_پزشکی #مقاله

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

دوشنبه رو با اهنگ دلنشینی شروع کنیم

#متفرقه

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

تعدادی مقاله #هوش_مصنوعی جالب رو میتونین موضوعات رو دنبال کنید

◾️ Transfusion: Predict the Next Token and Diffuse Images with One Multi-Modal Model
◾️ To Code, or Not To Code? Exploring Impact of Code in Pre-training
◾️ Automated Design of Agentic Systems
◾️ LLM Pruning and Distillation in Practice: The Minitron Approach
◾️ Transformers to SSMs: Distilling Quadratic Knowledge to Subquadratic Models

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

این ویدئو باحاله. میاد تمام مکانیزم Feed Forward توی یه شبکه‌ی عصبی چند لایه(MLP) رو با دست و روی کاغذ جلو می‌بره و تمام محاسبات رو هم انجام می‌ده.

#video
#learning
#ML

@lifeAsAService

بسیاری از ماها که در #هوش_مصنوعی فعالیت میکنیم و سرعت انتشار مدلهای متن باز هر روز داره بیشتر میشه و میخواییم سهم کوچک خودمون رو برای زبان فارسی انجام بدیم اما با کمبود مدلهای فاین توین شده و ترین کردن طرف بودیم و الان تیمی قوی از دوستانی حرفه ای و کاربلد این کارو انجام دادند اینجا میتونین داستان اینکه چطوری بزرگترین مدل زبان فارسی منتشر شده رو بخونین و از parsbench استفاده کنید.
https://hooshio.com/parsbench-persian-llms/

https://github.com/ParsBench/ParsBench

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

چون دوسش داشتم

#متفرقه

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

آیا VLM ها می توانند اشعه ایکس قفسه سینه واقع گرایانه را از توضیحات متن تولید کنند؟

▪️ A vision-language foundation model for generating realistic chest X-rays from text prompts

#علوم_پزشکی #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

Building Robust NLP Models with Data augmentaion

#کتاب #پردازش_زبان_طبیعی #الگوریتمها
#book

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person