در این مقاله به این سوال جواب دادند:

Finetuning vs prompting?

🔸 The Power of Scale for Parameter-Efficient Prompt Tuning

#مقاله

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind

در ادامه راجب مقاله زیر صحبت شده است و در پایان جوابی برای این صحبت یک مقاله معرفی کرده ام

🔸 SegGPT: Segmenting Everything In Context
https://arxiv.org/abs/2304.03284

نکته دیگه مقاله مایکروسافت اینه که:
نه تنها متن، نه تنها صوت، نه تنها نشانه، بلکه ترکیب اینها رو هم میتونید استفاده کنید.
یعنی یک درک کاملا مالتی مودال (از انواع ورودی) رو میتونید ترکیب کنید.
آینده این کار شاید چند سال دیگه می‌تونه این باشه که بهش با صوت توضیح بدید و بتونه بدون اینکه صوت رو تبدیل به متن کنه، مستقیم اون رو درک کنه و انجام بده.
از این بعد هم این یک نوآوری بسیار خوب هست برای کارشون.
تو اکثر این مدلهای جدید سگمنتیشن یه نکته ای نهفته است:
اینا میتونن وقتی یه مثال بهشون بدی، بقیه چیزهای مشابه اون رو پیدا کنند، مثلا توپ رو علامت بزنی بقیه اشو پیدا میکنه، یا مثلا یه درخت رو علامت بزنی بقیه رو پیدا می‌کنه. لازم هم نیست کلش رو علامت بزنین، یه تیکه از اون رو علامت بزنین پیدا می‌کنه.

حالا نکته اش چیه؟
۱.خیلی راحت با اینها میشه دیتا لیبل زد.
۲. یه روشی که نسبتا کار می‌کنه رو‌با اینها ادغام کرد.
۳. از یک چیز ساده شروع کرد و بقیه رو پیدا کرد.
۴. میتونن برای درک تصویر بدرد بخورند. درک تصویر یعنی اینکه من یک تصویر دارم، از این تصویر میتونم المان های مختلف اون رو در بیارم و روشون کار کنم. مثلا همین روش ControlNet رو با ترکیب همین استفاده کردند و جواب بهتری می‌گیرند برای حفظ برخی المان ها و تغییر مثلا پس زمینه و یا هرچی دیگه ای.
به عبارتی میشه سیستم های اینتراکتیو زیادی باهاشون درست کرد.
مثل این فیلمهای علمی تخیلی که یک چیزی رو انتخاب میکنه، همون رو تو کل فیلم دوربین مثلا پیدا می‌کنه و ....
خلاصه خیلی کارها میشه با اینها انجام داد. روشهای قبلی پردازش تصویر تو این حوزه رو به عبارتی دگرگون کردند.
🔸 در جواب پست منتشر شده در پیج دکتر عسگری


⚡️ در این مقاله چنین کاری انجام شده است
🧳 What does CLIP know about a red circle? Visual prompt engineering for VLMS

#مقاله #ایده_جذاب


🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind

تکنیک خفن براتون معرفی کنم😁
با GPT که آشنایی دارید؟ GPT4 هم که پولیه وبه نت هم دسترسی نداره
حالا شما میری سایت phind.com‎ و پرسش برنامه‌نویسی ات رو می‌نویسی اماااا می تونی بهش بگی که برای جواب فلان documentation رو نگاه کن یا فلان repo رواسکن کن!
منابعی که باید نگاه کنه رو بهش میدی یا مشخصا معلوم میکنی منظورت چیه بعد بهت جواب میده
مزیتش بر ChatGPT:
- رفرنس‌ها رو ارائه میده
- پرسش‌های follow up رو خودش ایجاد می‌کنه
- سه حالت expert, concise, creative داره که expert برای سوالای فنی و کُد مناسب تره
- از IP ایران میشه بهش وصل شد.

#خبر #برنامه_نویسی #هوش_مصنوعی

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind

انتشار اکستنشن chatGPT برای IPython

IPython-GPT - a Jupyter/IPython interface to ChatGPT

Very promising extension to chat with ChatGPT directly from your Jupyter Notebook or IPython shell.

https://github.com/santiagobasulto/ipython-gpt

#خبر #هوش_مصنوعی #برنامه_نویسی

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind

شرکت Flawless AI که در حوزه‌ی هوش مصنوعی فعالیت می‌کند، ابزاری هیجان‌انگیز برای تغییر دیالوگ فیلم‌ و سریال با عملکردی کم‌نقص توسعه داده است. ⠀
ابزار جدید Flawless AI که TrueSync نام دارد مبتنی‌ بر سیستم‌های هوش مصنوعی مولد است و به ادعای این شرکت انقلابی در صنعت فیلم سازی خواهد بود.

ابزار هوش مصنوعی TrueSync به سادگی دیالوگ فیلم های سینمایی را تغییر میدهد. این ابزار جایزه‌ی "بهترین نوآوری سال "مجله تایم را دریافت کرده است، میتواند درجه سنی فیلم ها را نیز تغییر داد.

#خبر #برنامه_نویسی #هوش_مصنوعی

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind

Deep Reinforcement Learning and the Entity Neural Network (ENN) project! It's all about making RL easier to apply in complex simulated environments. Check it out:
https://clemenswinter.com/2023/04/14/entity-based-reinforcement-learning/

Deep Reinforcement Learning and the Entity Neural Network (ENN) project! It's all about making RL easier to apply in complex simulated environments.

The main hurdle for broader RL adoption is the lack of user-friendly tooling and infrastructure. ENN aims to bridge this gap with libraries that cut down on engineering effort, computational cost, and required expertise.Meet the enn-trainer RL framework! It integrates smoothly with complex simulators without the need for custom training code or network architectures.

It's never been this simple to implement RL in your projects.Here's something cool: RL agents produced by enn-trainer can run in real-time on a CPU inside web browsers! This opens up new possibilities for RL applications on the web. https://cswinter.github.io/bevy-starfighter/

#مقاله

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind

ChatGPT Beyond English: Towards a Comprehensive Evaluation of Large Language Models in Multilingual Learning

abs: arxiv.org/abs/2304.05613

ده #ایده_جذاب که در هفته گذشته منتشر شد.

🔸 Segment Anything
▪️ presents a set of resources to establish foundational models for image segmentation; releases the largest segmentation dataset with over 1 billion masks on 11M licensed images; the model’s zero-shot performance is competitive with or even superior to fully supervised results.

🔸 Instruction Tuning with GPT-4
▪️ presents GPT-4-LLM, a "first attempt" to use GPT-4 to generate instruction-following data for LLM fine-tuning; the dataset is released and includes 52K unique English and Chinese instruction-following data; the dataset is used to instruction-tune LLaMA models which leads to superior zero-shot performance on new tasks.

🔸 Eight Things to Know about Large Language Models
▪️ discusses important considerations regarding the capabilities and limitations of LLMs.

🔸 A Survey of Large Language Models
▪️ a new 50 pages survey on large language models.

🔸 Baize: An Open-Source Chat Model with Parameter-Efficient Tuning on Self-Chat Data
▪️ an open-source chat model fine-tuned with LoRA. Leverages 100K dialogs generated from ChatGPT chatting with itself; it releases the dialogs along with 7B, 13B, and 30B parameter models.

🔸 Do the Rewards Justify the Means? Measuring Trade-Offs Between Rewards and Ethical Behavior in the MACHIAVELLI Benchmark
▪️ a new benchmark of 134 text-based Choose-Your-Own-Adventure games to evaluate the capabilities and unethical behaviors of LLMs.

🔸 Better Language Models of Code through Self-Improvement
▪️ generates pseudo data from knowledge gained through pre-training and fine-tuning; adds the data to the training dataset for the next step; results show that different frameworks can be improved in performance using code-related generation tasks.

🔸 Summary of ChatGPT/GPT-4 Research and Perspective Towards the Future of Large Language Models
▪️ an overview of applications of ChatGPT and GPT-4; the analysis is done on 194 relevant papers and discusses capabilities, limitations, concerns, and more

🔸 Pythia: A Suite for Analyzing Large Language Models Across Training and Scaling
▪️ a suite for analyzing LLMs across training and scaling; includes 16 LLMs trained on public data and ranging in size from 70M to 12B parameters.

🔸 SegGPT: Segmenting Everything In Context
▪️unifies segmentation tasks into a generalist model through an in-context framework that supports different kinds of data.

#مقاله

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind

کسایی که قصد فراگیری NLP دارند و مشخصا قضد فهمیدن و درک اهمیت Tranformersها را دارند این مقاله بهترین رفرنس یادگیری است.

▪️ چرا این مقاله مهم است؟ چون شما را با معماری و قابلیتهاش آشنا میکند. اینکه چطور شد به مدلهایی مانند BERT و GPT رسیدند.
▪️ هدف این مقاله این است که شما را با Neural machine translation (NMT) آشنا میکند و...
اینکه معماری ترنسفومرها encoder-decoder است .
در این مقاله BERT/GPT تنها برخی از کارهایی است که ترنسفورمر میتواند داشته باشد و images, graph networks, GANs در برخی کارهای دیگر هم میتواند نتایج بیشتری از مسایل را نشان دهد.

Attention Is All You Need
https://arxiv.org/abs/1706.03762

#مقاله #ایده_جذاب #منابع

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind

Understanding Diffusion Models: A Unified Perspective

Diffusion models are the engine behind novel image generative systems. This tutorial provides an intuitive and comprehensive understanding of diffusion models.

Paper: arxiv.org/abs/2208.11970
https://calvinyluo.com/2022/08/26/diffusion-tutorial.html

MiniGPT-4 is pretty astonishing: an AI chatbot you can use to ask questions about an image (a feature that's been promised but not yet shipped by GPT-4), building on top of the Vicuna-13B LLM (derived from LLaMA) and BLIP-2 vision-language
model minigpt-4.github.io

#مقاله

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind

What are some design patterns in machine learning systems?

Here are a few I've seen:

1. Cascade: Break a complex problem into simpler problems. Each subsequent model focuses on more difficult or specific problems.

Stack Exchange has a cascade of defenses against spam:
https://stackoverflow.blog/2020/06/25/how-does-spam-protection-work-on-stack-exchange/

2. Reframing: Redefine the original problem, target, or input to make the problem easier to solve.

Sequential recsys reframed the paradigm from co-occurrence (matrix factorization) to predict-the-next-event (e.g., transformers).
arxiv.org/abs/1905.06874

3. Human-in-the-loop: Collect labels from users, annotation services, or domain experts.

Stack Exchange lets users flag spam, and LinkedIn lets users report messages as harassment:
https://engineering.linkedin.com/blog/2020/fighting-harassment

Recently, LLMs are used in labeling too:
ChatGPT Outperforms Crowd-Workers for Text-Annotation Tasks:
arxiv.org/abs/2303.15056

4. Data Augmentation: Synthetically increase the size and diversity of training data to improve model generalization and reduce overfitting.

DoorDash varied sentence order and randomly removed information such as menu category:
https://doordash.engineering/2020/08/28/overcome-the-cold-start-problem-in-menu-item-tagging/

5. Data flywheel: Positive feedback loop where more data improves ML models, which leads to more users and data.

Tesla collects data via cars, finds and labels errors, retrains models, and then deploys to their cars which gather more data.
Potentially nitpicky but competitive advantage in AI goes not so much to those with data but those with a data engine: iterated data aquisition, re-training, evaluation, deployment, telemetry. And whoever can spin it fastest. Slide from Tesla to ~illustrate but concept is general.

6. Business Rules: Adding logic or constraints based on domain knowledge and/or business requirements to augment or adjust the output of ML models

Twitter has various hand-tuned weights when predicting engagement probabilities:
https://github.com/twitter/the-algorithm-ml/tree/main/projects/home/recap
A few more that I'll cover in a write-up:
• Aggregate raw data once: To reduce compute cost
• Evaluate before deploy: For safety and reliability
• Hard mining: To better learn difficult instances

#مقاله #خبر

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind

Tool Learning with Foundation Models

abs: arxiv.org/abs/2304.08354
github: github.com/OpenBMB/BMTools

DINOv2: Learning Robust Visual Features without Supervision

arxiv.org/abs/2304.07193

چگونه از ‎#چت‌جی‌پی‌تی چیزی بخوایم؟
شاید خواسته باشید از ‎#ChatGPT کاری بخواید، ولی ندونید چطوری بپرسید، یا میپرسید ولی جواب مورد نظرتون رو نمیگیرید.
درخواست یا اصطلاحا Prompt درست برای گرفتن جواب درست بسیار مهمه
خب شما میتونید از خودش بخواید واستون Prompt رو بنویسه.
شما میتونید با یه Loop ساده از چت‌جی‌پی‌تی بخواید هر بار اون Prompt رو پربار تر و نزدیک تر به هدفی که میخواید بکنه.
لوپ ما سه قسمت داره:
1. اول Prompt فعلی رو با استفاده از اطلاعاتی که گرفتی ادیت کن
2. پیشنهاد بده چی کجا باشه
3. ازم سوال مربوط بپرس
این چرخه همینطور ادامه پیدا میکنه تا پرامپت شما پربار تر و دقیق تر بشه
به طور مثال اینجا خواستیم تا در رابطه با تیم فوتبال آث میلان واسمون یه مقاله بنویسه:
هر بار از شما چنتا سوال میپرسه تا اون پرامپت اولیه رو بهتر و بهتر کنه، هرچی بیشتر برید جلو و جزییات بیشتری بهش بدید جواب قشنگتری میگیرید، به خاطر داشته باشید تا صبح ازتون سوال میپرسه پس هرجا احساس کردید کافیه ادامه ندید:
در انتها، کافیه که اون قسمت Revised Prompt تنها یا همراه با پیشنهادات رو توی یه چت جدید کپی کنید و از نتیجه لذت ببرید!
اون Prompt Generator رو از اینجا میتونید کپی کنید:
https://docs.google.com/document/d/1ve9hpyJ5JVWgNYZkaiFyNFUEDxJ113xtBuNztCjYhOA/edit?usp=drivesdk

#مقاله #خبر

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind

غلام chatGPT هم معلوم شد 😂
https://fxtwitter.com/CHashtager/status/1648293847955394561?t=1EoGXFfFiZb4o5jeca8HlA&s=19

برای فهم و درک کامل مفاهیم یادگیری ماشین از پایه این مقاله یا کتاب رو پیشنهاد میدم هم جدید هست و با موضوعاتی جامع‌تر
Exercises in Machine Learning

linear algebra, optimization, graphical models


arxiv.org/abs/2206.13446

پ.ن: کتاب دکتر Hal Daume یکی دیگر از منابع تئوری #یادگیری_ماشین است.
🔸 A Course in Machine Learning


#کتاب #مقاله #مبتدی

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind