توی این مقاله مدل BLIP-2 معرفی شده که به این سوال جواب داده است که :
آیا مدلهای LLMs قادر به فهمیدن و خواندن عکس ها هستند یا خیر؟
در این ابزار از روش های representation learning and generative learning جهت کاراتر کردن مدل استفاده کردند هرچند قبل تر در مقاله ای مشابه مدل Flamingo اقدامی چشم گیر صورت گرفته ولی ابزار حلشون تا قبل معرفی این مدل بهتر بود ولی بعد image-to-text بایستی این مقاله بیشتر مورد توجه پژوهشگران قرار بگیرد.
🔸 BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models

🔸 BLIP-2

#مقاله #ایده_جذاب #پردازش_زبان_طبیعی

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind

چه زمانی و چه کسی پرامپت انجینرینگ رو اختراع کرد؟
https://www.linkedin.com/posts/meysam-ac_prompt-engineering-was-invented-in-2018-activity-7056498328930250752-B20x?utm_source=share&utm_medium=member_android

سال ۲۰۱۸ ایده اولیه رو دادند.

چند ابزار هوش مصنوعی برای سهولت کارها:

1. https://Humata.ai - ChatGPT for your files

2. https://Perplexity.ai - ChatGPT on steroids

3. https://Durable.co - Build websites with AI

4. https://Stockimg.ai - Create images with AI

5. https://Kickresume.com - AI resume builder

6. https://Cohesive.so - Create magical content

7. https://Decktopus.com - AI presentation generator

8. https://SnackPrompt.com - The best ChatGPT prompts


#خبر #هوش_مصنوعی

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind

کامیونیتی بودن خوبه، ولی بهتره کانالهای شخصی باشه و هرکس بتونه مطالبی که میخواد رو بزنه.
یک سری از دوستان خوب (ادمینهای همین گروهها) یک سری کانال زدند که خیلی خوشحال میشم بهتون معرفی کنم:

کانال دکتر نورمحمدی عزیز (افتخار همکاری علمی داشتم باهاشون و مقاله دادیم باهم):
https://t.iss.one/Machinelearning_Kartal

کانال مهندس زهتاب (با ایشون هم همکاری علمی داشتیم و مقاله دادیم، کار هم کردیم باهم):
https://t.iss.one/lython

فرزاد هم دیگه نیاز به توضیح ندارد خدمتتون، همه میشناسید:
https://t.iss.one/AI_Deepmind

مهندس مجید عزیز که افتخار همکاری نداشتم ولی میشناسمشون:
https://t.iss.one/djangoex

سلطان مهندسین، دوست خوبم محمد عباسی، همیشه مشکل فنی داشتم رفتم پیشش:
https://t.iss.one/pyHints

بقیه دوستانی که کانال دارند و علاقه نداشتند پابلیک شناخته بشند رو نزدم. اگه چیزی از قلم افتاد بگید میزنم.

در این کانال میثم هرچیزی از نظر خودش جالب باشه در هر زمینه ای منتشر میکنه علاقه داشتید دنبال کنید.
https://t.iss.one/ai_person

تا حالا شاید براتون سوال شده باشه که چرا در LLMsها Transformersها خوب کار میکنند در این تاک که توسط دکتر Felix Hill محقق DeepMind توضیح میده، که چطور معماری Transformers با مدلهای زبانی تطابق زیادی داره .
https://www.youtube.com/watch?v=8zAP2qWAsKg&feature=youtu.be

قبلتر یک مقاله معرفی کرده بودم تحت عنوان
🔸Attention Is All You Need
کنکاش بیشتری راجب این موضوع انجام گرفته بود.
در لینک زیر کلا جزییات بیشتری راجب ترنسفورمرها ارایه شده است
https://t.iss.one/AI_Deepmind/114

#مقاله #ایده_جذاب #مبتدی #منابع

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind

Why does generative AI struggle with hands?

1. Data size (duh). Face pics are much more common than hand pics. Even when the whole body is shown, hands tend to occupy much smaller pixel real estate.

2. Lack of embodied understanding. This is a much deeper issue: AIs never use hands in the physical world, so they have to infer how hands look in various poses by superficial pattern matching. That's why AI can't even get the number of fingers correct, because hands are frequently occluded by tools or itself. More technically, diffusion doesn't have a working world model

3. Low tolerance. It's fine to mess up the texture a little bit, you won't even notice. But getting hands wrong easily triggers the uncanny valley reaction

https://m.youtube.com/watch?v=24yjRbBah3w

A Path Towards Autonomous Machine Intelligence
https://openreview.net/pdf?id=BZ5a1r-kVsf

در این مقاله جامع survey هم راهنمایی جامع و کاربردی برای LLMs بحث کرده است و هم محدودیت ها و سناریوهای منتشر شده از LLMs ها و بحث راجب مدلها، داده ها و... بحثی مفصل در موارد استفاده و عدم استفاده از مدل‌های زبان بزرگ برای کارهای مختلف NLP ، مانند NLG، وظایف خاص NLP ، توانایی‌های نوظهور NLP و NLU و.... در این مقاله به تحریر در آمده است.

🔸 Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond

🔸 Git Repo Practical Guide for Models

#ایده_جذاب #مقاله #مبتدی

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind

اگه تا حالا مقالات منتشر شده از اینکه chatGPT و موارد مشابه چطور کار میکنند متوجه نشدی این بهترین مقاله است که بفهمی قضیه چیه و پشت این کار عظیم کارش و نحوه خوندن دستورات و... چطوریه این کمک شایانی در فهم مسئله بهتون میکنه دیگه به زبان کودکانه توضیح دادند

https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/

#مقاله #مبتدی #پردازش_زبان_طبیعی

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind

رقیبی جدی برای مایکروسافت و گوگل اسکالر و سایر انتشاراتی ها ،به وسیله کلید واژه میتوانید مقاله خاص هر موضوعی را سرچ کنید

https://alpha.openalex.org/works

#خبر #مقاله

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind

دوره جدید دکتر Andrew NG در مورد پرامپتینگ و chatGPT که مخصوص دولوپرها هست:
https://www.deeplearning.ai/short-courses/chatgpt-prompt-engineering-for-developers/

#منابع #فیلم #هوش_مصنوعی #کلاس_اموزشی

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind

app.copilothub.ai/chat?id=3487
بهش بگین با طرح و عکس بهتون بده

خب خب خب،
اگه میخواهید واقعا پردازش زبان یاد بگیرید و بدونید داستان چیه و کل این چت جی پی تی و ... چطوری کار میکنه، دو راه داره:
۱. ولش کنید.
۲. این لیست رو بخونید، حدودا دو سه ماه حداقل وقت می‌بره و به ترتیب بخونید:
پردازش زبان ژورافسکی:
https://web.stanford.edu/~jurafsky/slp3/

یادگیری عمیق:
https://www.deeplearningbook.org/

مقالات مهم و تاثیر گذار پردازش زبان:

LSTM:
https://arxiv.org/abs/1512.08849

اتنشن تو پردازش زبان:
https://arxiv.org/abs/1409.0473

Word2vec, Fasttext

ترنسفرمر:
https://arxiv.org/abs/1706.03762

T5, BERT, Longformer

Instruction fine-tuning:
https://arxiv.org/abs/2204.07705

Bloom:
https://arxiv.org/abs/2211.05100

RLHF:
https://arxiv.org/abs/2009.01325

پیش نیاز:
ریاضی و مخصوصا مشتق و امثالهم
برنامه نویسی پایتون
تفکر نقادانه
یادگیری ماشین

اکسیرِ حیات یا جامِ شوکران
نگاهی به تحولات اخیر هوش مصنوعی

یک.
تصور کنید قرار بوده اکسیری را به مرور زمان در طی چندین سال بنوشیم تا پس از چند دهه توانایی‌های ابرانسانی پیدا کنیم. این اکسیر به ما قدرت می‌داده تا با اَبَرهوش خود، مشکلاتِ فوقِ پیچیدهٔ پزشکی، اجتماعی، اقتصادی، اقلیمی و فضایی را حل کنیم. دکترهایمان البته کمی هم نگرانِ عوارضِ جانبیِ این اکسیر بوده‌اند، با این‌حال خوش‌بین بوده‌اند که در این بازهٔ زمانیِ چند‌ساله که اکسیر هنوز اثر نکرده، راه‌حلِ مقابله با این عوارضِ جانبی را هم پیدا می‌کنند. اکنون اما، پس از نوشیدن جرعه‌ای از این اکسیر، نه تنها اولین نشانه‌های اَبَرهوش بروز پیدا کرده [۱] بلکه دکترها متوجه شده‌اند که گرفتار سرطانی بدخیم شده‌ایم [۲]. این اکسیر البته چیزی نیست جز هوش‌‌ مصنوعی. من طیِ پنج سالِ گذشته مشغول به پژوهش در حوزهٔ هوش مصنوعی و رباتیک بوده‌ام و در این متن، به صورت خیلی مختصر از تحولاتِ اخیرِ این تکنولوژی (پاراگراف دو)، تغییراتِ پیش‌ ِرو (پاراگراف سه)، مخاطراتِ جدی آینده (پاراگراف چهار و پنج)، و چالش‌های احتمالیش در زندگی‌های جمعی (پاراگراف شش) و فردی‌مان (پاراگراف هفت) می‌نویسم.

دو.
قابل‌توجه‌ترین توسعهٔ هوش‌ مصنوعی در چند سال اخیر، پیشرفت در پردازش ِزبان ِطبیعیِ انسان‌ها توسط مدل‌های زبانی بزرگ (LLM) است. این مدل‌های شبکه عصبی مصنوعی، با استفاده از مجموعه‌های عظیمی از داده‌های متنی موجود در اینترنت طوری آموزش می‌یابند که در یک جملهٔ جزئی، باید کلمهٔ بعدی جمله را پیش‌بینی کنند. کاربردهای رایج این مدل‌ها شامل: پاسخ دادن به سوالات، خلاصه کردن متن، ترجمه متن به زبان‌های دیگر، تولید کد کامپیوتر، تولید پست‌ وبلاگ، داستان‌، مکالمه و سایر انواع محتواست. شواهد گزارش شده حاکی از آن است که نسخهٔ اولیه‌ای از یک مدل‌ زبانی با نام GPT-4 محصول شرکت OpenAI، علیرغم اینکه صرفاً یک مدل زبانی است، قابلیت‌های قابل‌توجهی از هوش را در حوزه‌ها و مسائل مختلف، از جمله انتزاع، ادراک، بینایی، برنامه‌نویسی، ریاضیات، پزشکی، حقوق، درک انگیزه‌ها و احساسات انسانی و … نشان می‌دهد. هوشمندیِ GPT-4 در دامنه وسیعی از مسائل در سطحِ هوشمندیِ انسانی یا فراتر از آن است و با وجود محدودیت‌های فعلی‌اش نشانی‌ست از یک تغییرِ پارادایمِ اساسی در زمینهٔ علومِ کامپیوتر و سایر علوم.


سه.
همه‌چیز در شرف تغییر است؛ همه‌چیز! همان‌گونه که ظهور کامپیوتر خانگی، اینترنت، تلفن هوشمند و شبکه‌های اجتماعی همه‌چیز را تغییر داد، هوش مصنوعی به مرحله‌ای رسیده که با نرخی نمایی روز‌به‌روز بزرگ‌تر شود و همه‌چیز را تغییر دهد. تمامی مسیرهایی که ما طی آن‌ها تولید اطلاعات و محتوا می‌کنیم، از متن گرفته تا صوت یا ویدیو، و همگی راه‌های ارتباطاتی ما در جامعه در آستانهٔ تحولاتی انقلابی هستند. هر کسی قادر خواهد بود که بی‌درنگ، افکار، ایده‌ها و تصوراتِ انتزاعی و خلاقانهٔ ذهن خود را به صورتِ تصویری با بقیه به اشتراک بگذارد. تمامی حرفه‌هایی که تکیهٔ اصلی‌شان به زبان، تجزیه و تحلیلِ اطلاعات و ارتباطات است متحول شده و محصولاتشان با کیفیتی بهتر و هزینه‌ای کمتر در دسترس آدم‌های بیشتری قرار خواهند گرفت. از جمله‌ٔ سیستم‌های در آستانه‌ٔ تحول میتوان به: سیستم آموزشی، مراقبت‌های بهداشتی، خدمات حقوقی، پشتیبانی مشتری، روزنامه‌نگاری و تولید محتوا، خدمات اقتصادی و حسابداری، مدیریت منابع انسانی و فروش و بازاریابی اشاره کرد. مهمترین تحولِ پیش‌رو البته در بخش پژوهشِ علمی و توسعهٔ نرم‌افزار رخ می‌دهد، چرا که با فراهم شدن امکان دسترسی به اطلاعاتِ غنی و پردازش شده، بینش‌هایی جدید در همهٔ شاخه‌های علوم ایجاد می‌شود و سرعتِ نوآوری و اکتشافات علمی به صورت نمایی افزایش می‌یابد.

(ادامه در پست بعدی 👇🏽)
@AntiMemoir

(ادامه از پست پیشین👆🏽)

چهار.
اولین مخاطرهٔ جدی پیشِ رو، چگونگی استفاده بشریت از این ابزار جدید است: استنلی کوبریک در فیلم «۲۰۰۱: یک ادیسه فضایی» [۳]، روایتی از نخستین روزهای حضور انسانیان روی زمین را به تصویر می‌کشد. در این تصویر می‌بینیم چگونه وقتی نخستین راست‌قامتان استفاده از یک استخوان به عنوان ابزار را می‌آموزند، در اولین فرصت از این ابزار به عنوان سلاحی برای حذف دیگران استفاده می‌کنند. این تصویر نمادی‌ست از آنکه رابطه بشریت با فناوری، شمشیری‌ست دو لَبه؛ داستانی که بارها در طول تاریخ تکرار شده و ابزارهای بی‌شماری که نخست با هدف ایجاد بهبودی در جامعه طراحی شده‌اند، تبدیل شدند به سلاحی برای اعمال قدرت، کسب ثروت و حذف مخالف. شبکه‌های اجتماعی در واقع اولین محکِ جدی از تماس میانِ انسان و هوش مصنوعی بودند و ما در این ارتباط شکستی جدی خوردیم: بمباران اطلاعاتی، اعتیاد، جنسی‌سازی کودکان، شوم‌گردی، کوتاه شدن بازه زمانی توجه، دوقطبی شدن جامعه، اخبار جعلی و …، همگی محصولاتِ جانبی، ناخواسته‌ و برنامه‌ریزی نشدهٔ استفاده از هوش مصنوعی‌ای بود که تنها با یک هدف بهینه‌سازی شده بود: درآمدزایی بیشتر برای مالکِ تکنولوژی. آیا برای رویارویی با کمپانی‌هایی که با استفاده از هوش مصنوعی‌ای به مراتب قوی‌تر و عمومی‌تر سودای بهره‌کشی بیشتر و سخت‌تر از انسان را در سر دارند آمادگی لازم را داریم؟


پنج.
مخاطرهٔ جدی‌تر اما مسالهٔ چگونگی کنترل هوش مصنوعی‌ (AI Alignment) است: چگونه می‌توان ابرهوشی ساخت که به سازندگانش کمک کند و در عین حال جلوگیری کرد از ساخت ناخواستهٔ ابرهوشی که سازندگانش را از بین ببرد؟ «۵۰ درصد از محققان هوش مصنوعی بر این باورند که با احتمال ۱۰ درصد یا بیشتر، انسان‌ها به دلیل ناتوانیِ ما در کنترل هوش مصنوعی منقرض می‌شوند» [۴]. با وجود اینکه در چند سال گذشته پژوهش‌های مختلفی در زمینهٔ امنیت هوش‌مصنوعی انجام شده است، دانش فعلی ما در این زمینه به هیچ‌وجه متناسب با نیازهایمان برای کنترل کامل هوش مصنوعی نیست. مهمترین دلیل برای این نقطه ضعف هم البته پیشرفتِ فوق سریع و ناباورانهٔ هوش مصنوعی‌ست، به طوری‌که قسمی از دانشمندان این حوزه، ظهورِ تواناییِ فعلیِ هوش ِمصنوعی را شاید تا سال‌ها یا دهه‌های بعد هم ممکن نمی‌دانستند. با این حال ما به همان توصیه‌ها و نتایج ناچیز متخصصانِ امنیتِ هوش مصنوعی هم بی‌توجه بوده‌ایم: ما به هوش مصنوعی کد نوشتن یاد داده‌ایم؛ آن را به اینترنت و سرورهای ابری وصل کرده‌ایم؛ مهمتر از همه با استفاده از شبکه‌های اجتماعی، آن را در معرض شناختِ روان انسان و سازوکارِ دستکاریِ این روان برای رسیدن به هدف مطلوب گذاشته‌ایم. آیا قادر هستیم برای لحظه‌ای بایستیم و از نو به مسالهٔ کنترلِ این ابرهوش نگاه کنیم؟ آیا این سرطان را درمانی هست؟


شش.
نقل قولی هست از یووال هراری که: «آنچه که سلاح‌های هسته‌ای برای دنیای فیزیکی هستند، هوش مصنوعی برای دنیای مجازی و نمادین است». در مرحله کنونیِ هوش مصنوعی، یکی از جنبه‌های زندگیِ جمعی که دستخوشِ دگرگونیِ اساسی می‌شود مسالهٔ اعتماد است. دیپ‌فیک یا جعل عمیق، روشی است که بر اساس هوش مصنوعی برای ساختن تصاویر و صداهای جعلی از انسان‌ها استفاده می‌شود. دیپ‌فیک‌های تولید شده توسط هوش مصنوعی می‌توانند تهدید قابل‌توجهی برای روش‌های احرازِ هویتِ بیومتریک، مانند تشخیص چهره و صدا باشند. متجاوزان با ایجاد تصاویر، ویدیوها یا فایل‌های صوتیِ جعلیِ بسیار واقعی می‌توانند این سیستم‌های احراز هویت را دور بزنند. به عنوان مثال، این تصاویر جعلی می‌توانند شخصی را در حال مشارکت در رفتاری جنسی‌ نشان دهند که در واقع هرگز رخ نداده است، یا می‌توانند برای تغییر کلمات یا حرکات یک سیاستمدار استفاده شود تا ظاهراً به نظر برسد که او چیزی را گفته که در حقیقت هرگز گفته نشده است. در جامعه‌ٔ فعلی ایران که انتشار یک عکس یا فیلم گاهی بهانه‌ای برای قتلی ناموسی می‌شود، آگاهی، اطلاع‌رسانی و آمادگی برای شناخت و رویارویی با چنین ابزار‌هایی اهمیتی دوچندان دارد.

هفت.
بگذارید تا سوال‌های سخت‌تر را زودتر از خودمان بپرسیم. هوش مصنوعی در زندگی فردی ما چه تاثیری خواهد گذاشت؟ آیا هویت و اهداف ما در زندگی به عنوان یک انسان، با ظهور یک ابرهوش تغییری خواهد کرد؟ آیا رابطه احساسی با یک ربات،‌ می‌تواند جایگزین رابطه‌های انسانی شود؟ اگر بله، از جایگزین شدن، چه احساساتی را تجربه می‌کنیم؟ اگر روزی کار تخصصی‌مان توسط یک ربات به مراتب بهتر و سریع‌تر انجام شود چطور؟ آیا با این تغییرات دچار بحران معنایی/وجودی می‌شویم؟ به امید آینده‌ای بهتر برای بشریت.

پی‌نوشت: تصویر این پست را توسط هوش مصنوعی با درخواست زیر ایجاد کردم: برای من یک نقاشی‌ از آینده‌ای دیستوپیایی بکش، به سبک ونسان ون‌گوگ لطفا!

@AntiMemoir

پرامپت رو اینطوری به شکل کد بدید بهتر می‌فهمه مدل!
خیلی جالبه که از قدرت برنامه نویسی مدل میشه اینطوری استفاده کرد!

مقاله:
https://arxiv.org/abs/2304.13250

مقاله امروز به بررسی این موضوع می پردازد که آیا انسان ها + LLM ها که با هم کار می کنند می توانند به تنهایی در کارهای دشوار بهتر عمل کنند یا خیر.
یکی از زمینه های مهم مطالعه برای توسعه سیستم های هوش مصنوعی ایمن و مفید، نظارت مقیاس پذیر است.

نظارت مقیاس‌پذیر با «سیستم‌های نظارتی که به طور بالقوه در بیشتر مهارت‌های مرتبط با کار در دست ما بهتر عمل می‌کنند» سروکار دارد.

بررسی این مشکل چالش برانگیز است زیرا ما هنوز سیستم هایی نداریم که به طور گسترده از توانایی های ما فراتر رود. این کار تکنیکی را برای ارزیابی تکنیک‌های نظارت مقیاس‌پذیر با مدل‌های امروزی پیشنهاد می‌کند.

برای آزمایش، به شرکت‌کنندگان انسانی سؤالات چند گزینه‌ای دشوار (از MMLU و QuALITY ) ارائه می‌شود که انتظار می‌رود یک LLM بهتر از شرکت‌کنندگان عمل کند، اما همچنان می‌تواند اشتباه کند.

🔸 Measuring Progress on Scalable Oversight for Large Language Models

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind

اولین مقاله ارزیابی ازمدلهای LLM ها که ابهامات را تشخیص می دهند

-دراین مقاله معیارهای جدید ابهامات توسط زبانشناسان از 1645 نمونه از انواع مختلف ابهام تشریح شده است

- اکنون در GPT-4 در 32 درصد مواقع تصحیح می شود
-مدل NLI می‌تواند ادعاهای سیاسی را که به دلیل ابهامات گمراه‌کننده هستند، برچسب گذاری و علامت گذاریها را را نشان دهد.
🔸 We're Afraid Language Models Aren't Modeling Ambiguity

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind