🔵تخیل ماشینی!🔵

We should give up on the idea of magic because the science itself is the most magical phenomena in the world!


یکی از قابلیت های منحصر بفرد انسان قدرت تخیل است!‌ مثلا من می توانم بگویم در ذهنت این را تصور کن:

«یک مانکن زن که یک کت چرمی سیاه و یک دامن کوتاه چین دار طلایی به تن دارد»
« یک ساعت سبز پنج گوشه»

ما تصویری ذهنی از چنین چیزهایی میسازیم حتی اگر کسی تا به حال چنین چیزی به ذهنش نرسیده باشد! اما این کار دیگر محدود به بشر نیست!
امروز (۵ ژانویه ۲۰۲۱) کمپانی OpenAI نوع جدیدی از پژوهش مولتی مودال (Multimodal) به نام DALL.E را منتشر کرد که با گرفتن ورودی متنی تصویر متناظرش را میسازد (یا تخیل می کند!!). با اینکه این ایده جدید نیست اما کیفیت و دقت خروجی های OpenAI واقعا خیره کننده است. معماری این روش همانطور که ممکن است حدس زده باشید GPT3 و بر اساس ترنسفورمر ها است.
این سیستم ورودی های متن و تصویر را یکجا در یک استریم داده که متشکل از ۱۲۸۰ توکن است میگیرد و با استفاده از maximum likelihood به دنبال یافتن توکن بعدی است.
اما این مدل فراتر هم می رود و می تواند چیزهایی را تصور کند که بسیار به هم بی ربط هستند و قبلا به نظر می رسید که تنها ذهن انسان قادر به انجام آن باشد. مثلا: یک پنگوئن که از بادمجان درست شده است! و مدل قادر به بازنمایی آن است.
علاوه بر این ها مدل قادر به بازنمایی جملاتی است که نیاز به دانش دارند: مثلا غذای چینی یا پل گلدن بریج. جملاتی که نیاز به درک زمان دارند: یک تلفن در دهه بیست میلادی. و جملاتی که نیاز به استدلال تصویری دارند: کشیدن همان تصویر در یک زاویه دیگر یا تصور کردنش با رنگ و نوشته دیگر.

پست اصلی

دمویی از یان لیکان (یکی از بزرگان یادگیری عمیق) از سال ۱۹۹۳ زمانی که ۳۲ سال سن داشت و اولین شبکه کانولوشونی دنیا را برای تشخیص اعداد معرفی کرد.

ایالات متحده آمریکا دفتر هوش مصنوعی ملی (National Artificial Intelligence Initiative Office) را عملیاتی کرد. این دفتر که زیر مجموعه دفتر سیاست علم و فناوری است وظیفه دار دوبرابر کردن سرمایه گذاری در حوزه هوش مصنوعی، انتشار اولین راهنمای تنظیماتی هوش مصنوعی در جهان و کارهای دیگر است.
هدف اصلی این دفتر استفاده از تمامی امکانات فدرال برای نگه داشتن آمریکا به عنوان پرچم دار هوش مصنوعی و تکنولوژی های مرتبط با آن در دنیاست.
گمانه زنی های زیادی در مورد نقش این سازمان وجود دارد و برخی با دیده ی تردید به آن نگاه کرده و برخی از آن استقبال کرده اند. تلاش های دولتی آمریکا به عنوان مثال در حوزه فضا با بودجه های سرسام آور برای ناسا در دهه های ۶۰ و ۷۰ میلادی بسیار موثر بود اما شاید چنین ساز و کاری امروزه دیگر به همان قوت جواب ندهد. بیشتر شرکت ها به دنبال دخالت های کمتر دولتی و قوانین دست و پاگیر کمتر هستند. به عقیده آنها بازار آزاد و ثبات سیاسی در نهایت کشور را در صدر نگه می دارد

از طرفی نماد این دفتر هم جالب توجه است. این نماد نشان دهنده شبکه ی عصبی با ۸ نود است که نود هشتم به سمت مرکز عقاب و پرچم آمریکا برمیگردد.

🔵Some notes on the success of OpenAI in AI🔵


1- The raw power of dataset design. These models aren't radically new in their architecture or training algorithm. Instead, their impressive quality is largely due to careful training at scale of existing models on large, diverse datasets that OpenAI designed and collected.

2- Why does diverse data matter? Robustness. Can't generalize out-of-domain? You might be able to make most things in-domain by training on the internet. But this power comes w/ a price: the internet has some extremely dark corners (and these datasets have been kept private)

3- The "data-ing" is often more important than the modeling And openai put *painstaking* effort into the data-ing for these models.

4- The promise of "impact teams." Teams that are moderately large, well-resourced, and laser-focused on an ambitious objective can accomplish a lot

5-The openai teams are multidisciplinary—different members work on algorithms, data collection, infra, evaluation, policy/fairness, etc. This is hard in academia, not just b/c of resources but also incentives—academia often doesn't assign credit well to members of large teams

6 - Soul-searching for academic researchers? A lot of people around me are asking: what can I do in my PhD that will matter? we don't expect AeroAstro PhD students to build the next airliner

7- I'm also optimistic here—I think there a lot of opportunity for impact in academia, including advancing:
- efficiency
- equity
- domain-agnosticity
- safety + alignment
- evaluation
- theory
…and many other as-of-yet undiscovered phenomena!

8- We're entering a less open era of research. Companies don't want to release these models, both because of genuine safety concerns but also potentially because of their bottom line.

thread

🔵معمای دانش متعارفی🔵


چگونه ما جهان اطرافمان را براحتی درک میکنیم اما هوش مصنوعی در درک آن دچار مشکل است. یکی از بزرگترین سوالات هوش مصنوعی از روز های نخست این بود که چگونه میتوان آنچه را که به نام «فهم متعارفی» (common sense) میشناسیم در سیستم های هوش مصنوعی وارد کنیم. به طور مثال اگر من بگویم فلانی چاق است و به دکتر رفته است شما می دانید که او دکتر تغذیه رفته است یا حتی ضمنی تر او باید زمانی را با دکتر تنظیم کند یا اینکه معمولا مردم پیش دکتر می روند نه اینکه دکتر پیش ان ها بیاید. و غیره و غیره! اینها فهم ما از جهان اطراف است که جایی نوشته نشده است ولی همه ما می دانیم! آن ها در واقع دانش پیش زمینه ای هستند که تعامل ما با بقیه را امکان پذیر می کند. حجم چنین دانشی بسیار بزرگتر از چیزی است که تصور می کنید.
تلاش های بسیار زیادی شده است که چنین دانشی را به مدل های هوش مصنوعی آموزش داده شود. حتی نوشتن این دانش خود مساله ی پیچیده ای است که روش های زیادی برای حمله کردن به آن وجود دارد. از پر کردن جای خالی در یک جمله گرفته تا استدلال در مورد وقایع غیر ممکن. مثلا ما می توانیم درک کنیم اگر فلان اتفاق نمی افتاد نتیجه اش چه میشد (counterfactual reasoning) یا با دادن چند کلمه می توانیم یک جمله از آن درست کنیم چون می توانیم رابطه ی بین مفاهیم را درک کنیم.
در نوشتار زیر من مهمترین دیتاست های این زمینه که بیشترشان توسط موسسه AllenAI توسعه داده شده اند را معرفی کرده ام. این نوشتار سعی شده کامل باشد و به تمام این مسائل اشاره کند

(به زبان انگلیسی)

https://hilbert-cantor.medium.com/a-curated-list-of-the-most-important-common-sense-datasets-in-nlp-66963567d00b

Of course! I was an ordinary person who studied hard! there is no miracle people

تمام نویسندگان مقاله بوزون هیگز
این مقاله فیزیک با ۵۱۵۴ نویسنده رکورد بیشترین تعداد نویسنده یک مقاله در تاریخ را شکست.
تنها ۹ صفحه ی ابتدایی این مقاله ۳۳ صفحه ای در ۱۴ می ۲۰۱۵ در مقاله Physical Review Letters منتشر شد مابقی ۲۴ صفحه اسم نویسندگان و محل های پژوهششان بود.
قبلا زیست شناسان از انتشار مقاله ای با بیش از ۱۰۰۰ نویسنده ناراحت بودند اما چنین پدیده ای در فیزیک سابقه دارد. در سال ۲۰۰۸ هم مقاله ی دیگری با ۳۰۰۰ نویسنده در مورد آزمایش CMS انجام شده بود

پنج مشی اصلی به هوش مصنوعی
منبع: کتاب Master algorithm by pedro domingos

بیشتر

فرض کنید دوستتان ادعا میکند که یک سکه ی بدون مشکل (fair) دارد اما صد بار سکه را می اندازد و هر بار شیر می آید. اعتراض میکنید که چنین چیزی ممکن نیست اما او میگوید طبق نظریه احتمال آمدن چنین دنباله ای (½)^ 100 است دقیقا مانند هر دنباله ی دیگری که ممکن بود بیاید. پس اتفاق عجیبی رخ نداده است! این حرف درست است بنابراین یک جای کار می لگند! فکر کنید!

ادامه دارد..

مدل GPT-2 برای زبان فارسی (ParsGPT2)
بالاخره تیم هوشواره مدل GPT-2 را برای زبان فارسی آموزش داد. اینجا می توانید آن را تست کنید

احتمال منطق دانش

یکی از مشکلات و بدفهمی هایی که دانشجویان و حتی اساتید در درک بخش های زیادی از مفاهیم هوش مصنوعی مانند تشخیص الگوی آماری و یادگیری ماشین دارند، تشخیص ندادن تفاوت دو رویکرد کاملا متفاوت در آمار و احتمال به روش شناسی(Methodology) و معرفت شناسی (Epistemology) بنیادی ترین مفاهیم آمارو احتمال است. در اساس در میان تفاسیر گوناگون احتمال دو رویکرد مهم و متفاوت به تفسیر احتمال وجود دارد: احتمال بیزین و احتمال فرکانسی.

احتمال بیزین مقداری است که به یک حالت از دانش(state of knowledge) یا حالتی از باور(state of belief) اختصاص داده می شود. می توان احتمال بیز را به عنوان ادامه ی منطق گزاره ای دانست که ما را قادر می کند با فرضیات (Hypothesis) استدلال کنیم. فرضیات گزاره هایی می شوند که درستی و غلطی آن ها نامشخص است. از دیدگاه بیزی یک احتمال به فرضیه اختصاص داده می شود، در حالی که در احتمال فرکانسی یک فرضیه بدون هیچ احتمالی، مورد آزمون قرار می گیرد.

بنیادی ترین تفاوت این دو تفسیر در معرفت شناسی آن هاست: فرکانسی ها عینی گرا هستند به این معنا که احتمال را به صورت معقول بودن یک گزاره قابل تفسیر می دانند. به عبارت دیگر، احتمال یک گزاره متناظر است با یک باور معقول بین همه ی افراد (حتی یک ربات) که مجموعه ای از دانش مشترک دارند. این باور معقول باید مطابق با قوانین احتمال که خود با معیار های عقلانیت و سازگاری قابل توجیه اند، باشد. اما بیزین ها ذهنی گرا هستند بیزین ها قبول دارند که معیار های عقلانیت و سازگاری احتمال هایی که یک شخص دارد را محدود می کند اما این معیار ها باعث نمی شوند همه به یک نتیجه در مورد احتمال رویداد ها برسند زیرا معیارهای عقلانیت هنوز اجازه تغییرات زیادی در محاسبه احتمال می دهند. این تفاوت خود را در محاسبه احتمال های پیشینی(prior probabilities) نشان می دهد.

اگر زیاد اهل فلسفه نباشید شاید نتوانید با پاراگراف قبل ارتباط برقرار کنید اما باز هم راه های زیاد وجود دارد که بدانیم این تفاوت ها چیست. بسیاری از دوره های درسی در دنیا(از جمله ایران) مفهوم احتمال را با شمارش حالات و نیز مباحث ترکیبیات شروع می کنند اما تقریبا تمام آن چیزی که در آمار و احتمال کاربردی مانند مباحث هوش مصنوعی وجود دارد با این مفاهیم سر و کاری ندارد و حتی جالب تر از آن درک روزمره ما از احتمال هم بیشتر بیزینی است. تحقیقات زیادی در علوم شناختی نشان داده اند که ما انسان ها(و حتی بیشتر جانوران دیگر) مادرزادی بیزینی به دنیا می آییم. همانطور که بزودی در ادامه مبحث می بینیم این مزیت فوق العاده ای برای ماست.

https://vrgl.ir/8vD35

Here's an animation of a PyTorch DataLoader.
The Dataset has to be passed to the DataLoader. It's where you transform your data and where the inputs and labels are stored.

It is basically one big list of (input, label) tuples. So when you index in like dataset[i], it returns (input[ i ], label[ i ]).

The sampler and batch sampler are used to choose which inputs & labels to yield to the next batch.

They don't actually grab the inputs and labels, and the dataset doesn't actually deplete. They tell the DataLoader which indices to grab.

The collate function is what collates/combines the batch of examples into single x_batch, y_batch tensors.

pytorch handles a bunch of different types and shapes of data that could need to be collated.

If you need custom behaviour, you can pass in a sampler / batch_sampler and/or a collate function to your DataLoader.

More

ریاضیات، به سزاوار نه تنها دارای حقیقت، بلکه زیبایی برترست، زیبایی ای سرد و سخت، مانند یک تندیس، بدون دست یازیدن از هر بخش ضعیف تر طبیعت ما، بدون تله های مجلل نقاشی و موسیقی و با این حال به صورت تعالی بخشی خالص و قادر به کمالگرایی سخت طوری که تنها از برترین هنر ها بر می آید. روح واقعی لذت، تعالی و حس فراتر از انسان بودن که محک بالاترین برتری هاست در ریاضیات یافته می شود که به قطع در شعر هم هست.

معرفی ابزار
بسیاری از شما از grammarly برای درست کردن اشتباهات گرامری تان استفاده می کنید اما گرامرلی قادر به بازنویسی متن یا درست کردن بسیاری از خطاهای معنایی و حتی از نو ساختن جمله ها طوری که دقیقا منظورتان را برساند نیست. برای این مورد wordtune را استفاده کنید که بر اساس آخرین دستاوردهای پردازش زبان طبیعی کار میکند و براحتی در مرورگرها قابل استفاده است.

https://www.wordtune.com/

استدلال ربایشی:‌ قطعه پازل گم شده هوش مصنوعی (۲)

چارلز پیرس (Charles Sanders Peirce) ریاضیدان منطق دان و فیلسوف آمریکایی که به پدر پراگماتیسم شناخته می شود شخصی بود که منطق ربایشی را معرفی کرد و به دفاع از آن پرداخت. پیرس استدلال ربایشی را مقدم بر دو نوع دیگر استدلال می دانست. پیرس استدلال ربایشی را با اصطلاحات «توضیح» و «فرضیه» تعریف می کرد. تعریف خلاصه اون این بود: «استدلال ربایشی فرآیند شکل دهی به یک فرضیه توضیحی است.» او حتی گاهی از «فرضیه» به عنوان هم معنی برای استدلال ربایشی استفاده می کرد.

https://vrgl.ir/XlTC7

🔵ترس چه شکلی ست؟🔵

خیلی از مفاهیم زبانی به راحتی قابل انطباق با یک تصویر در جهان خارج نیست. این موضوع چیزی ست که در اوایل کودکی با انتزاع از اشیا و شکل ها در میابیم. یک کودک می داند ترس چیست و شاید حتی سعی کند آن را نقاشی کند اما «ترس» مفهوم مجردی است که تنها از شباهت خانوادگی مجموعه ی زیادی از تصاویر، رویداد ها و احساسات قابل درک است (لودویگ ویتگنشتاین).

از طرفی یکی از بزرگترین سوالات در نوروساینس همواره این بوده است که مغز چگونه چیز ها را بازنمایی می کند (representation). مثلا در یک کامپیوتر یک تصویر به صورت مجموعه ای از صفر ها و یکها در یک بخش از کامپیوتر روی هارد دیسک ذخیره شده است اما آیا مثلا نورونی وجود دارد که مادربزرگ شما را بازنمایی کند (Grandmother cell) این ایده بسیار کودکانه و خام بنظر می رسد و زمانی که برای اولین بار در دهه شصت میلادی توسط عصب شناس لهستانی Jerzy Konorski ارائه شد با استقبال زیادی مواجه نشد. اما با پیشرفت روش های اسکن مغز این ایده بیشتر تقویت شد. ظاهر ما سلول هایی در مغزمان داریم که تنها جنیفر آنیستون یا پسر همسایه ی دوران کودکیمان را بازنمایی می کنند! از یک دیدگاه کمی پیشرفته تر این شیوه نهایت sparsity در بازنمایی اطلاعات است. به عبارتی هر «چیز» تنها به یک سلول نگاشت می شود. اما پژوهش های دیگری نشان می دهند هرچند مغز در ذخیره ی اطلاعات به شدت اسپارس عمل می کند اما گاهی آن را به صورت پخش شده و نتیجه بر هم نهی چندین الگوی جهش (spike) در مغز بازنمایی می کند.

امروز(۴ مارچ ۲۰۲۱) OpenAI یکی دیگر از کشفیات جالب خود بر روی مدل CLIP را نشان داد که شباهت های زیادی به پژوهش های موازی در مغز دارد. این مدل قادر به بازنمایی همزمان تصاویر و متون است (Multimodal representation) و همین باعث قدرت بالای آن شده است. نتیجه ی این پژوهش نشان می دهد بیشتر نورونهای شبکه عصبی قابل تفسیر هستند. به عبارتی با تکنیک feature visualization می توان ترکیبی از کلمات را تصویر کرد. نورون های خاصی وجود دارند که به صورت مشخص تنها زمانی فعال می شوند که فقط یک ورودی مشخص را در ورودی ببینند (مانند سلول مادربزرگ) قسمت جالب تر کار OpenAI نشان دادن قدرت شبکه در به تصویر کشیدن مفاهیم انتزاعی مانند «ترس»، «آفریقا»، «میانه دهه ۹۰» توسط یک یا گروه کوچکی از نورون های شبکه است. ترکیبات این مفاهیم حتی جذاب تر و عجیب تر هستند. مثلا اگر ترس یک معماری بود چه شکلی می شد!؟

بخش دوم این پژوهش نشان می دهد که میتوان بازنمایی هایی بسیار اسپارس از مفهمومی مانند «سورپرایز شدن» را به صورت ترکیبی خطی از «جشن»، «شوکه شدن» و «خنده» یافت. این یافته شباهت های جالبی با موارد نورون های واقعی در مغز دارد.

(دقت کنید که شباهت بیش از حد شبکه های عصبی واقعی و مصنوعی هنوز یک فرضیه است و تفاوت های بنیادینی در اینگونه شبکه ها از ساختار و عناصر و کارکرد وجود دارد. بنابراین این گونه شبیه سازی ها هنوز از لحاظ علمی اعتبار کافی ندارند. این چیزی است که در خود مقالات هم به آن اشاره شده است.)

مقاله مفصل به انگلیسی

ترس (شوک) چه شکلی ست؟