فرض کنید دوستتان ادعا میکند که یک سکه ی بدون مشکل (fair) دارد اما صد بار سکه را می اندازد و هر بار شیر می آید. اعتراض میکنید که چنین چیزی ممکن نیست اما او میگوید طبق نظریه احتمال آمدن چنین دنباله ای (½)^ 100 است دقیقا مانند هر دنباله ی دیگری که ممکن بود بیاید. پس اتفاق عجیبی رخ نداده است! این حرف درست است بنابراین یک جای کار می لگند! فکر کنید!

ادامه دارد..

مدل GPT-2 برای زبان فارسی (ParsGPT2)
بالاخره تیم هوشواره مدل GPT-2 را برای زبان فارسی آموزش داد. اینجا می توانید آن را تست کنید

احتمال منطق دانش

یکی از مشکلات و بدفهمی هایی که دانشجویان و حتی اساتید در درک بخش های زیادی از مفاهیم هوش مصنوعی مانند تشخیص الگوی آماری و یادگیری ماشین دارند، تشخیص ندادن تفاوت دو رویکرد کاملا متفاوت در آمار و احتمال به روش شناسی(Methodology) و معرفت شناسی (Epistemology) بنیادی ترین مفاهیم آمارو احتمال است. در اساس در میان تفاسیر گوناگون احتمال دو رویکرد مهم و متفاوت به تفسیر احتمال وجود دارد: احتمال بیزین و احتمال فرکانسی.

احتمال بیزین مقداری است که به یک حالت از دانش(state of knowledge) یا حالتی از باور(state of belief) اختصاص داده می شود. می توان احتمال بیز را به عنوان ادامه ی منطق گزاره ای دانست که ما را قادر می کند با فرضیات (Hypothesis) استدلال کنیم. فرضیات گزاره هایی می شوند که درستی و غلطی آن ها نامشخص است. از دیدگاه بیزی یک احتمال به فرضیه اختصاص داده می شود، در حالی که در احتمال فرکانسی یک فرضیه بدون هیچ احتمالی، مورد آزمون قرار می گیرد.

بنیادی ترین تفاوت این دو تفسیر در معرفت شناسی آن هاست: فرکانسی ها عینی گرا هستند به این معنا که احتمال را به صورت معقول بودن یک گزاره قابل تفسیر می دانند. به عبارت دیگر، احتمال یک گزاره متناظر است با یک باور معقول بین همه ی افراد (حتی یک ربات) که مجموعه ای از دانش مشترک دارند. این باور معقول باید مطابق با قوانین احتمال که خود با معیار های عقلانیت و سازگاری قابل توجیه اند، باشد. اما بیزین ها ذهنی گرا هستند بیزین ها قبول دارند که معیار های عقلانیت و سازگاری احتمال هایی که یک شخص دارد را محدود می کند اما این معیار ها باعث نمی شوند همه به یک نتیجه در مورد احتمال رویداد ها برسند زیرا معیارهای عقلانیت هنوز اجازه تغییرات زیادی در محاسبه احتمال می دهند. این تفاوت خود را در محاسبه احتمال های پیشینی(prior probabilities) نشان می دهد.

اگر زیاد اهل فلسفه نباشید شاید نتوانید با پاراگراف قبل ارتباط برقرار کنید اما باز هم راه های زیاد وجود دارد که بدانیم این تفاوت ها چیست. بسیاری از دوره های درسی در دنیا(از جمله ایران) مفهوم احتمال را با شمارش حالات و نیز مباحث ترکیبیات شروع می کنند اما تقریبا تمام آن چیزی که در آمار و احتمال کاربردی مانند مباحث هوش مصنوعی وجود دارد با این مفاهیم سر و کاری ندارد و حتی جالب تر از آن درک روزمره ما از احتمال هم بیشتر بیزینی است. تحقیقات زیادی در علوم شناختی نشان داده اند که ما انسان ها(و حتی بیشتر جانوران دیگر) مادرزادی بیزینی به دنیا می آییم. همانطور که بزودی در ادامه مبحث می بینیم این مزیت فوق العاده ای برای ماست.

https://vrgl.ir/8vD35

Here's an animation of a PyTorch DataLoader.
The Dataset has to be passed to the DataLoader. It's where you transform your data and where the inputs and labels are stored.

It is basically one big list of (input, label) tuples. So when you index in like dataset[i], it returns (input[ i ], label[ i ]).

The sampler and batch sampler are used to choose which inputs & labels to yield to the next batch.

They don't actually grab the inputs and labels, and the dataset doesn't actually deplete. They tell the DataLoader which indices to grab.

The collate function is what collates/combines the batch of examples into single x_batch, y_batch tensors.

pytorch handles a bunch of different types and shapes of data that could need to be collated.

If you need custom behaviour, you can pass in a sampler / batch_sampler and/or a collate function to your DataLoader.

More

ریاضیات، به سزاوار نه تنها دارای حقیقت، بلکه زیبایی برترست، زیبایی ای سرد و سخت، مانند یک تندیس، بدون دست یازیدن از هر بخش ضعیف تر طبیعت ما، بدون تله های مجلل نقاشی و موسیقی و با این حال به صورت تعالی بخشی خالص و قادر به کمالگرایی سخت طوری که تنها از برترین هنر ها بر می آید. روح واقعی لذت، تعالی و حس فراتر از انسان بودن که محک بالاترین برتری هاست در ریاضیات یافته می شود که به قطع در شعر هم هست.

معرفی ابزار
بسیاری از شما از grammarly برای درست کردن اشتباهات گرامری تان استفاده می کنید اما گرامرلی قادر به بازنویسی متن یا درست کردن بسیاری از خطاهای معنایی و حتی از نو ساختن جمله ها طوری که دقیقا منظورتان را برساند نیست. برای این مورد wordtune را استفاده کنید که بر اساس آخرین دستاوردهای پردازش زبان طبیعی کار میکند و براحتی در مرورگرها قابل استفاده است.

https://www.wordtune.com/

استدلال ربایشی:‌ قطعه پازل گم شده هوش مصنوعی (۲)

چارلز پیرس (Charles Sanders Peirce) ریاضیدان منطق دان و فیلسوف آمریکایی که به پدر پراگماتیسم شناخته می شود شخصی بود که منطق ربایشی را معرفی کرد و به دفاع از آن پرداخت. پیرس استدلال ربایشی را مقدم بر دو نوع دیگر استدلال می دانست. پیرس استدلال ربایشی را با اصطلاحات «توضیح» و «فرضیه» تعریف می کرد. تعریف خلاصه اون این بود: «استدلال ربایشی فرآیند شکل دهی به یک فرضیه توضیحی است.» او حتی گاهی از «فرضیه» به عنوان هم معنی برای استدلال ربایشی استفاده می کرد.

https://vrgl.ir/XlTC7

🔵ترس چه شکلی ست؟🔵

خیلی از مفاهیم زبانی به راحتی قابل انطباق با یک تصویر در جهان خارج نیست. این موضوع چیزی ست که در اوایل کودکی با انتزاع از اشیا و شکل ها در میابیم. یک کودک می داند ترس چیست و شاید حتی سعی کند آن را نقاشی کند اما «ترس» مفهوم مجردی است که تنها از شباهت خانوادگی مجموعه ی زیادی از تصاویر، رویداد ها و احساسات قابل درک است (لودویگ ویتگنشتاین).

از طرفی یکی از بزرگترین سوالات در نوروساینس همواره این بوده است که مغز چگونه چیز ها را بازنمایی می کند (representation). مثلا در یک کامپیوتر یک تصویر به صورت مجموعه ای از صفر ها و یکها در یک بخش از کامپیوتر روی هارد دیسک ذخیره شده است اما آیا مثلا نورونی وجود دارد که مادربزرگ شما را بازنمایی کند (Grandmother cell) این ایده بسیار کودکانه و خام بنظر می رسد و زمانی که برای اولین بار در دهه شصت میلادی توسط عصب شناس لهستانی Jerzy Konorski ارائه شد با استقبال زیادی مواجه نشد. اما با پیشرفت روش های اسکن مغز این ایده بیشتر تقویت شد. ظاهر ما سلول هایی در مغزمان داریم که تنها جنیفر آنیستون یا پسر همسایه ی دوران کودکیمان را بازنمایی می کنند! از یک دیدگاه کمی پیشرفته تر این شیوه نهایت sparsity در بازنمایی اطلاعات است. به عبارتی هر «چیز» تنها به یک سلول نگاشت می شود. اما پژوهش های دیگری نشان می دهند هرچند مغز در ذخیره ی اطلاعات به شدت اسپارس عمل می کند اما گاهی آن را به صورت پخش شده و نتیجه بر هم نهی چندین الگوی جهش (spike) در مغز بازنمایی می کند.

امروز(۴ مارچ ۲۰۲۱) OpenAI یکی دیگر از کشفیات جالب خود بر روی مدل CLIP را نشان داد که شباهت های زیادی به پژوهش های موازی در مغز دارد. این مدل قادر به بازنمایی همزمان تصاویر و متون است (Multimodal representation) و همین باعث قدرت بالای آن شده است. نتیجه ی این پژوهش نشان می دهد بیشتر نورونهای شبکه عصبی قابل تفسیر هستند. به عبارتی با تکنیک feature visualization می توان ترکیبی از کلمات را تصویر کرد. نورون های خاصی وجود دارند که به صورت مشخص تنها زمانی فعال می شوند که فقط یک ورودی مشخص را در ورودی ببینند (مانند سلول مادربزرگ) قسمت جالب تر کار OpenAI نشان دادن قدرت شبکه در به تصویر کشیدن مفاهیم انتزاعی مانند «ترس»، «آفریقا»، «میانه دهه ۹۰» توسط یک یا گروه کوچکی از نورون های شبکه است. ترکیبات این مفاهیم حتی جذاب تر و عجیب تر هستند. مثلا اگر ترس یک معماری بود چه شکلی می شد!؟

بخش دوم این پژوهش نشان می دهد که میتوان بازنمایی هایی بسیار اسپارس از مفهمومی مانند «سورپرایز شدن» را به صورت ترکیبی خطی از «جشن»، «شوکه شدن» و «خنده» یافت. این یافته شباهت های جالبی با موارد نورون های واقعی در مغز دارد.

(دقت کنید که شباهت بیش از حد شبکه های عصبی واقعی و مصنوعی هنوز یک فرضیه است و تفاوت های بنیادینی در اینگونه شبکه ها از ساختار و عناصر و کارکرد وجود دارد. بنابراین این گونه شبیه سازی ها هنوز از لحاظ علمی اعتبار کافی ندارند. این چیزی است که در خود مقالات هم به آن اشاره شده است.)

مقاله مفصل به انگلیسی

ترس (شوک) چه شکلی ست؟

روش non-negative matrix factorization (NMF) نشان می دهد سورپرایز شدن ترکیبی اسپارس از جشن، شوکه شدن و لبخند است!

what Mars sky look like at night?

Can we control GPT-3 to write stories on desired topics? In our recent project, we address the problem of controlled text generation without the massive infrastructure to train it! You can make GPT-3 (or any transformer-based model) to talk about things you like with almost zero extra effort!
#machinelearning #naturallanguageprocessing #transformers #gpt3

Paper (Accepted in the Journal of Natural Language Engineering): https://lnkd.in/esrF2eU

Code: https://lnkd.in/e2i4m-S

Blog: https://bit.ly/3bI4K9D

سال نو مبارک!

فعالیت من در ویرگول
https://virgool.io/@hilbert.cantor

Gustav Klimt - Death and Life

چون ابر به نوروز رخ لاله بشست

برخیز و بجام باده کن عزم درست

کاین سبزه که امروز تماشاگه توست

فردا همه از خاک تو برخواهد رست
(خیام)

چه میشد اگر میتوانستیم برای ساختن تکنولوژی های روزمره به جای استفاده از فلز و پلاستیک و بتن که با زمان از بین میروند و میتواند اثرات مخرب زیست محیطی داشته باشند از سیستم های زنده استفاده کنیم! پژوهشگران دانشگاه Vermont به تازگی توانسته اند مدل های کامپیوتری را به صورت زنده سنتز کنند.نتیجه رباتهای جدیدی به اسم xenobot شده اند که ویژگی های فوق العاده ای دارند. آنها از سلول های جنین قورباغه درست می شوند و عملا زنده هستند به همین خاطر می توانند با محیطشان تعامل کنند. خودشان را بازسازی کنند و به صورت خودسازماندهی از پس خطرات محیطی بر بیایند. Michael Levin معتقد است چنین ربات هایی تازه شروع به کار کرده اند و در آینده قادر خواهند بود حتی داخل بدن ما بروند و به درمان بیماری ها کمک کنند. این شروع یک دوره جدید در علم رباتیک است

(تصویر بالا مدل کامپیوتری، تصویر پایین سیستم زنده ی ساخته شده بر اساس مدل)

مقاله

کدها و وبسایت

من نمیدانم جهان چگونه مرا خواهد دید، اما از دید خودم مانند پسربچه ای هستم که در ساحل مشغول بازی است و گه گاهی حواسش با پیدا کردن سنگ ریزه ای صاف تر یا صدفی زیباتر پرت می شود، در حالی که اقیانوس عظیم حقیقت در برابرش کشف ناشده قرار دارد!

آیزاک نیوتون (۱۶۴۳-۱۷۲۷)