اول باید بگویم که شما تنها نیستید من هم هر روز با مفاهیمی آشنا میشم که اصلا قبلا نشنیده ام. بنظرم این یکی از ویژگی های رشته ماست. بخصوص اینکه هر روز چیزهای جدیدی بهش اضافه میشه. بنابراین از جنبه استرس و نگرانی باید بگم که اصلا نگران نباشید همه تقریبا همین وضعیت را دارند فقط افراد مختلف در جاهای مختلفی از رشته شون هستند. من وقتی وارد فضای حرفه ای و کاری برنامه نویسی شدم همین مشکلات رو داشتم. هر روز چیزهایی میشنیدم که برام تازگی داشت. این به شدت گیج کننده و ناامید کننده ست. ولی دقیقا به همین خاطر هست که به کامپیوتری ها بیشتر پرداخت میکنن چون تعداد آدم های زیادی نیستند که سریع جا نزنن. توصیه من هم به شما اینه که به هیچ وجه نا امید نشید. اما برای اینکه راحتتر باشید من چند راهکاری که به ذهنم میرسه رو بهتون میگم دنبال کنید:

۱- قبل از هرچیزی باید کاملا با انگلیسی (حداقل در حد خواندن مطالب فنی ) راحت باشید. اگه بخوام رک باشم باید بگم با سرچ کردن مطالب فارسی یا دوره های فارسی به جایی نمیرسید. چون چنین منابعی محدود اکثرا قدیمی و حتی غلط هستند! باید به کلی از فارسی سرچ کردن پرهیز کنید و همیشه به دنبال منابع انگلیسی باشید.

۲- دنبال تصویر کلی باشید:‌ اگه متوجه شدید چیزی رو نمیفهمید مثلا اتومیک توی دیتابیس فقط همون یک آیتم رو سرچ نکنید. چون چنین کاری باعث میشه هیچ وقت تصویر کلی نداشته باشید. اگه نمیدونید اتومیک چی هست احتمالا به این دلیل هست که درس دیتابیس رو خوب یاد نگرفتید!‌ این به هیچ وجه بد نیست همه ما نقص در خواندن درسهامون داشتیم. حالا باید یک منبع خوب و تاکید میکنم «به روز» پیدا کنید و شروع کنید به مطالعه ش. حالا لازم نیست کل کتابش رو مثلا مطالعه کنید اگه اون فصلی که در مورد «ACID» توی دیتابیس هست رو بخونید کافیه. ولی اگه احساس میکنید هنوز تصویر کلی ندارید باید کل کتاب رو بخونید. با این روش هم مجبور نیستید وقتتون رو کامل روی فقط یه کتاب بذارید. من به شدت کتاب های نشر oreilly رو توصیه میکنم. سعی کنید پیگیر این نشر باشید.

۳- کنجکاوٍ فعال باشید: اگه فلان لایبرری کارتون رو راه انداخت به همین اکتفا نکنید: سعی کنید حداقل به صفحه اصلی اون لایببری برید و بفهمید که چطور کار میکنه. داخل کدهای لایببری برید و بالا پایینشون کنید! حتی میتونید دیباگشون کنید و متغیرهای داخلیشون رو ببنید یا حتی تغییرشون بدید!! این کنجکاوی فعال کمک میکنه به گوشه هایی از برنامه ها نرم افزارها و کتابخانه ها سر بزنید که بیشتر افراد نمیرن! این دقیقا مثل دو تا بچه ست که یکی با ماشین کنترلیش بازی میکنه و کارش رو راه میندازه و دومی که بازش میکنه و به دقت آرمیچر سیم ها و همه چیز رو چک میکنه و دستکاری میکنه تا بفهمه چطور کار میکنه! و حتی کارهای جالب تری باهاش بکنه!

۴- بهترین ابزار یادگیری ساختنه:‌ اگه یه مفهوم رو میخونید سعی کنید پیاده سازیش کنید. مثلا میخونید کویک سورت چطور کار میکنه. قبل از اینکه سرچ کنید کدهاش رو برید و بسازیدش. به قول فاینمن: من فقط زمانی چیزی رو درک میکنم که بتونم بسازمش! اینطوری به تمام زوایایی که قبلا بهش فکر نمیکردید پی میبرید و دقیق تر میشید.

۵- چیزهایی که یاد گرفتید و براتون جذاب بوده رو به بقیه یاد بدید!! کسایی که بیشتر بلدن اونهایی هستن که بیشتر به بقیه یاد میدن! روشهای مختلفی هست برای اینکار از یاد دادن مستقیم، گذاشتن کد بر روی گیتهاب، نوشتن در موردش توی وبلاگ و توییتر و تلگرام و غیره. این کار علاوه به کمک به بقیه همچنین باعث میشه یه مجموعه و آرشیو خیلی خوب از کارهاتون داشته باشید که بعدا بهشون مراجعه کنید.

۶- پیگیر و علاقه مند باشید! سعی کنید سایت های مختلف برید و ببینید الان توی دنیا توی هر بخشی داره چه کارهایی انجام میشه. سعی کنید شما اون کسی باشه که به همکارش در مورد تکنولوژی های جدید میگه نه برعکس. برای این کار سایت زیاده. مثلا hackernews سایتهای پایتون realpython.com و غیره. یه روش عالی دیگه دنبال کردن آدم های حسابی از پژوهشگر ها تا برنامه نویس های مطرح دنیا توی توییتره. به تدریج یه شبکه بسیار مفید از آدم هایی رو میبینید که در مورد آخرین تکنولوژی ها حرف میزنن. کدهاشون رو شیر میکنن و غیره و غیره. و در نهایت بخش discover google search که بر اساس تاریخچه سرچ هاتون مطالب جالب و جدید از تمام وب براتون پیشنهاد میده!

معرفی ابزار

یکی از دشوارترین بخش های کار در فضای مجازی امن نگه داشتن اکانت ها و اطلاعاتتان هست. فناوری های زیادی در این مورد توسعه داده شده اند که هر کدام کار را برای کاربر ساده تر کرده و امنیت را بالا ببرند. اما همچنان شاهد درزهای امنیتی و هک شدن اکانت ها هستیم. یکی از دلایل این اتفاق رعایت نکردن نکات ساده ای است که الان تقریبا همه میدانند. مثلا اگر وبسایت یا اکانت مورد نظر به شما امکان two step verification که با شماره موبایل است را میدهد حتما آن را فعال کنید. از طرفی همه ما شاید نزدیک به صدها اکانت داشته باشیم و برای آن ها تقریبا از یک یا دو پسورد استفاده میکنیم (‌چون واقعا نمیتوان همه را به خاطر سپرد) خیلی از این پسوردها امن نیستند چون ترکیبی از اسم و سال تولد و غیره هستند که حدس زدنشان برای الگوریتم ها ساده است. اما مشکل بزرگتر استفاده از یک پسورد همه جا این است که اگر فقط یکی از این وبسایت ها امنیت درستی نداشته باشد و پسوردهای کاربرانش لو برود هکر ها قادر خواهند بود به بقیه اکانت ها حمله کنند! بهترین راه برای مقابله با این کار استفاده از پسوردهای قدرتمند و مختلف است. اما چطور میتوان آن ها را به خاطر سپرد؟
یکی از بهترین راه ها استفاده از مدیر پسورد (password manager)‌ها مانند lastpass و dashlane است. این مدیرپسورد ها علاوه بر پیشنهاد پسوردهای واقعا رندم و قوی این امکان را میدهند که آن ها را به خاطر نسپارید چون به صورت اتوماتیک آن ها را برایتان پر میکنند! همچنین اگر بر روی گوشی وارد یک اپ یا وبسایت شوید اگر برنامه گوشی این مدیر پسوردها را داشته باشید باز هم از طریق biometric authenticaion (که اکثر گوشی های هوشمند دارند) وارد برنامه می شوید بدون اینکه پسوردی را به خاطر بسپارید. تغییر به چنین ابزارهایی امنیت شما را تا حد بسیار زیادی بالا میبرد و کار به خاطر سپردن پسورد ها را از دوشتان بر میدارد.

✅Two important points using pytorch (possible interview questions):

🔵what is the difference between model.zero_grad() and optimizer.zero_grad()?

They are the same IF you pass all the model parameters to the optimizer. In other words if you have:

optimizer = optim.Adam(model.parameters(), ....)

then calling

optimizer.zero_grad()

is exactly has the same effect as

model.zero_grad()

I found it is safer to call model.zero_grad() to make sure all grads are zero. but why we have two calls in the first place? The distinction is useful for people that have multiple models in the same optimizer, or multiple optimizer for different part of their model.


🔵 what is the difference between model.eval() and torch.no_grad()?
-

model.eval()

will notify all your layers that you are in eval mode, that way, batchnorm or dropout layers will work in eval mode instead of training mode.
-

torch.no_grad() 

impacts the autograd engine and deactivate it. It will reduce memory usage and speed up computations but you won’t be able to backprop (which you don’t want in an eval script).

In inference mode you should first call model.eval() and then loop over test dataloader in torch.no_grad()

با خودت مثل کسی رفتار کن که انگار مسئول کمک کردن بهش هستی!

(جردن پترسون)

استدلال ربایشی:‌ قطعه پازل گم شده هوش مصنوعی (۱)


براحتی می توان گفت یکی از زیبا ترین فیلم های کلاسیک سینما «دوازده مرد خشمگین» اثر سیدنی لومت (sidney lumet) است. بر خلاف فیلم های پر زرق و برق امروزی که با استفاده از حقه ی جلوه های ویژه سعی در نگه داشتن مخاطب دارند یک فیلم سیاه و سفید مربوط به سال ۱۹۵۷ است که در یک اتاق با دوازده مرد خشمگین که فقط با هم بحث و مجادله می کنند یک ساعت و نیم مخاطب را میخکوب می کند! اما راز زیبایی این فیلم در چیست؟

من فیلم شناس یا منتقد سینما نیستم اما می توانم بگویم فیلم یکی از اساسی ترین نیروهای درونی ما یعنی قدرت استدلال و مباحثه را به چالش کشیده و آن را به کار می اندازد. این برخلاف رویه فیلم های امروزی هالیود است که تنها بر جنبه های بصری تاکید دارند! بیایید قدری ریز تر شویم و ببینیم چه چیزی در این فیلم اینقدر جذاب است که به طرح پرسش های اساسی تری در فلسفه و روانشناسی و در نهایت هوش مصنوعی هم می انجامد. (هشدار خراب شدن داستان در ادامه)

داستان با یک مورد جنایی شروع می شود: یک قتل! پسری که ظاهرا پدرش را به قتل رسانده است و اکنون توسط پلیس به عنوان مضنون اصلی دستگیر شده است. پرونده به ۱۲ داور داده می شود تا بررسی شود. ظاهرا تمام شواهد علیه پسرک است. ابتدا هر کدام از داوران «شواهدی» که وجود دارند را بررسی می کنند و هر کدام جداگانه به این نتیجه می رسند که این پسر بوده که باعث قتل پدرش شده است. شواهد همه در یک داستان درست و سازگار کنار هم قابل قرار گیری هستند و همین مجرم بودن پسر را بسیار محتمل می کند. به طور مثال چند ساعت قبل از قتل همسایه ها شنیده بودند که پسرک بر سر پدرش فریاد می زند که تو را می کشم! از طرفی ادعای پسر مبنی بر اینکه در زمان قتل در سینما بوده است درست نبود چون کسی او را در سینما ندیده است و غیره و غیره!! این در حالی است که یکی از داوران شواهد را در یک داستان دیگر قابل تفسیر می داند که باعث نمی شود که پسرک را مجرم بدانیم. آن داور به زیبایی و دقت فراوان تک تک استدلال های هیئت داوران را خنثی می کند و در نهایت همه را متقاعد می کند که چرا پسر با همان شواهد بی گناه است.
ادامه

شرکت Boston Dynamics در آستانه سال نوی میلادی جدید یک ویدیو بسیار شاد از رقص ربات هایش را رونمایی کرده است که در عین حال میزان توانایی حرکتی آن ها را هم نشان می دهد.

یوتویوب

دانلود با کیفیت ۷۲۰

یک کنجکاوی ریاضی جالب

اعدادی نسبت به هم اول هستند که هیچ مضرب مشترکی نداشته باشند. مثلا ۹ و ۴ نسبت به هم اول هستند چون ۹=۳×۳ و ۴=۲×۲ در حالی که ۱۲ و ۱۵ نسبت به هم اول نیستند چرا که هر دو به سه قابل بخش هستند. حالا سوال این است:
احتمال اینکه دو عدد طبیعی تصادفی انتخاب کنیم و نسبت به هم اول باشند چقدر است؟
وقتی میگوییم دو عدد طبیعی منظور از تمام بازه اعداد طبیعی است. بیایید از ساده شروع کنیم
احتمال اینکه یک عدد بر عدد اول p بخش پذیر باشد 1/p است. یعنی مثلا از هر ۷ عدد یکی حتما بر ۷ بخش پذیر است. بنابراین احتمال اینکه هر دو عدد بر p بخش پذیر باشند صرفا حاصل ضرب احتمال های جدای آن هاست: 1/p^2
حالا احتمال اینکه یکی از آن ها بر p بخش پذیر نباشد 1-1/p^2 است. (قدری تامل کنید. اینجا به صورت ضمنی از قاعده دمورگان استفاده کردیم. نقیض آ و ب می شود نقیض آ یا نقیض ب)
از طرفی می دانیم رویداد بخش پذیر بودن بر عدد اول p از عدد اول q مستقل است ( احتمال اینکه عددی هم بر p و هم بر q بخش پذیر باشد 1/pq است دقت کنید این فقط برای اعداد اول صادق است چون اعداد اول ضریب مشترک ندارند!)
در نهایت احتمال اینکه دو عدد واقعا نسبت به هم اول باشند این است که بر هر عدد اول p حداقل یکی از آنها بر آن بخش پذیر نباشد:

دراینجا تابع جدیدی وارد شده به اسم تابع زتا. و میزان این احتمال با عدد پی مرتبط است!! جزییات محاسبه را می توانید اینجا ببینید. این یکی از بزرگترین شگفتی حل نشده در ریاضیات است. تابع زتا به طرز اسرارآمیزی بین اعداد اول و آنالیز ریاضی (و مشخصا عدد پی) رابطه بر قرار می کند

یک ویدیو جالب در مورد تابع زتا و حدس ریمان بزرگترین مساله حل نشده ریاضیات

🔵تخیل ماشینی!🔵

We should give up on the idea of magic because the science itself is the most magical phenomena in the world!


یکی از قابلیت های منحصر بفرد انسان قدرت تخیل است!‌ مثلا من می توانم بگویم در ذهنت این را تصور کن:

«یک مانکن زن که یک کت چرمی سیاه و یک دامن کوتاه چین دار طلایی به تن دارد»
« یک ساعت سبز پنج گوشه»

ما تصویری ذهنی از چنین چیزهایی میسازیم حتی اگر کسی تا به حال چنین چیزی به ذهنش نرسیده باشد! اما این کار دیگر محدود به بشر نیست!
امروز (۵ ژانویه ۲۰۲۱) کمپانی OpenAI نوع جدیدی از پژوهش مولتی مودال (Multimodal) به نام DALL.E را منتشر کرد که با گرفتن ورودی متنی تصویر متناظرش را میسازد (یا تخیل می کند!!). با اینکه این ایده جدید نیست اما کیفیت و دقت خروجی های OpenAI واقعا خیره کننده است. معماری این روش همانطور که ممکن است حدس زده باشید GPT3 و بر اساس ترنسفورمر ها است.
این سیستم ورودی های متن و تصویر را یکجا در یک استریم داده که متشکل از ۱۲۸۰ توکن است میگیرد و با استفاده از maximum likelihood به دنبال یافتن توکن بعدی است.
اما این مدل فراتر هم می رود و می تواند چیزهایی را تصور کند که بسیار به هم بی ربط هستند و قبلا به نظر می رسید که تنها ذهن انسان قادر به انجام آن باشد. مثلا: یک پنگوئن که از بادمجان درست شده است! و مدل قادر به بازنمایی آن است.
علاوه بر این ها مدل قادر به بازنمایی جملاتی است که نیاز به دانش دارند: مثلا غذای چینی یا پل گلدن بریج. جملاتی که نیاز به درک زمان دارند: یک تلفن در دهه بیست میلادی. و جملاتی که نیاز به استدلال تصویری دارند: کشیدن همان تصویر در یک زاویه دیگر یا تصور کردنش با رنگ و نوشته دیگر.

پست اصلی

دمویی از یان لیکان (یکی از بزرگان یادگیری عمیق) از سال ۱۹۹۳ زمانی که ۳۲ سال سن داشت و اولین شبکه کانولوشونی دنیا را برای تشخیص اعداد معرفی کرد.

ایالات متحده آمریکا دفتر هوش مصنوعی ملی (National Artificial Intelligence Initiative Office) را عملیاتی کرد. این دفتر که زیر مجموعه دفتر سیاست علم و فناوری است وظیفه دار دوبرابر کردن سرمایه گذاری در حوزه هوش مصنوعی، انتشار اولین راهنمای تنظیماتی هوش مصنوعی در جهان و کارهای دیگر است.
هدف اصلی این دفتر استفاده از تمامی امکانات فدرال برای نگه داشتن آمریکا به عنوان پرچم دار هوش مصنوعی و تکنولوژی های مرتبط با آن در دنیاست.
گمانه زنی های زیادی در مورد نقش این سازمان وجود دارد و برخی با دیده ی تردید به آن نگاه کرده و برخی از آن استقبال کرده اند. تلاش های دولتی آمریکا به عنوان مثال در حوزه فضا با بودجه های سرسام آور برای ناسا در دهه های ۶۰ و ۷۰ میلادی بسیار موثر بود اما شاید چنین ساز و کاری امروزه دیگر به همان قوت جواب ندهد. بیشتر شرکت ها به دنبال دخالت های کمتر دولتی و قوانین دست و پاگیر کمتر هستند. به عقیده آنها بازار آزاد و ثبات سیاسی در نهایت کشور را در صدر نگه می دارد

از طرفی نماد این دفتر هم جالب توجه است. این نماد نشان دهنده شبکه ی عصبی با ۸ نود است که نود هشتم به سمت مرکز عقاب و پرچم آمریکا برمیگردد.

🔵Some notes on the success of OpenAI in AI🔵


1- The raw power of dataset design. These models aren't radically new in their architecture or training algorithm. Instead, their impressive quality is largely due to careful training at scale of existing models on large, diverse datasets that OpenAI designed and collected.

2- Why does diverse data matter? Robustness. Can't generalize out-of-domain? You might be able to make most things in-domain by training on the internet. But this power comes w/ a price: the internet has some extremely dark corners (and these datasets have been kept private)

3- The "data-ing" is often more important than the modeling And openai put *painstaking* effort into the data-ing for these models.

4- The promise of "impact teams." Teams that are moderately large, well-resourced, and laser-focused on an ambitious objective can accomplish a lot

5-The openai teams are multidisciplinary—different members work on algorithms, data collection, infra, evaluation, policy/fairness, etc. This is hard in academia, not just b/c of resources but also incentives—academia often doesn't assign credit well to members of large teams

6 - Soul-searching for academic researchers? A lot of people around me are asking: what can I do in my PhD that will matter? we don't expect AeroAstro PhD students to build the next airliner

7- I'm also optimistic here—I think there a lot of opportunity for impact in academia, including advancing:
- efficiency
- equity
- domain-agnosticity
- safety + alignment
- evaluation
- theory
…and many other as-of-yet undiscovered phenomena!

8- We're entering a less open era of research. Companies don't want to release these models, both because of genuine safety concerns but also potentially because of their bottom line.

thread

🔵معمای دانش متعارفی🔵


چگونه ما جهان اطرافمان را براحتی درک میکنیم اما هوش مصنوعی در درک آن دچار مشکل است. یکی از بزرگترین سوالات هوش مصنوعی از روز های نخست این بود که چگونه میتوان آنچه را که به نام «فهم متعارفی» (common sense) میشناسیم در سیستم های هوش مصنوعی وارد کنیم. به طور مثال اگر من بگویم فلانی چاق است و به دکتر رفته است شما می دانید که او دکتر تغذیه رفته است یا حتی ضمنی تر او باید زمانی را با دکتر تنظیم کند یا اینکه معمولا مردم پیش دکتر می روند نه اینکه دکتر پیش ان ها بیاید. و غیره و غیره! اینها فهم ما از جهان اطراف است که جایی نوشته نشده است ولی همه ما می دانیم! آن ها در واقع دانش پیش زمینه ای هستند که تعامل ما با بقیه را امکان پذیر می کند. حجم چنین دانشی بسیار بزرگتر از چیزی است که تصور می کنید.
تلاش های بسیار زیادی شده است که چنین دانشی را به مدل های هوش مصنوعی آموزش داده شود. حتی نوشتن این دانش خود مساله ی پیچیده ای است که روش های زیادی برای حمله کردن به آن وجود دارد. از پر کردن جای خالی در یک جمله گرفته تا استدلال در مورد وقایع غیر ممکن. مثلا ما می توانیم درک کنیم اگر فلان اتفاق نمی افتاد نتیجه اش چه میشد (counterfactual reasoning) یا با دادن چند کلمه می توانیم یک جمله از آن درست کنیم چون می توانیم رابطه ی بین مفاهیم را درک کنیم.
در نوشتار زیر من مهمترین دیتاست های این زمینه که بیشترشان توسط موسسه AllenAI توسعه داده شده اند را معرفی کرده ام. این نوشتار سعی شده کامل باشد و به تمام این مسائل اشاره کند

(به زبان انگلیسی)

https://hilbert-cantor.medium.com/a-curated-list-of-the-most-important-common-sense-datasets-in-nlp-66963567d00b

Of course! I was an ordinary person who studied hard! there is no miracle people

تمام نویسندگان مقاله بوزون هیگز
این مقاله فیزیک با ۵۱۵۴ نویسنده رکورد بیشترین تعداد نویسنده یک مقاله در تاریخ را شکست.
تنها ۹ صفحه ی ابتدایی این مقاله ۳۳ صفحه ای در ۱۴ می ۲۰۱۵ در مقاله Physical Review Letters منتشر شد مابقی ۲۴ صفحه اسم نویسندگان و محل های پژوهششان بود.
قبلا زیست شناسان از انتشار مقاله ای با بیش از ۱۰۰۰ نویسنده ناراحت بودند اما چنین پدیده ای در فیزیک سابقه دارد. در سال ۲۰۰۸ هم مقاله ی دیگری با ۳۰۰۰ نویسنده در مورد آزمایش CMS انجام شده بود

پنج مشی اصلی به هوش مصنوعی
منبع: کتاب Master algorithm by pedro domingos

بیشتر