اگر چیزی با احتمال صد در صد رخ دهد اطلاعات آن صفر بیت است و اگر با احتمال ۵۰ درصد اطلاعات آن یک بیت است و اگر احتمالش صفر باشد اطلاعات بی نهایت خواهد بود!! دقت کنید که مفهوم احتمال و به طبع آن احتمالات یک ویژگی سابجکتیو است به این معنا که اطلاعات یک رویداد ممکن است برای من صفر باشد و برای شما یک بیت باشد فقط به این خاطر که داده هایی که من به آن ها دسترسی دارم بیشتر از شماست!(این البته باز هم خود یک بحث طولانی فلسفی می طلبد)
میانگین اطلاعات بر روی تمام پیشامد های ممکنِ یک رویداد X هم آنتروپی است.

آنتروپی میزان بی نظمی موجود در یک سیستم را نشان می دهد مفهومی که از فیزیک قرض گرفته شده است. آنتروپیِ (منبع تولید) دنباله ی 001 ها بسیار کمتر از یک دنباله کاملا تصادفی است. به همین منوال یک دنباله از جملات زبان طبیعی آنتروپی کمتری از یک دنباله تصادفی از حروف پشت سر هم دارد! می توان آنتروپی را برای ویدیو و تصویر و هر داده ای به این شیوه محاسبه کرد. (دنباله آنتروپی ندارد بلکه منبع تولید آن که یک فرآیند تصادفی است stochastic process میتواند آنتروپی داشته باشد)
اینجا بخشی است که شاید با شهود روزمره همخوانی نداشته باشد. اگر توجه کرده باشید گفتیم که آنتروپی یا بی نظمی دنباله های ساده پایین است و بی نظمی دنباله های پیچیده مانند یک دنباله از اعداد تصادفی بسیار بالا است. به این ترتیب در این چارچوب بی نظمی و پیچیدگی یک مفهوم دارند. برخلاف تصور روزمره که پیچیدگی را با نظم یکی میگیریم پیچیدگی در این جا کاملا مترادف با بی نظمی است.

اما سوال مهمی که هنوز جواب نداده ایم: ما از کجا توزیع احتمالاتی که داده ها رو تولید میکنند پیدا کنیم؟ قبل از هر چیز توجه کنید که ما همواره در مورد منبع تولید داده سخن گفتیم و نه خود داده. به عبارتی ما همواره با یک فرآیند تولید داده ها سر و کار داریم که عنصری از تصادف را همراه با خود دارد. مثلا فرآیند تصادفی بارش باران. فرآیند تصادفی زبان، فرآیند تصادفی تصویر چهره ها.

دقت کنید در اینجا ما با برنامه ای سر و کار نداریم که خیلی سرراست مثل دنباله 001 ها که قبلا داشتیم بتواند داده ها را تولید کند. اینجا با یک برنامه احتمالاتی یا به عبارتی توزیع احتمال سر و کار داریم. وقتی با پدیده های طبیعی مثل زبان یا تصاویر و ویدیو و غیره سر و کار داریم فقط با توزیع های احتمالاتی سروکار داریم. و در این موارد فقط می توانیم آماره هایی را مانند میانگین و واریانس یا کواریانس درمورد داده ها جمع آوری کنیم. مثلا میانگین و واریانس تعداد حروف آ در متون فارسی. باید دقت کنید که در مورد زبان موضوع پیچیده است چون حتی اگر بدانید احتمال تک تک حروف چقدر است باز هم باید به این نکته توجه کنید که باید بدانید احتمال آمدن هر حرفی بعد از هر حرف دیگری چقدر است و حتی ارتباط بین سه حرف و الخ را بدانید. به عبارتی کواریانس یا آماره های دو به دو هم مهم می شوند.(برای ویدیو و صوت هم خودتان فکر کنید)

با این اوصاف حالا چه توزیع(=مدل) احتمالاتی بهتر می تواند مثلا دنباله حروف را توضیح دهد؟ دقیقا مثل قبل، مدلی که تعداد فرضیات کمتری داشته باشد یا به عبارتی، ساده تر باشد. اما اگر بخواهیم این را به آنتروپی ترجمه کنیم مدلی ارجح تر است که دارای بیشترین آنتروپی(=بی نظمی) باشد. چون اگر نظمی در داده ها پنهان باشد به صورت اتوماتیک آنتروپی(=بی نظمی) آن را کمتر می کند. اگر شما هیچ اطلاعاتی در مورد یک زبان جدید نداشته باشید بهتر است در ابتدا فرض کنید که تمام حروف آن با احتمال یکسانی ظاهر می شوند و هیچ ارتباطی هم بین حروف وجود ندارد(بیشترین بی نظمی). به ترتیب که اطلاعات بیشتری کسب می کنید می توانید مدل خود را بروز کنید. در این پروسه ما قدم های محتاطی بر میداریم همیشه ساده ترین مدل ها که دارای بیشترین آنتروپی(=بی نظمی) هستند را انتخاب می کنیم. به همین دلیل است که توزیع نرمال بسیار محبوب است زیرا توزیع نرمال ساده ترین مدل یا مدلی با بیشترین آنتروپی، با دانستن فقط میانگین و واریانس داده هاست. البته قطعا حدس زده اید مدلی که مثلا بتواند زبان را توصیف کند بسیار پیچیده تر از یک توزیع نرمال است.

بیشترین آنتروپی و کوتاه ترین برنامه در واقع دو روی یک سکه اند(از لحاظ ریاضی میتواند ثابت کرد که آنها خواص مشابهی دارند). ما شاید نتوانیم تصور کنیم که چطور می شود برنامه ای ساخت که دنباله جملات یک زبان را تولید کند یا یک ویدیوی واقعی درست کند اما درک آن از طریق توزیع احتمالاتی و آنتروپی ساده تر است.
پس بیایید حرفهایمان را یکپارچه تر کنیم. جدول زیر شاید به این کار کمک کند:

معیار هایی که هر مدل با استفاده از آنها کار میکند در واقع بایاس های مدل هستند. یادتان باشد هیچ دلیل قابل اثباتی برای این بایاس ها وجود ندارند. آن ها روش هایی هستند که با آن ها ما جهان خود را قابل فهم می کنیم. قواعدی که الگوزدگی مغز ما را در برخورد با دنیای بیرون نشان می دهند.

برشی از یک کتاب

بجز چند استثنا آتیست های امروزه همگی خود را لیبرال می دانند اما آتیسم به خودی خود هیچ محتوای سیاسی ندارد و بسیاری از آتیست ها در گذشته ضد لیبرال بودند. به طور مثال ولتر دیدگاه هایی داشت که تنها می توان گفت نژاد پرستانه است. بنیان گذاران فاشیسم و مارکسیسم هم لیبرال نبودند. بیولوژیست قرن نوزدهم Ernst Haeckel که به عنوان داروین آلمانی شناخته می شود مذهب فرگشتی ای را ایجاد که که بر اساس سلسله مراتب نژادی بود. Julian Huxley هم که یکی دیگر از پدران اومانیسم فرگشتی است همین عقاید را داشت. که در نهایت سنگ بناهای جنگ جهانی دوم شد به طور کلی آنچه به عنوان "علم اخلاق" می شناسیم بیشتر تابع ارزش های زمان خود بوده تا چیزی به اسم حقیقت!
امروز ما در جهان متفاوتی زندگی نمی کنیم sam harris آتیست جدید آمریکایی معتقد است که می تواند یک علم برای خوب و بد ایجاد کرد. به نظر او علم ارزش های لیبرال و خود مختاری شخصی را حمایت می کند. اما اینکه چرا باید اینطور باشد هرگز مورد سوال قرار نگرفته است. بسیاری از سیستم های ارزشی ادعا کرده اند که از حمایت علمی برخوردار هستند.

اگر شما الهیات را پشت سر بگذارید باید قبول کنید که ارزشهای انسانی نمی توانند مستقل از نیازها و تصمیمات بشر باشند. بدون شک برخی از ارزش ها جهانی هستند همان هایی که در اعلامیه جهانی حقوق بشر آمده اند مانند اینکه شکنجه یا تعقیب کردن افراد غلط است. اما ارزش های جهانی منجر به یک اخلاق جهانی نمی شوند این اشتباهی است که تقریبا همه ی پیروان سیستم های اخلاقی می کنند. دین باوران معتقدند ارزش های آنها جهان شمول هست چون از فطرت بشر می آید ناخداباوران هم ارزش های اخلاقی خود را ملهم از علم و تمدن امروزی میدانند. اما در واقعیت ارزش های اخلاقی جهانی پیش از آنکه به صورت مجموعه ای از آموزه های اخلاقی منسجم در بیایند با هم در تضاد قرار میگیرند. آیا شما آزادی بیشتر را به قیمت از دست دادن امنیت می طلبید؟ آیا به صلح معتقد هستید حتی اگر به معنای ادامه بی عدالتی باشد؟ وقتی افراد و گروه ها بین ارزش های جهانی ای که در یک زمینه خاص متضادهستند، قرار میگیرند سیستم های اخلاقی متفاوتی را می سازند. هر کسی که می خواهد اخلاقیاتش با چیزی فراتر جهان بی ثبات بشری حفظ شود بهتر است به ادیان قدیم مراجعه کند.

Seven Types of Atheism by John Gray

تبدیل طراحی روی تخته به کد css و وب با استفاده از فناوری پردازش تصویر!
این بخش بزرگی از کد زنی را برای کسانی که هیچ ایده ای از طراحی وب ندارند راحت میکند. فقط یه ماژیک و برنامه تبدیل!!

When you have full confidence in your own code

🔵یادگیری عمیق، مغز و متافیزیک!(قسمت هشتم)🔵

در مورد این حرف زدیم که مدل ها باید ساده یا دارای کمترین پیش فرض ممکن باشند. اما چقدر ساده؟ آلبرت اینشتین ‌می گوید: همه چیز باید تا جای ممکن ساده شود اما نه بیشتر! چه اتفاقی می افتد اگر مدل بیش از حد ساده باشد؟ برای درک این موضوع شکل زیر را در نظر بگیرید.

فرض کنید مجموعه از نقاط به شکل بالا داریم که داده های ما هستند. این داده ها دارای یک متغیر مستقل یعنی x و یک متغیر وابسته یعنی y هستند. این داده ها از چه مدلی یا توزیعی پیروی میکنند؟ می توان سه حالت در نظر گرفت. حالت اول یک فرضیه بسیار ساده است. یعنی فرض کنیم که داده ها از یک رابطه خطی بین متغیر اول و دوم آمده باشند(شکل اول سمت چپ). و عدم تبعیت هم صرفا یک نویز است. اما مشاهده میکنید که خطای این مدل خیلی بالاست. حالت دوم یک مدل بسیار پیچیده است. در این حالت خطا صفر است! اما این مدل آنقدر پیچیده شده که با دیدن داده های جدید نمی تواند آن را توضیح دهد و نیاز دارد که باز هم داستان جدید برای آن درست کند. در نهایت شکل سوم از سمت چپ یک مصالحه بین پیچیدگی و دقت انجام داده است.
پیچیدگی در این حالت می تواند به طول کوتاه ترین برنامه تعبیر شود که یک چند جمله ای را تولید میکند. طول این برنامه متناظر با درجه چند جمله ای است. حالت اول خطی است پس یک پارامتر دارد. حالت دوم درجه بالایی دارد(مثلا ۲۰) و سومی میانه است(درجه چهارم).
در هر کدام از حالت ها فرضیه به ما کمک میکند تا داده ها را فشرده تر توضیح دهیم. اگر شما یک پارامتر داشته باشید می توانید قدری داده ها را فشرده تر توضیح دهید اما با بیست پارامتر توضیح داده ها بسیار فشرده تر می شود اما مشکل، بزرگ شدن خود مدل است. پس ما دو اندازه داریم که میخواهیم همزمان کوچک کنیم:
۱- طول داده ها به کمک فرضیه (L(D|H
۲- طول فرضیه L(H)
که در اینجا L تابعی است که طول داده یا فرضیه را به بیت محاسبه می کند D داده و H‌ فرضیه است. فرضیه ای که مطابقت خوبی با داده ها داشته باشد به ما کمک می کند که داده ها را بیشتر فشرده کنیم. مثلا فرضیه ای که می گوید حروف زبان همه با یک احتمال ظاهر می شود یک فرضیه فوق العاده ساده(L(H) کوتاه) ولی بدون قدرت فشرده سازی است(L(D|H) بسیار بلند) اما فرضیه اینکه حروف زبان دارای توزیع مشخصی هستند که در ان "آ" دارای بیشترین احتمال و "ژ" دارای کمترین احتمال است، به ما کمک کرد که داده ها را فشرده تر کنیم. و درنهایت مدلی که در ذهن یک انسان از زبان وجود دارد دارای بیشترین قدرت فشرده سازی است!

در مثال بالا برای خط، L(H1) کوتاه است (یک فرضیه ساده با یک پارامتر) ولی L(D|H1)‌ بلند است! چون فقط با این فرضیه نمی توان خیلی در مورد داده توضیح داده و آن را فشرده کرد.
برای دومین فرضیه L(H3) بسیار طولانی است(یک فرضیه پیچیده با تعداد زیادی پارامتر) اما L(D|H3) کوتاه است. این فرضیه کاملا بر داده های مشاهداتی منطبق است. اما دقت کنید این باعث می شود مدل نتواند داده های جدید را خوب توضیح دهد! انگار مدل فقط داده های موجود را به خاطر سپرده است.
و برای سومین حالت L(H2) و L(D|H2) هر دو متوسط هستند