🌕یک تجربه شخصی🌕
شاید شما هم عکس هایی از مردم اروپا یا آمریکا در مترو یا مکان های عمومی در شبکه های اجتماعی دیده باشد که همه در حال کتاب خواندن هستند و زیرش در مورد سرانه بالای مصرف کتاب در این کشور ها گفته و آخرش هم به سرمان کوبیده اند که ای مردم نادان جهان سوم چرا کتاب نمی خوانید؟!! این البته خیلی از واقعیت دور نیست اما تمام واقعیت هم نیست!
برای من هم به عنوان یک شخص که خاطره ام از مترو تنها به فشار قبر و آدامس اوربیت و پاور بانک فروشان خلاصه می شود دیدن چنین صحنه هایی در نوع خود جدید و جالب بود. اما سعی کردم جلوتر برم تا اول به صورت دزدکی ببینم عنوان کتاب هایشان چیست یا سر صحبت را باز کنم و ببینم محتوای کتاب هایی که می خوانند چیست. بیشتر مردم کتاب می خوانند حتی کسانی که دانشگاه نرفته اند. اما چه کتاب هایی می خوانند؟ در چند مورد ابتدایی با کسانی روبرو می شدم که رمان های پرفروش را می خوانند. البته منظورم از رمان پرفروش قطعا رمان برادارن کارامازوف داستایوفسکی یا بیگانه آلبرکامو یا مسخ کافکا نیست. رمان ها در بیشتر مواقع بسیار سطحی و زرد بودند. اما این چند مورد اول استثنا نبودند. بعد از مدتی متوجه شدم که تقریبا به همان سختی که در ایران می شود آدم کتاب خوان پیدا کرد اینجا هم به سختی کسی پیدا می شود که حداقل یک کتاب متوسط(نه حتی کتاب های عمیق تر) خوانده باشد. ارزش محتوایی بیشتر این کتاب ها از دیدن حتی یک کلیپ یوتیوب یا سریال آبکی هم کمتر هستند.
در فرهنگ آموزشی ما(نه سیستم آموزشی که کلمه ای بس کلیشه ای ست) که نه فقط مدرسه بلکه خانواده و حتی فرهنگ گذشتگان ماست، کتاب جایگاه خاصی دارد. یاد گرفته ایم که ما کتاب می خوانیم تا دانا شویم و دانشمان بیشتر شود. کتاب باعث می شود دل پیر برنا شود و غیره و غیره! همین موضوع باعث شد که تصورمان این باشد زمانی کتاب می خوانیم که تمام مشکلاتمان حل شده باشد پانصد میلیارد تومان در حسابمان باشد سفر های دور دنیامان را رفته باشیم و بعد از آن صد میلیارد دارایی صد میلیون تومانش را صرف یک کتابخانه شخصی می کنیم می رویم روی صندلی چرمی مان می نشینیم و در حالی که قهوه ترکمان کنار دستمان است و نسیم مطبوع عصر می آید کتاب فلسفه غرب را از قفسه بر میداریم و به خودمان زحمت می دهیم که لایش را باز کنیم!!
اما هیچگاه کسی به ما نگفت که اولین دلیل کتاب خواندن لذت بردن است نه عالم و دانشمند شدن! اگر از شما بپرسم وقت آزادتان وقتی از سر کار و دانشگاه بر میگردید چکار می کنید. شاید بگویید یک سریال نگاه میکنم یا بازی کامپیوتری یا اینستاگرام گردی!! باید بگویم می توانید همین کار را با کتاب هم بکنید! البته نه کتاب فلسفه هگل! می توانید یک رمان جذاب و زرد بگیرید و براحتی مطالعه کنید! می گویید خوب اگر کتاب زرد است چه فایده ای دارد؟ و من هم میگویم هیچ فایده ای دقیقا مثل همان سریال نگاه کردن یا بازی کامپیوتری! شما می توانید کتاب بخوانید که تفریح کنید! این بنظرم اولین و مهمترین تغییر دیدگاه است. باز هم ممکن است بپرسید خوب اگر تفریح است چه فرقی دارد؟ همان سریالم را می بینم و چشمان خودم را هم کور نمی کنم. اما قبل از آنکه مواظب چشمان نازنینتان باشید که کتاب (و نه موبایل و مانیتور!!) آن را ضعیف کند به چند نکته می خواهم اشاره کنم.
هرچند گفتم کتاب خواندن می تواند یک تفریح مفرح باشد اما این تفریح خوشمزه است! شاید کسانی را دیده باشید که رمان یک فیلم را دیده باشند و برایتان بگویند که رمانش خیلی بهتر از فیلم بود! اگر اهل کتاب نباشید به هیچ عنوان نمی توانید قبول کنید که چطور مشتی کلمات و صفحات بی روح می تواند از فیلمی با هزاران جلوه ویژه و موسیقی و بازیگران جذاب بهتر باشد! اینجاست که باید بگویم شما از تخیل تان که عجیب و غریب ترین بخش وجود خودتان است غافل مانده اید! صد البته متقاعد کردن کسی که آن را تجربه نکرده است دشوار است. اما کتاب خواندن صرفا بیدار کردن قوه تخیل نیست. کتاب خواندن قوه های دیگر انسان را هم بیدار می کند. داستان به شما امکان می دهد که در دنیای دیگران هم زندگی کنید و درد ها و شادی هایشان را بفهمید. و صد البته کتاب خوانی انسان را «نرم خو» می کند! کسی که حتی برای نیم ساعت در درون خودش غرق می شود انسانی است که آرامش را حس می کند و کمتر درگیر با سطحیات و مبتذلات می شود. حتی اگر فقط رمان های مبتذل بخواند!!
به عنوان کسی که سالی بیشتر از دو کتاب نمی خواند هدفم این بود که تنها یک راه زیبای دیگر برای لذت بردن از زندگی به کسانی نشان دهم که حتی همان دو کتاب را نمی خوانند. تغییر دیدگاه دیگر این است که بدانیم کتاب خواندن ارزش نیست و نمی توان با آن یک عده را احمق تر یا دانا تر از دیگران دانست. اگر هدف کسب معرفت است، به قول بزرگی «معرفت همه جا هست»
شاید شما هم عکس هایی از مردم اروپا یا آمریکا در مترو یا مکان های عمومی در شبکه های اجتماعی دیده باشد که همه در حال کتاب خواندن هستند و زیرش در مورد سرانه بالای مصرف کتاب در این کشور ها گفته و آخرش هم به سرمان کوبیده اند که ای مردم نادان جهان سوم چرا کتاب نمی خوانید؟!! این البته خیلی از واقعیت دور نیست اما تمام واقعیت هم نیست!
برای من هم به عنوان یک شخص که خاطره ام از مترو تنها به فشار قبر و آدامس اوربیت و پاور بانک فروشان خلاصه می شود دیدن چنین صحنه هایی در نوع خود جدید و جالب بود. اما سعی کردم جلوتر برم تا اول به صورت دزدکی ببینم عنوان کتاب هایشان چیست یا سر صحبت را باز کنم و ببینم محتوای کتاب هایی که می خوانند چیست. بیشتر مردم کتاب می خوانند حتی کسانی که دانشگاه نرفته اند. اما چه کتاب هایی می خوانند؟ در چند مورد ابتدایی با کسانی روبرو می شدم که رمان های پرفروش را می خوانند. البته منظورم از رمان پرفروش قطعا رمان برادارن کارامازوف داستایوفسکی یا بیگانه آلبرکامو یا مسخ کافکا نیست. رمان ها در بیشتر مواقع بسیار سطحی و زرد بودند. اما این چند مورد اول استثنا نبودند. بعد از مدتی متوجه شدم که تقریبا به همان سختی که در ایران می شود آدم کتاب خوان پیدا کرد اینجا هم به سختی کسی پیدا می شود که حداقل یک کتاب متوسط(نه حتی کتاب های عمیق تر) خوانده باشد. ارزش محتوایی بیشتر این کتاب ها از دیدن حتی یک کلیپ یوتیوب یا سریال آبکی هم کمتر هستند.
در فرهنگ آموزشی ما(نه سیستم آموزشی که کلمه ای بس کلیشه ای ست) که نه فقط مدرسه بلکه خانواده و حتی فرهنگ گذشتگان ماست، کتاب جایگاه خاصی دارد. یاد گرفته ایم که ما کتاب می خوانیم تا دانا شویم و دانشمان بیشتر شود. کتاب باعث می شود دل پیر برنا شود و غیره و غیره! همین موضوع باعث شد که تصورمان این باشد زمانی کتاب می خوانیم که تمام مشکلاتمان حل شده باشد پانصد میلیارد تومان در حسابمان باشد سفر های دور دنیامان را رفته باشیم و بعد از آن صد میلیارد دارایی صد میلیون تومانش را صرف یک کتابخانه شخصی می کنیم می رویم روی صندلی چرمی مان می نشینیم و در حالی که قهوه ترکمان کنار دستمان است و نسیم مطبوع عصر می آید کتاب فلسفه غرب را از قفسه بر میداریم و به خودمان زحمت می دهیم که لایش را باز کنیم!!
اما هیچگاه کسی به ما نگفت که اولین دلیل کتاب خواندن لذت بردن است نه عالم و دانشمند شدن! اگر از شما بپرسم وقت آزادتان وقتی از سر کار و دانشگاه بر میگردید چکار می کنید. شاید بگویید یک سریال نگاه میکنم یا بازی کامپیوتری یا اینستاگرام گردی!! باید بگویم می توانید همین کار را با کتاب هم بکنید! البته نه کتاب فلسفه هگل! می توانید یک رمان جذاب و زرد بگیرید و براحتی مطالعه کنید! می گویید خوب اگر کتاب زرد است چه فایده ای دارد؟ و من هم میگویم هیچ فایده ای دقیقا مثل همان سریال نگاه کردن یا بازی کامپیوتری! شما می توانید کتاب بخوانید که تفریح کنید! این بنظرم اولین و مهمترین تغییر دیدگاه است. باز هم ممکن است بپرسید خوب اگر تفریح است چه فرقی دارد؟ همان سریالم را می بینم و چشمان خودم را هم کور نمی کنم. اما قبل از آنکه مواظب چشمان نازنینتان باشید که کتاب (و نه موبایل و مانیتور!!) آن را ضعیف کند به چند نکته می خواهم اشاره کنم.
هرچند گفتم کتاب خواندن می تواند یک تفریح مفرح باشد اما این تفریح خوشمزه است! شاید کسانی را دیده باشید که رمان یک فیلم را دیده باشند و برایتان بگویند که رمانش خیلی بهتر از فیلم بود! اگر اهل کتاب نباشید به هیچ عنوان نمی توانید قبول کنید که چطور مشتی کلمات و صفحات بی روح می تواند از فیلمی با هزاران جلوه ویژه و موسیقی و بازیگران جذاب بهتر باشد! اینجاست که باید بگویم شما از تخیل تان که عجیب و غریب ترین بخش وجود خودتان است غافل مانده اید! صد البته متقاعد کردن کسی که آن را تجربه نکرده است دشوار است. اما کتاب خواندن صرفا بیدار کردن قوه تخیل نیست. کتاب خواندن قوه های دیگر انسان را هم بیدار می کند. داستان به شما امکان می دهد که در دنیای دیگران هم زندگی کنید و درد ها و شادی هایشان را بفهمید. و صد البته کتاب خوانی انسان را «نرم خو» می کند! کسی که حتی برای نیم ساعت در درون خودش غرق می شود انسانی است که آرامش را حس می کند و کمتر درگیر با سطحیات و مبتذلات می شود. حتی اگر فقط رمان های مبتذل بخواند!!
به عنوان کسی که سالی بیشتر از دو کتاب نمی خواند هدفم این بود که تنها یک راه زیبای دیگر برای لذت بردن از زندگی به کسانی نشان دهم که حتی همان دو کتاب را نمی خوانند. تغییر دیدگاه دیگر این است که بدانیم کتاب خواندن ارزش نیست و نمی توان با آن یک عده را احمق تر یا دانا تر از دیگران دانست. اگر هدف کسب معرفت است، به قول بزرگی «معرفت همه جا هست»
🔵یادگیری عمیق، مغز و متافیزیک!(قسمت هفتم)🔵
ایده انتقال داده شاید پدیده ای مدرن به نظر برسد که خاستگاه آن هم مدرن است اما طبیعت به ما نشان می دهد که این کار را قبلا توانسته با شگفتی بالایی انجام دهد. تقریبا بیشتر پدیده های بیولوژیکی در انواع و اقسام انتقال پیام های خود از نظریه اطلاعات استفاده میکنند. واضح ترین مثال آن خود فرگشت است. انتقال اطلاعات ژنتیکی از یک نسل به نسل دیگر از طریق راه حل کدهای ژنتیکی به صورت DNA صورت می گیرد. در واقع DNA ها برنامه هایی هستند که اجزا اساسی ساخت یک موجود را از والد به فرزند مشخص میکنند. اگر DNA را مانند یک برنامه در نظر بگیریم حاملگی و رشد و نمو جنین در رحم به اجرای آن برنامه قابل تفسیر است. از این دید DNA بسیار بهینه است. اما اطلاعات چیست؟
اگر اتفاقی با احتمال بسیار بالا رخ بدهد ما خیلی غافلگیر نمی شویم چنین داده ای دارای ارزش اطلاعاتی کمی است. مثلا اگر به ما بگویند فردا خورشید طلوع می کند اطلاعات زیادی به ما نداده اند. اما اگر ما وسط تابستان باشیم و به ما بگویند فردا برف خواهد آمد اطلاعات زیادی به ما داده اند. پس اطلاعات با احتمال مرتبط است به صورت دقیق تر میزان اطلاعات رویداد X برابر است با(لگاریتم در پایه دو است):
ایده انتقال داده شاید پدیده ای مدرن به نظر برسد که خاستگاه آن هم مدرن است اما طبیعت به ما نشان می دهد که این کار را قبلا توانسته با شگفتی بالایی انجام دهد. تقریبا بیشتر پدیده های بیولوژیکی در انواع و اقسام انتقال پیام های خود از نظریه اطلاعات استفاده میکنند. واضح ترین مثال آن خود فرگشت است. انتقال اطلاعات ژنتیکی از یک نسل به نسل دیگر از طریق راه حل کدهای ژنتیکی به صورت DNA صورت می گیرد. در واقع DNA ها برنامه هایی هستند که اجزا اساسی ساخت یک موجود را از والد به فرزند مشخص میکنند. اگر DNA را مانند یک برنامه در نظر بگیریم حاملگی و رشد و نمو جنین در رحم به اجرای آن برنامه قابل تفسیر است. از این دید DNA بسیار بهینه است. اما اطلاعات چیست؟
اگر اتفاقی با احتمال بسیار بالا رخ بدهد ما خیلی غافلگیر نمی شویم چنین داده ای دارای ارزش اطلاعاتی کمی است. مثلا اگر به ما بگویند فردا خورشید طلوع می کند اطلاعات زیادی به ما نداده اند. اما اگر ما وسط تابستان باشیم و به ما بگویند فردا برف خواهد آمد اطلاعات زیادی به ما داده اند. پس اطلاعات با احتمال مرتبط است به صورت دقیق تر میزان اطلاعات رویداد X برابر است با(لگاریتم در پایه دو است):
اگر چیزی با احتمال صد در صد رخ دهد اطلاعات آن صفر بیت است و اگر با احتمال ۵۰ درصد اطلاعات آن یک بیت است و اگر احتمالش صفر باشد اطلاعات بی نهایت خواهد بود!! دقت کنید که مفهوم احتمال و به طبع آن احتمالات یک ویژگی سابجکتیو است به این معنا که اطلاعات یک رویداد ممکن است برای من صفر باشد و برای شما یک بیت باشد فقط به این خاطر که داده هایی که من به آن ها دسترسی دارم بیشتر از شماست!(این البته باز هم خود یک بحث طولانی فلسفی می طلبد)
میانگین اطلاعات بر روی تمام پیشامد های ممکنِ یک رویداد X هم آنتروپی است.
میانگین اطلاعات بر روی تمام پیشامد های ممکنِ یک رویداد X هم آنتروپی است.
آنتروپی میزان بی نظمی موجود در یک سیستم را نشان می دهد مفهومی که از فیزیک قرض گرفته شده است. آنتروپیِ (منبع تولید) دنباله ی 001 ها بسیار کمتر از یک دنباله کاملا تصادفی است. به همین منوال یک دنباله از جملات زبان طبیعی آنتروپی کمتری از یک دنباله تصادفی از حروف پشت سر هم دارد! می توان آنتروپی را برای ویدیو و تصویر و هر داده ای به این شیوه محاسبه کرد. (دنباله آنتروپی ندارد بلکه منبع تولید آن که یک فرآیند تصادفی است stochastic process میتواند آنتروپی داشته باشد)
اینجا بخشی است که شاید با شهود روزمره همخوانی نداشته باشد. اگر توجه کرده باشید گفتیم که آنتروپی یا بی نظمی دنباله های ساده پایین است و بی نظمی دنباله های پیچیده مانند یک دنباله از اعداد تصادفی بسیار بالا است. به این ترتیب در این چارچوب بی نظمی و پیچیدگی یک مفهوم دارند. برخلاف تصور روزمره که پیچیدگی را با نظم یکی میگیریم پیچیدگی در این جا کاملا مترادف با بی نظمی است.
اما سوال مهمی که هنوز جواب نداده ایم: ما از کجا توزیع احتمالاتی که داده ها رو تولید میکنند پیدا کنیم؟ قبل از هر چیز توجه کنید که ما همواره در مورد منبع تولید داده سخن گفتیم و نه خود داده. به عبارتی ما همواره با یک فرآیند تولید داده ها سر و کار داریم که عنصری از تصادف را همراه با خود دارد. مثلا فرآیند تصادفی بارش باران. فرآیند تصادفی زبان، فرآیند تصادفی تصویر چهره ها.
دقت کنید در اینجا ما با برنامه ای سر و کار نداریم که خیلی سرراست مثل دنباله 001 ها که قبلا داشتیم بتواند داده ها را تولید کند. اینجا با یک برنامه احتمالاتی یا به عبارتی توزیع احتمال سر و کار داریم. وقتی با پدیده های طبیعی مثل زبان یا تصاویر و ویدیو و غیره سر و کار داریم فقط با توزیع های احتمالاتی سروکار داریم. و در این موارد فقط می توانیم آماره هایی را مانند میانگین و واریانس یا کواریانس درمورد داده ها جمع آوری کنیم. مثلا میانگین و واریانس تعداد حروف آ در متون فارسی. باید دقت کنید که در مورد زبان موضوع پیچیده است چون حتی اگر بدانید احتمال تک تک حروف چقدر است باز هم باید به این نکته توجه کنید که باید بدانید احتمال آمدن هر حرفی بعد از هر حرف دیگری چقدر است و حتی ارتباط بین سه حرف و الخ را بدانید. به عبارتی کواریانس یا آماره های دو به دو هم مهم می شوند.(برای ویدیو و صوت هم خودتان فکر کنید)
با این اوصاف حالا چه توزیع(=مدل) احتمالاتی بهتر می تواند مثلا دنباله حروف را توضیح دهد؟ دقیقا مثل قبل، مدلی که تعداد فرضیات کمتری داشته باشد یا به عبارتی، ساده تر باشد. اما اگر بخواهیم این را به آنتروپی ترجمه کنیم مدلی ارجح تر است که دارای بیشترین آنتروپی(=بی نظمی) باشد. چون اگر نظمی در داده ها پنهان باشد به صورت اتوماتیک آنتروپی(=بی نظمی) آن را کمتر می کند. اگر شما هیچ اطلاعاتی در مورد یک زبان جدید نداشته باشید بهتر است در ابتدا فرض کنید که تمام حروف آن با احتمال یکسانی ظاهر می شوند و هیچ ارتباطی هم بین حروف وجود ندارد(بیشترین بی نظمی). به ترتیب که اطلاعات بیشتری کسب می کنید می توانید مدل خود را بروز کنید. در این پروسه ما قدم های محتاطی بر میداریم همیشه ساده ترین مدل ها که دارای بیشترین آنتروپی(=بی نظمی) هستند را انتخاب می کنیم. به همین دلیل است که توزیع نرمال بسیار محبوب است زیرا توزیع نرمال ساده ترین مدل یا مدلی با بیشترین آنتروپی، با دانستن فقط میانگین و واریانس داده هاست. البته قطعا حدس زده اید مدلی که مثلا بتواند زبان را توصیف کند بسیار پیچیده تر از یک توزیع نرمال است.
بیشترین آنتروپی و کوتاه ترین برنامه در واقع دو روی یک سکه اند(از لحاظ ریاضی میتواند ثابت کرد که آنها خواص مشابهی دارند). ما شاید نتوانیم تصور کنیم که چطور می شود برنامه ای ساخت که دنباله جملات یک زبان را تولید کند یا یک ویدیوی واقعی درست کند اما درک آن از طریق توزیع احتمالاتی و آنتروپی ساده تر است.
پس بیایید حرفهایمان را یکپارچه تر کنیم. جدول زیر شاید به این کار کمک کند:
اینجا بخشی است که شاید با شهود روزمره همخوانی نداشته باشد. اگر توجه کرده باشید گفتیم که آنتروپی یا بی نظمی دنباله های ساده پایین است و بی نظمی دنباله های پیچیده مانند یک دنباله از اعداد تصادفی بسیار بالا است. به این ترتیب در این چارچوب بی نظمی و پیچیدگی یک مفهوم دارند. برخلاف تصور روزمره که پیچیدگی را با نظم یکی میگیریم پیچیدگی در این جا کاملا مترادف با بی نظمی است.
اما سوال مهمی که هنوز جواب نداده ایم: ما از کجا توزیع احتمالاتی که داده ها رو تولید میکنند پیدا کنیم؟ قبل از هر چیز توجه کنید که ما همواره در مورد منبع تولید داده سخن گفتیم و نه خود داده. به عبارتی ما همواره با یک فرآیند تولید داده ها سر و کار داریم که عنصری از تصادف را همراه با خود دارد. مثلا فرآیند تصادفی بارش باران. فرآیند تصادفی زبان، فرآیند تصادفی تصویر چهره ها.
دقت کنید در اینجا ما با برنامه ای سر و کار نداریم که خیلی سرراست مثل دنباله 001 ها که قبلا داشتیم بتواند داده ها را تولید کند. اینجا با یک برنامه احتمالاتی یا به عبارتی توزیع احتمال سر و کار داریم. وقتی با پدیده های طبیعی مثل زبان یا تصاویر و ویدیو و غیره سر و کار داریم فقط با توزیع های احتمالاتی سروکار داریم. و در این موارد فقط می توانیم آماره هایی را مانند میانگین و واریانس یا کواریانس درمورد داده ها جمع آوری کنیم. مثلا میانگین و واریانس تعداد حروف آ در متون فارسی. باید دقت کنید که در مورد زبان موضوع پیچیده است چون حتی اگر بدانید احتمال تک تک حروف چقدر است باز هم باید به این نکته توجه کنید که باید بدانید احتمال آمدن هر حرفی بعد از هر حرف دیگری چقدر است و حتی ارتباط بین سه حرف و الخ را بدانید. به عبارتی کواریانس یا آماره های دو به دو هم مهم می شوند.(برای ویدیو و صوت هم خودتان فکر کنید)
با این اوصاف حالا چه توزیع(=مدل) احتمالاتی بهتر می تواند مثلا دنباله حروف را توضیح دهد؟ دقیقا مثل قبل، مدلی که تعداد فرضیات کمتری داشته باشد یا به عبارتی، ساده تر باشد. اما اگر بخواهیم این را به آنتروپی ترجمه کنیم مدلی ارجح تر است که دارای بیشترین آنتروپی(=بی نظمی) باشد. چون اگر نظمی در داده ها پنهان باشد به صورت اتوماتیک آنتروپی(=بی نظمی) آن را کمتر می کند. اگر شما هیچ اطلاعاتی در مورد یک زبان جدید نداشته باشید بهتر است در ابتدا فرض کنید که تمام حروف آن با احتمال یکسانی ظاهر می شوند و هیچ ارتباطی هم بین حروف وجود ندارد(بیشترین بی نظمی). به ترتیب که اطلاعات بیشتری کسب می کنید می توانید مدل خود را بروز کنید. در این پروسه ما قدم های محتاطی بر میداریم همیشه ساده ترین مدل ها که دارای بیشترین آنتروپی(=بی نظمی) هستند را انتخاب می کنیم. به همین دلیل است که توزیع نرمال بسیار محبوب است زیرا توزیع نرمال ساده ترین مدل یا مدلی با بیشترین آنتروپی، با دانستن فقط میانگین و واریانس داده هاست. البته قطعا حدس زده اید مدلی که مثلا بتواند زبان را توصیف کند بسیار پیچیده تر از یک توزیع نرمال است.
بیشترین آنتروپی و کوتاه ترین برنامه در واقع دو روی یک سکه اند(از لحاظ ریاضی میتواند ثابت کرد که آنها خواص مشابهی دارند). ما شاید نتوانیم تصور کنیم که چطور می شود برنامه ای ساخت که دنباله جملات یک زبان را تولید کند یا یک ویدیوی واقعی درست کند اما درک آن از طریق توزیع احتمالاتی و آنتروپی ساده تر است.
پس بیایید حرفهایمان را یکپارچه تر کنیم. جدول زیر شاید به این کار کمک کند:
معیار هایی که هر مدل با استفاده از آنها کار میکند در واقع بایاس های مدل هستند. یادتان باشد هیچ دلیل قابل اثباتی برای این بایاس ها وجود ندارند. آن ها روش هایی هستند که با آن ها ما جهان خود را قابل فهم می کنیم. قواعدی که الگوزدگی مغز ما را در برخورد با دنیای بیرون نشان می دهند.
Forwarded from زانکو (Javad Amirian)
سیستم GAN چیست؟
(برای مطالعه باید دانش کافی از هوش مصنوعی داشته باشید)
سیستم های GAN یا Generative Adversarial Networks یک سیستم بسیار جدید و کاربردی در هوش مصنوعی است که در سال 2014 توسط یان گودفیلوی 29 ساله و دانشجوی سابق استنفورد ابداع شد.
یکی از محققان واحد هوش مصنوعی فیسبوک گفته که GAN باحالترین ایده هوش مصنوعی در 10 سال اخیر است!
اگر بخواهیم دقیقتر بگوییم، این سیستم از دو شبکه مجزا تشکیل شده که یکی "تولید کننده" یا به اختصار G نام دارد و دیگری "تشخیص دهنده" یا D.
بطور خلاصه و مفید:
شبکه G یک سیگنال معنی دار مانند یک تصویر، یک یک صوت یا ... را تولید می کند،
و شبکه D هم باید تشخيص دهد این خروجی «اصل» است یا خیر (یعنی این تصویر یا صوت شبیه یک تصویر یا صوت واقعی هست یا نه).
بیایید با یک مثال پیش برویم:
فرض کنید G بجای چیزهای مزخرف و پیچیده (یعنی سیگنال) یک دستگاه اتوماتیک برای تولید شراب است! به این دستگاه هر ماده ای که برای تولید انواع شراب لازم است از قبل داده شده مثل: انگور، سیب، آلبالو، انواع مخمرها، ...
و وظیفه آن فقط یافتن روش و فرمول مناسب برای استخراج شراب است.
اما D در عوض یک شراب شناس قهار است، که یک لیوان مایعات را (از G) گرفته تست می کند و می تواند بگوید که این مایع شراب است یا نه.
اما او این مهارت را چگونه فرا گرفته؟ ما با در اختیار قرار دادن چندین مدل شراب اصل به او یاد داده ایم که شراب اصل چیست.
در حقیقت ایده کار همینجاست: ما به G نه تنها هیچ فرمولی را یاد نمی دهیم که حتی هیچ شرابی را به او نشان نمیدهیم، که او بتواند ویژگی های آن را یاد بگیرد و کپی برداری کند، او فقط از طریق سعی و خطا و پاسخی که از D دریافت می کند یاد خواهد گرفت که چه چیزی را تولید کند و نهایتا به فرمولهای ساخت شراب برسد. و نهایتا بتواند D را متقاعد کند که او هم شرابساز است.
اما نوآوری این سیستم در کجاست؟
در حقیقت نوآوری سیستم این است که ما میتوانیم D را با طیف شرابهای «متنوع» آشنا کنیم (و نه فقط یک نوع شراب)، در نتیجه G نه فقط یک مدل شراب شبیه شراب های قبلی که حتی شراب هایی جدید می آفریند که تا بحال هیچ ساقی ای بلد نبوده!
بعبارت دیگر تنها یک جواب درست وجود ندارد و در عوض «طیف قابل قبول»ی از جوابها وجود دارد.
حالا مثال عملی تر تولید «چهره انسان جذاب» است! بدون اینکه بخواهیم فرمولی برای یک چهره جذاب تعریف کنیم. ما این کار را با نشان دادن تعدادی عکس از چهرههای جذاب (بقولی سلبریتی) به D انجام میدهیم. نتایج شگفت انگیز هستند.
(اگر خیلی خوب متوجه نشدید، حتما من خیلی بد توضیح دادم، اما حدقل از چند تا از معجزههای این نوآوری که در پایین این پست میگذارم لذت ببرید)
bit.ly/2AL104G
جواد امیریان
(برای مطالعه باید دانش کافی از هوش مصنوعی داشته باشید)
سیستم های GAN یا Generative Adversarial Networks یک سیستم بسیار جدید و کاربردی در هوش مصنوعی است که در سال 2014 توسط یان گودفیلوی 29 ساله و دانشجوی سابق استنفورد ابداع شد.
یکی از محققان واحد هوش مصنوعی فیسبوک گفته که GAN باحالترین ایده هوش مصنوعی در 10 سال اخیر است!
اگر بخواهیم دقیقتر بگوییم، این سیستم از دو شبکه مجزا تشکیل شده که یکی "تولید کننده" یا به اختصار G نام دارد و دیگری "تشخیص دهنده" یا D.
بطور خلاصه و مفید:
شبکه G یک سیگنال معنی دار مانند یک تصویر، یک یک صوت یا ... را تولید می کند،
و شبکه D هم باید تشخيص دهد این خروجی «اصل» است یا خیر (یعنی این تصویر یا صوت شبیه یک تصویر یا صوت واقعی هست یا نه).
بیایید با یک مثال پیش برویم:
فرض کنید G بجای چیزهای مزخرف و پیچیده (یعنی سیگنال) یک دستگاه اتوماتیک برای تولید شراب است! به این دستگاه هر ماده ای که برای تولید انواع شراب لازم است از قبل داده شده مثل: انگور، سیب، آلبالو، انواع مخمرها، ...
و وظیفه آن فقط یافتن روش و فرمول مناسب برای استخراج شراب است.
اما D در عوض یک شراب شناس قهار است، که یک لیوان مایعات را (از G) گرفته تست می کند و می تواند بگوید که این مایع شراب است یا نه.
اما او این مهارت را چگونه فرا گرفته؟ ما با در اختیار قرار دادن چندین مدل شراب اصل به او یاد داده ایم که شراب اصل چیست.
در حقیقت ایده کار همینجاست: ما به G نه تنها هیچ فرمولی را یاد نمی دهیم که حتی هیچ شرابی را به او نشان نمیدهیم، که او بتواند ویژگی های آن را یاد بگیرد و کپی برداری کند، او فقط از طریق سعی و خطا و پاسخی که از D دریافت می کند یاد خواهد گرفت که چه چیزی را تولید کند و نهایتا به فرمولهای ساخت شراب برسد. و نهایتا بتواند D را متقاعد کند که او هم شرابساز است.
اما نوآوری این سیستم در کجاست؟
در حقیقت نوآوری سیستم این است که ما میتوانیم D را با طیف شرابهای «متنوع» آشنا کنیم (و نه فقط یک نوع شراب)، در نتیجه G نه فقط یک مدل شراب شبیه شراب های قبلی که حتی شراب هایی جدید می آفریند که تا بحال هیچ ساقی ای بلد نبوده!
بعبارت دیگر تنها یک جواب درست وجود ندارد و در عوض «طیف قابل قبول»ی از جوابها وجود دارد.
حالا مثال عملی تر تولید «چهره انسان جذاب» است! بدون اینکه بخواهیم فرمولی برای یک چهره جذاب تعریف کنیم. ما این کار را با نشان دادن تعدادی عکس از چهرههای جذاب (بقولی سلبریتی) به D انجام میدهیم. نتایج شگفت انگیز هستند.
(اگر خیلی خوب متوجه نشدید، حتما من خیلی بد توضیح دادم، اما حدقل از چند تا از معجزههای این نوآوری که در پایین این پست میگذارم لذت ببرید)
bit.ly/2AL104G
جواد امیریان
Medium
GAN — What is Generative Adversary Networks GAN?
To create something from nothing is one of the greatest feelings, ... It’s heaven.
Forwarded from زانکو (Javad Amirian)
Media is too big
VIEW IN TELEGRAM
ویدیویی از تولید چهره های جذاب توسط شبکه های GAN
هیچ کدام از چهره ها در این ویدئو واقعی نیستند و محصول تخیل ماشین اند.
هیچ کدام از چهره ها در این ویدئو واقعی نیستند و محصول تخیل ماشین اند.
Forwarded from زانکو (Javad Amirian)
تصاویری از چهره های جذاب تولید شده توسط شبکه های GAN
هیچ کدام از چهره ها در این تصویر واقعی نیستند و محصول تخیل ماشین اند.
هیچ کدام از چهره ها در این تصویر واقعی نیستند و محصول تخیل ماشین اند.
برشی از یک کتاب
بجز چند استثنا آتیست های امروزه همگی خود را لیبرال می دانند اما آتیسم به خودی خود هیچ محتوای سیاسی ندارد و بسیاری از آتیست ها در گذشته ضد لیبرال بودند. به طور مثال ولتر دیدگاه هایی داشت که تنها می توان گفت نژاد پرستانه است. بنیان گذاران فاشیسم و مارکسیسم هم لیبرال نبودند. بیولوژیست قرن نوزدهم Ernst Haeckel که به عنوان داروین آلمانی شناخته می شود مذهب فرگشتی ای را ایجاد که که بر اساس سلسله مراتب نژادی بود. Julian Huxley هم که یکی دیگر از پدران اومانیسم فرگشتی است همین عقاید را داشت. که در نهایت سنگ بناهای جنگ جهانی دوم شد به طور کلی آنچه به عنوان "علم اخلاق" می شناسیم بیشتر تابع ارزش های زمان خود بوده تا چیزی به اسم حقیقت!
امروز ما در جهان متفاوتی زندگی نمی کنیم sam harris آتیست جدید آمریکایی معتقد است که می تواند یک علم برای خوب و بد ایجاد کرد. به نظر او علم ارزش های لیبرال و خود مختاری شخصی را حمایت می کند. اما اینکه چرا باید اینطور باشد هرگز مورد سوال قرار نگرفته است. بسیاری از سیستم های ارزشی ادعا کرده اند که از حمایت علمی برخوردار هستند.
اگر شما الهیات را پشت سر بگذارید باید قبول کنید که ارزشهای انسانی نمی توانند مستقل از نیازها و تصمیمات بشر باشند. بدون شک برخی از ارزش ها جهانی هستند همان هایی که در اعلامیه جهانی حقوق بشر آمده اند مانند اینکه شکنجه یا تعقیب کردن افراد غلط است. اما ارزش های جهانی منجر به یک اخلاق جهانی نمی شوند این اشتباهی است که تقریبا همه ی پیروان سیستم های اخلاقی می کنند. دین باوران معتقدند ارزش های آنها جهان شمول هست چون از فطرت بشر می آید ناخداباوران هم ارزش های اخلاقی خود را ملهم از علم و تمدن امروزی میدانند. اما در واقعیت ارزش های اخلاقی جهانی پیش از آنکه به صورت مجموعه ای از آموزه های اخلاقی منسجم در بیایند با هم در تضاد قرار میگیرند. آیا شما آزادی بیشتر را به قیمت از دست دادن امنیت می طلبید؟ آیا به صلح معتقد هستید حتی اگر به معنای ادامه بی عدالتی باشد؟ وقتی افراد و گروه ها بین ارزش های جهانی ای که در یک زمینه خاص متضادهستند، قرار میگیرند سیستم های اخلاقی متفاوتی را می سازند. هر کسی که می خواهد اخلاقیاتش با چیزی فراتر جهان بی ثبات بشری حفظ شود بهتر است به ادیان قدیم مراجعه کند.
Seven Types of Atheism by John Gray
بجز چند استثنا آتیست های امروزه همگی خود را لیبرال می دانند اما آتیسم به خودی خود هیچ محتوای سیاسی ندارد و بسیاری از آتیست ها در گذشته ضد لیبرال بودند. به طور مثال ولتر دیدگاه هایی داشت که تنها می توان گفت نژاد پرستانه است. بنیان گذاران فاشیسم و مارکسیسم هم لیبرال نبودند. بیولوژیست قرن نوزدهم Ernst Haeckel که به عنوان داروین آلمانی شناخته می شود مذهب فرگشتی ای را ایجاد که که بر اساس سلسله مراتب نژادی بود. Julian Huxley هم که یکی دیگر از پدران اومانیسم فرگشتی است همین عقاید را داشت. که در نهایت سنگ بناهای جنگ جهانی دوم شد به طور کلی آنچه به عنوان "علم اخلاق" می شناسیم بیشتر تابع ارزش های زمان خود بوده تا چیزی به اسم حقیقت!
امروز ما در جهان متفاوتی زندگی نمی کنیم sam harris آتیست جدید آمریکایی معتقد است که می تواند یک علم برای خوب و بد ایجاد کرد. به نظر او علم ارزش های لیبرال و خود مختاری شخصی را حمایت می کند. اما اینکه چرا باید اینطور باشد هرگز مورد سوال قرار نگرفته است. بسیاری از سیستم های ارزشی ادعا کرده اند که از حمایت علمی برخوردار هستند.
اگر شما الهیات را پشت سر بگذارید باید قبول کنید که ارزشهای انسانی نمی توانند مستقل از نیازها و تصمیمات بشر باشند. بدون شک برخی از ارزش ها جهانی هستند همان هایی که در اعلامیه جهانی حقوق بشر آمده اند مانند اینکه شکنجه یا تعقیب کردن افراد غلط است. اما ارزش های جهانی منجر به یک اخلاق جهانی نمی شوند این اشتباهی است که تقریبا همه ی پیروان سیستم های اخلاقی می کنند. دین باوران معتقدند ارزش های آنها جهان شمول هست چون از فطرت بشر می آید ناخداباوران هم ارزش های اخلاقی خود را ملهم از علم و تمدن امروزی میدانند. اما در واقعیت ارزش های اخلاقی جهانی پیش از آنکه به صورت مجموعه ای از آموزه های اخلاقی منسجم در بیایند با هم در تضاد قرار میگیرند. آیا شما آزادی بیشتر را به قیمت از دست دادن امنیت می طلبید؟ آیا به صلح معتقد هستید حتی اگر به معنای ادامه بی عدالتی باشد؟ وقتی افراد و گروه ها بین ارزش های جهانی ای که در یک زمینه خاص متضادهستند، قرار میگیرند سیستم های اخلاقی متفاوتی را می سازند. هر کسی که می خواهد اخلاقیاتش با چیزی فراتر جهان بی ثبات بشری حفظ شود بهتر است به ادیان قدیم مراجعه کند.
Seven Types of Atheism by John Gray
Forwarded from زانکو (Javad Amirian)
"مجری خبر مصنوعی" چینی هم رسید!
شبکه سیبیسی چین با همکاری شرکت سوگو (مالک موتور جستجوی Sogou) یک مجری خبر مصنوعی را با کمک دادههای یک مجری واقعی، طراحی کردهاند که میتواند اخبار را مانند یک گوینده خبر واقعی اجرا کند.
آنها برای مخاطبان چینی و انگلیسی زبان دو نسخه متفاوت ارائه کردهاند.
خلاقیت این کاراکتر مصنوعی، صرفا خواندن خبر نیست بلکه ژست و حالت چهره ای است که هنگام خواندن یک خبر به خود می گیرد تا بتواند بیشترین تاثیر را روی بیننده داشته باشد.
کما اینکه اگر خبر یک حادثه تلخ یا یک پیروزی ملی باشد باید حس مجری متفاوت باشد.
برای یادگیری این سیستم، صحبت ها، حرکات لب و حالات صورت مجری واقعی جمع آوری شده و به ماشین داده شده است. حالا این مجری می تواند 24 ساعته و به طرز خستگی ناپذیری اجرای اخبار یک شبکه را بر عهده بگیرد.
پ. ن.
در حال حاضر این تکنولوژی، بیشتر، خوراک ساخت انیمشین و بازیهای کامپیوتری است، تا این که واقعا در شبکههای خبری استفاده شود.
نگرانی برخی ها این است که این فناوری می تواند مورد سوء استفاده سودجویان قرار گیرد تا با آن اخباری جعلی و دروغی را در غالب یک خبر رسمی درآورده و در شبکه های اجتماعی منتشر کنند.
بطور کلیتر، این فناوری نوعی از Deep fake است که در آینده از آن بیشتر خواهم نوشت!
لینک خبر در زیر
https://bit.ly/2OGrAQ3
جواد امیریان
@zankoo_ai
شبکه سیبیسی چین با همکاری شرکت سوگو (مالک موتور جستجوی Sogou) یک مجری خبر مصنوعی را با کمک دادههای یک مجری واقعی، طراحی کردهاند که میتواند اخبار را مانند یک گوینده خبر واقعی اجرا کند.
آنها برای مخاطبان چینی و انگلیسی زبان دو نسخه متفاوت ارائه کردهاند.
خلاقیت این کاراکتر مصنوعی، صرفا خواندن خبر نیست بلکه ژست و حالت چهره ای است که هنگام خواندن یک خبر به خود می گیرد تا بتواند بیشترین تاثیر را روی بیننده داشته باشد.
کما اینکه اگر خبر یک حادثه تلخ یا یک پیروزی ملی باشد باید حس مجری متفاوت باشد.
برای یادگیری این سیستم، صحبت ها، حرکات لب و حالات صورت مجری واقعی جمع آوری شده و به ماشین داده شده است. حالا این مجری می تواند 24 ساعته و به طرز خستگی ناپذیری اجرای اخبار یک شبکه را بر عهده بگیرد.
پ. ن.
در حال حاضر این تکنولوژی، بیشتر، خوراک ساخت انیمشین و بازیهای کامپیوتری است، تا این که واقعا در شبکههای خبری استفاده شود.
نگرانی برخی ها این است که این فناوری می تواند مورد سوء استفاده سودجویان قرار گیرد تا با آن اخباری جعلی و دروغی را در غالب یک خبر رسمی درآورده و در شبکه های اجتماعی منتشر کنند.
بطور کلیتر، این فناوری نوعی از Deep fake است که در آینده از آن بیشتر خواهم نوشت!
لینک خبر در زیر
https://bit.ly/2OGrAQ3
جواد امیریان
@zankoo_ai
CNBC
The 'world's first' A.I. news anchor has gone live in China
"English AI Anchor" debuted at the World Internet Conference in the country's eastern Zhejiang Province. Modeled on the agency's Zhang Zhao presenter, the new anchor learns from live videos and is able to work 24 hours a day.
Forwarded from زانکو (Javad Amirian)
This media is not supported in your browser
VIEW IN TELEGRAM
مجری خبر مصنوعی که می تواند به شکلی طبیعی، اخبار را بخواند.
این فناوری چینی نوعی از deep fake است که در آینده خطرات زیادی را متوجه رسانه های رسمی میکند.
@zankoo_ai
این فناوری چینی نوعی از deep fake است که در آینده خطرات زیادی را متوجه رسانه های رسمی میکند.
@zankoo_ai
Forwarded from زانکو (Javad Amirian)
دوستان عزیز،
اکثر مطالبی که در کانال قرار می دهیم، سعی میشود با مطالعه مقالات و اخبار روز تکنولوژی و هوش مصنوعی در اختیار شما قرار گیرد.
ما تصمیم گرفتیم در کنار مشغله های کاریمان، زمانی را به ترجمه و انتقال این دانشها، به بقیه اختصاص دهیم.
ما اینجا قصد نداریم نظرات شخصی و نامرتبط خود را قرار دهیم.
با انتشار مطالب زانکو و دعوت دوستانمان، هم میتوانیم این مطالب را به دست کسانی برسانیم که مثل ما، به موضوعات علمی علاقمندند،
و هم به ما انگیزه و جهت میدهید تا با انرژی بیشتری این فعالیت را دنبال کنیم.
جواد امیریان
زانکو
@zankoo_ai
t.iss.one/zankoo_ai
اکثر مطالبی که در کانال قرار می دهیم، سعی میشود با مطالعه مقالات و اخبار روز تکنولوژی و هوش مصنوعی در اختیار شما قرار گیرد.
ما تصمیم گرفتیم در کنار مشغله های کاریمان، زمانی را به ترجمه و انتقال این دانشها، به بقیه اختصاص دهیم.
ما اینجا قصد نداریم نظرات شخصی و نامرتبط خود را قرار دهیم.
با انتشار مطالب زانکو و دعوت دوستانمان، هم میتوانیم این مطالب را به دست کسانی برسانیم که مثل ما، به موضوعات علمی علاقمندند،
و هم به ما انگیزه و جهت میدهید تا با انرژی بیشتری این فعالیت را دنبال کنیم.
جواد امیریان
زانکو
@zankoo_ai
t.iss.one/zankoo_ai
Telegram
زانکو
زانکو (دانشگاه)
گاهنامهای از رباتیک، هوش مصنوعی و تجربیات دنیای استارتاپ
سعی میکنیم مطالبی را اینجا قرار دهیم که شما به طور معمول در وب فارسی یا کانال های دیگر پیدا نمی کنید.
ارتباط با ادمین
@amiryanj
@roholazandie
گاهنامهای از رباتیک، هوش مصنوعی و تجربیات دنیای استارتاپ
سعی میکنیم مطالبی را اینجا قرار دهیم که شما به طور معمول در وب فارسی یا کانال های دیگر پیدا نمی کنید.
ارتباط با ادمین
@amiryanj
@roholazandie
This media is not supported in your browser
VIEW IN TELEGRAM
تبدیل طراحی روی تخته به کد css و وب با استفاده از فناوری پردازش تصویر!
این بخش بزرگی از کد زنی را برای کسانی که هیچ ایده ای از طراحی وب ندارند راحت میکند. فقط یه ماژیک و برنامه تبدیل!!
این بخش بزرگی از کد زنی را برای کسانی که هیچ ایده ای از طراحی وب ندارند راحت میکند. فقط یه ماژیک و برنامه تبدیل!!
🔵یادگیری عمیق، مغز و متافیزیک!(قسمت هشتم)🔵
در مورد این حرف زدیم که مدل ها باید ساده یا دارای کمترین پیش فرض ممکن باشند. اما چقدر ساده؟ آلبرت اینشتین می گوید: همه چیز باید تا جای ممکن ساده شود اما نه بیشتر! چه اتفاقی می افتد اگر مدل بیش از حد ساده باشد؟ برای درک این موضوع شکل زیر را در نظر بگیرید.
در مورد این حرف زدیم که مدل ها باید ساده یا دارای کمترین پیش فرض ممکن باشند. اما چقدر ساده؟ آلبرت اینشتین می گوید: همه چیز باید تا جای ممکن ساده شود اما نه بیشتر! چه اتفاقی می افتد اگر مدل بیش از حد ساده باشد؟ برای درک این موضوع شکل زیر را در نظر بگیرید.
فرض کنید مجموعه از نقاط به شکل بالا داریم که داده های ما هستند. این داده ها دارای یک متغیر مستقل یعنی x و یک متغیر وابسته یعنی y هستند. این داده ها از چه مدلی یا توزیعی پیروی میکنند؟ می توان سه حالت در نظر گرفت. حالت اول یک فرضیه بسیار ساده است. یعنی فرض کنیم که داده ها از یک رابطه خطی بین متغیر اول و دوم آمده باشند(شکل اول سمت چپ). و عدم تبعیت هم صرفا یک نویز است. اما مشاهده میکنید که خطای این مدل خیلی بالاست. حالت دوم یک مدل بسیار پیچیده است. در این حالت خطا صفر است! اما این مدل آنقدر پیچیده شده که با دیدن داده های جدید نمی تواند آن را توضیح دهد و نیاز دارد که باز هم داستان جدید برای آن درست کند. در نهایت شکل سوم از سمت چپ یک مصالحه بین پیچیدگی و دقت انجام داده است.
پیچیدگی در این حالت می تواند به طول کوتاه ترین برنامه تعبیر شود که یک چند جمله ای را تولید میکند. طول این برنامه متناظر با درجه چند جمله ای است. حالت اول خطی است پس یک پارامتر دارد. حالت دوم درجه بالایی دارد(مثلا ۲۰) و سومی میانه است(درجه چهارم).
در هر کدام از حالت ها فرضیه به ما کمک میکند تا داده ها را فشرده تر توضیح دهیم. اگر شما یک پارامتر داشته باشید می توانید قدری داده ها را فشرده تر توضیح دهید اما با بیست پارامتر توضیح داده ها بسیار فشرده تر می شود اما مشکل، بزرگ شدن خود مدل است. پس ما دو اندازه داریم که میخواهیم همزمان کوچک کنیم:
۱- طول داده ها به کمک فرضیه (L(D|H
۲- طول فرضیه L(H)
که در اینجا L تابعی است که طول داده یا فرضیه را به بیت محاسبه می کند D داده و H فرضیه است. فرضیه ای که مطابقت خوبی با داده ها داشته باشد به ما کمک می کند که داده ها را بیشتر فشرده کنیم. مثلا فرضیه ای که می گوید حروف زبان همه با یک احتمال ظاهر می شود یک فرضیه فوق العاده ساده(L(H) کوتاه) ولی بدون قدرت فشرده سازی است(L(D|H) بسیار بلند) اما فرضیه اینکه حروف زبان دارای توزیع مشخصی هستند که در ان "آ" دارای بیشترین احتمال و "ژ" دارای کمترین احتمال است، به ما کمک کرد که داده ها را فشرده تر کنیم. و درنهایت مدلی که در ذهن یک انسان از زبان وجود دارد دارای بیشترین قدرت فشرده سازی است!
در مثال بالا برای خط، L(H1) کوتاه است (یک فرضیه ساده با یک پارامتر) ولی L(D|H1) بلند است! چون فقط با این فرضیه نمی توان خیلی در مورد داده توضیح داده و آن را فشرده کرد.
برای دومین فرضیه L(H3) بسیار طولانی است(یک فرضیه پیچیده با تعداد زیادی پارامتر) اما L(D|H3) کوتاه است. این فرضیه کاملا بر داده های مشاهداتی منطبق است. اما دقت کنید این باعث می شود مدل نتواند داده های جدید را خوب توضیح دهد! انگار مدل فقط داده های موجود را به خاطر سپرده است.
و برای سومین حالت L(H2) و L(D|H2) هر دو متوسط هستند
پیچیدگی در این حالت می تواند به طول کوتاه ترین برنامه تعبیر شود که یک چند جمله ای را تولید میکند. طول این برنامه متناظر با درجه چند جمله ای است. حالت اول خطی است پس یک پارامتر دارد. حالت دوم درجه بالایی دارد(مثلا ۲۰) و سومی میانه است(درجه چهارم).
در هر کدام از حالت ها فرضیه به ما کمک میکند تا داده ها را فشرده تر توضیح دهیم. اگر شما یک پارامتر داشته باشید می توانید قدری داده ها را فشرده تر توضیح دهید اما با بیست پارامتر توضیح داده ها بسیار فشرده تر می شود اما مشکل، بزرگ شدن خود مدل است. پس ما دو اندازه داریم که میخواهیم همزمان کوچک کنیم:
۱- طول داده ها به کمک فرضیه (L(D|H
۲- طول فرضیه L(H)
که در اینجا L تابعی است که طول داده یا فرضیه را به بیت محاسبه می کند D داده و H فرضیه است. فرضیه ای که مطابقت خوبی با داده ها داشته باشد به ما کمک می کند که داده ها را بیشتر فشرده کنیم. مثلا فرضیه ای که می گوید حروف زبان همه با یک احتمال ظاهر می شود یک فرضیه فوق العاده ساده(L(H) کوتاه) ولی بدون قدرت فشرده سازی است(L(D|H) بسیار بلند) اما فرضیه اینکه حروف زبان دارای توزیع مشخصی هستند که در ان "آ" دارای بیشترین احتمال و "ژ" دارای کمترین احتمال است، به ما کمک کرد که داده ها را فشرده تر کنیم. و درنهایت مدلی که در ذهن یک انسان از زبان وجود دارد دارای بیشترین قدرت فشرده سازی است!
در مثال بالا برای خط، L(H1) کوتاه است (یک فرضیه ساده با یک پارامتر) ولی L(D|H1) بلند است! چون فقط با این فرضیه نمی توان خیلی در مورد داده توضیح داده و آن را فشرده کرد.
برای دومین فرضیه L(H3) بسیار طولانی است(یک فرضیه پیچیده با تعداد زیادی پارامتر) اما L(D|H3) کوتاه است. این فرضیه کاملا بر داده های مشاهداتی منطبق است. اما دقت کنید این باعث می شود مدل نتواند داده های جدید را خوب توضیح دهد! انگار مدل فقط داده های موجود را به خاطر سپرده است.
و برای سومین حالت L(H2) و L(D|H2) هر دو متوسط هستند