درک توزیع دیریکله (خدا تاس بازی نمی کند، خدا تاس ها را خلق می کند: توزیع دیریکله بخش دوم)
به انگلیسی

https://link.medium.com/4VyeFFxOD2

🍉فال امسال با پایتون🍉

اگرچه چند روزه از شب یلدا گذشته و من هم این مدت سرم شلوغ بود. اما تصمیم گرفتم کدی رو با شما به اشتراک بذارم که باهاش میتونید فال حافظ بگیرید.
برای استفاده نیاز به پایگاه داده گنجور دارید که اون رو هم اینجا آپلود کردم و حاوی تمام شعرهای شعرای فارسی زبانه (حدود ۱۰۰ مگابایت) و در sqlite3 هست. نیاز به نصب هیچ کتابخانه ی خاصی نیست چون از دو کتابخانه sqlite3 و random‌ استفاده کردم که هر دو در کتابخانه های اصلی پایتون هستند. فقط کافیه دیتابیس رو دانلود کنید و بذارید کنار کد و اجراش کنید! (به این ریپو سر بزنید چیزهای جالب تری در آینده میذارم توش که شامل تحلیل شعر فارسی با پایتونه!)

این هم کدها

این هم فال من. امیدوارم شادی هامون برای بقیه سال بیشتر بشه و زندگی روی خوشش رو بیشتر نشون بده!

شبکه StyleGAN2 منتشر شد

تغییر در استایل با استفاده از شبکه های gan. اینجا بیشتر بخوانید

🧩مولوی پژوهی با تخصیص پنهان دیریکله (Latent Dirichlet allocation)🎲

اینجا می خواستم نتیجه یه کارهام رو باهاتون به اشتراک بذارم که کلا برای اولین بار هست انجام میشه (نه فقط توی فارسی و شعر بلکه به صورت کلی) اون هم ساختن یک شبکه واژگانی از یک مجموعه بزرگ از متون هست. خود روش شناخته شده هست ولی استخراج یک روش نمایش به صورت شبکه تا حالا انجام نشده. خود الگوریتم متاسفانه خیلی پیچیده ست و بدون پیش نیاز ریاضی سنگین قابل درک نیست اما ازونجا که میگن اگه نتونی کارت رو برای مادربزرگت توضیح بدی یعنی خودتم نفهمیدی پس من سعی میکنم قابل درکش کنم. اگه حوصله حتی این نسخه ساده رو ندارید می تونید برید پاراگراف آخر.

برای شروع فرض کنید من می خوام یه ماشین بسازم که متن تولید کنه!‌ این ماشین بر اساس یه سری تنظیمات یه سری کلمه پرت می کنه بیرون! دقیقا پرت می کنه بیرون! یعنی هیچ نظم و ترتیب گرامری نداره! همین اول شاید بگید خوب این که خیلی مسخره ست چیزی که تولید میشه یه مشت چرت و پرته!‌ درسته ولی چون زبان خیلی چیز پیچیده ایه (شاید اصلا پیچیده ترین چیز توی دنیا!) مجبوریم یه ساده سازی خیلی عجیب غریب انجام بدیم و اون هم اینه که فرض کنیم هر متنی یه کیسه از کلماته! (bag of words).
حتی اگه همچین فرضی بکنیم باز هم همه متون شبیه هم نیستند! اگه موافق نیستید یه کیسه کلمات از توضیح المسایل آیت الله سیستانی و آثار محمود دولت آبادی رو درست کنید! کلمات توی این دو گروه و درصد تکرارشون خیلی با هم فرق دارن!

حالا فرض کنید هر متنی ملغمه ای از چند «موضوع» مختلفه! مثلا یه متن در مورد بحران زیست محیطی می تونه کمی به مسایل سیاسی بپردازه کمی در مورد علم باشه و کمی هم در مورد بوم شناسی! ایده اینه که هر متنی یه درصدی از چند موضوع مختلفه! مثل یک سالاد. اما از طرفی باید تعریف کنیم اصلا منظورمون از «موضوع» چی هست. موضوع رو میتونیم یه توزیع از کلمات فرض کنیم. یعنی مثلا اگه تمام کلمات دیکشنری رو در نظر بگیریم اگه موضوع ما سیاسی باشه کلمه «انتخابات» پر اهمیت تره تا مثلا کلمه «شکلات»!

حالا برگردیم به اون ماشینه که متن (به صورت کیسه کلمات) تولید میکنه. فرض کنید این ماشین به طریقی فهمیده چطوری یه متن رو (مثلا سبک داستانی دولت آبادی)‌ تقلید کنه. یعنی فهمیده روی چه موضوعاتی باید مانور بده و توی هر موضوع هم هر کلمه چقدر اهمیت داره. پس کاری که باید بکنه صرفا اینه که یک تاس بندازه و بره سراغ یکی از موضوعات (قاعدتا اون موضوعی که پر اهمیت تره با احتمال بیشتری انتخاب میشه و برعکس موضوعی که کم اهمیته با احتمال کمتر) بعد که موضوع رو انتخاب کرد باز یه تاس میندازه و یک کلمه از موضوعی که توی مرحله قبل انتخاب کرد، برمیداره و پرت میکنه بیرون. (دقت کنید وقتی میگم تاس منظورم تاس شش وجهی نیست. برای انتخاب کلمه اندازه تاسم به اندازه کل دیکشنریه!!)

همین روش ساده لوحانه فوق العاده عمل میکنه! تنها نکته ای که میمونه اینه که روشی پیدا کنیم که اون نسبت ها (نسبت موضوعات و نسبت کلمه ها در هر موضوع) رو پیدا کنیم که کار خود الگوریتمه و توضیح نمیدم.

نکته آخر اینکه کشف موضوعات تماما اتوماتیک انجام میشه. یعنی اون موضاعاتی که کشف میشن لزوما منطبق با یک موضوع قابل فهم (مثلا ورزشی، سیاسی و غیره)‌نیستند! اما قطعا یه سری همبستگی بین کلماتشون هست! و اینکه کلا این روش کاری نداره شما روی چینی فارسی یا انگلیسی کار می کنید، چون اصلا کاری به گرامر و این مسخره بازی ها نداره!
کاری که اینجا انجام دادم نمایش کلمات مهم از متن به صورت یک شبکه ست. قسمت هایی که خوشه شکل گرفته نشون دهنده یک موضوعه! بعضی هاشون تقریبا معنا دار هستند! مثلا یه خوشه جدا افتاده کلمات عربی رو نشون میده! همچنین یه خوشه توی فاز «ساغر» و «شراب» و «ساقی» و این کارهای خاک بر سریه! یه خوشه «عشق» و «عاشقان» و «شمس» و «آتش» و «تن» هست. کلمات «عشق» و «جهان» و «باغ» و «مه» نقش کلیدی توی ارتباط خوشه ها با هم دارن. چیزهای عجیب و غریب تری هم توش هست مثلا ارتباط نزدیک «زن» و «مکر» (این ها به من ربطی نداره برید از مولوی بپرسید!)
در نهایت اینکه باز هم تاکید کنم همه این ها با یک روش ریاضی به صورت خودکار کشف شده (یعنی یک درصد فکر کنید من تمام آثار مولانا که ۸۹۶ هزار کلمه ست رو بخونم و بعد اینها رو بهم بچسبونم!!)
چندین خروجی با تغییر توی تنظیمات اون ماشین می تونید بگیرید. این چیزها رو میشه روش مطالعه کرد و خروجی های بهتر و بهتری تولید کرد که اگر وقتی شد بیشتر روش کار میکنم!


دو نکته: رنگ های به سمت طیف آبی تر نشان دهنده تعداد بیشتر ارتباطات اون کلمه با بقیه کلماته و اندازه هر کلمه نشان دهنده اهمیت اون کله توی موضوع خودشه

کدها

تمام آثار مولانا در یک گراف (بیشتر)

نسخه قابل زوم کردن

🌟معرفی ابزار🌟

ممکن است برای شما هم پیش آمده باشد که هنگام نوشتن مقاله با latex نیازمند نوشتن فرمولی باشید که در یک فایل پی دی اف یا در یک وبسایت قرار داشته باشد. معمولا مجبور میشوید آن را از نو بنویسید بخصوص اگر فایل اصلی latex را نداشته باشید. با این ابزار می توانید براحتی از فرمول خود اسکرین شات بگیرید و latex آن را استخراج کنید.

https://mathpix.com/

در برهه ای زندگی میکنیم که جامعه به پرتگاه دو قطبی شدن پیش می رود و بلایای روزانه امانمان را بریده است. هر کسی دیدگاه های خود را بر سر دیگری فریاد میزند و جایی برای تنفس باقی نمانده است. این کانال برای نشر دیدگاه شخصی ساخته نشده است اما شاید بتوان با مطالعه مفید قدری آرام تر شد و بیشتر فکر کرد. کاری که این روزها به شدت به آن احتیاج داریم. اینجا یکی از مقالات بسیار معروف کانت را به اشتراک می گذارم. مقاله ای که فصل جدیدی را در تاریخ اروپا رقم زد که به «دوره روشنگری» معروف است. مقاله تنها یک تلنگر برای آغاز مطالعات بیشتر برای کسی است که بخواهد در این موارد بیشتر بداند. این مقاله فقط شش صفحه است و ترجمه عالی یداله موقن خواندن آن را راحتتر هم می کند. پاراگراف نخست:

روشنگری خروج انسان از صغارتی است که خود بر خویش تحمیل کرده است. صغارت ناتوانی در به کار بردن فهم خود بدون راهنمایی دیگری است. این صغارت خود-تحمیلی است اگر علت آن نه سفیه بودن بلکه فقدان عزم و شهامت در به کارگیری فهم خود بدون راهنمایی دیگری باشد. شعار روشنگری این است: در بکارگیری فهم خود شهامت داشته باش!

ادامه

«ــ دریغا
ای‌کاش ای‌کاش
قضاوتی قضاوتی قضاوتی
درکار درکار درکار
می‌بود!» ــ
شاید اگرت توانِ شنفتن بود
پژواکِ آوازِ فروچکیدنِ خود را در تالارِ خاموشِ کهکشان‌های بی‌خورشیدــ
چون هُرَّستِ آوارِ دریغ
می‌شنیدی:
«ــ کاشکی کاشکی
داوری داوری داوری
درکار درکار درکار درکار…»
اما داوری آن سوی در نشسته است، بی‌ردای شومِ قاضیان.
ذاتش درایت و انصاف
هیأتش زمان. ــ
و خاطره‌ات تا جاودانِ جاویدان در گذرگاهِ ادوار داوری خواهد شد.

شاملو

🔵یک کتابخانه بسیار خوب برای طراحی بازی با پایتون🔵

کتابخانه arcade یک کتابخانه بسیار جالب و ساده پایتون برای طراحی بازی هست که ساختن گرافیک های ساده را آسان و در دسترس میکند. برای یادگیری می توانید آموزش زیر را دنبال کنید

https://realpython.com/arcade-python-game-framework/

‍ Rohola Zandie, [16.01.20 23:24]
🐄این یک عکس آموزشی نیست! این کد واقعی ست.🍗

امروز قدری با ویژگی های جدید پایتون ۳ کار میکردم و متوجه اموجی ها شدم. به صورت سنتی حتی نوشتن کلمات خارج از دامنه ASCII مانند حروف فارسی داخل برنامه دشوار است و معمولا با خطاهای مختلف مربوط به کدگذاری مواجه میشوید. البته چندین سال است که بیشتر کامپایلر ها و برنامه ها سعی کرده اند که Unicode را پوشش دهند. اما الان با امکانات جدید حتی می توان از اموجی ها استفاده کرد!!
کد بالا دقیقا به همین شکل در ابونتو ۱۸ و پایتون ۳ قابل اجرا و دیدن است. کدی که نوشته ام سه عملکرد جالب پایتون را توضیح میدهد.(پایین داخل مین برنامه) اولی تابع map است که یک تابع و یک لیست به عنوان ورودی می گیرد و تابع را بر هر کدام از اعضای لیست اعمال کرده و خروجی میگیرد. مثلا اینجا تابع پختن(cook) هست که به ترتیب گاو را به همبرگر،‌سیب زمینی را به سیب زمینی سرخ کرده و مرغ را به سوخاری و ذرت را به ذرت بوداده تبدیل میکند!!
تابع دوم filter است که یک تابع بولین و یک لیست میگیرد و آنهایی که تابع برای آن ها true برنمیگرداند را فیلتر میکند. مثلا تابع اینکه این غذا گیاه هست یا نه. که ازین لیست فقط سیب زمینی سرخ کرده و ذرت هستند (البته طرفداران گیاه خواری به شدت مخالف این هستند که سیب زمینی سرخ کرده را جزو غذاهای سالم گیاهی حساب کنیم!)

و تابع آخر recduce هست که یک تابع و یک لیست می گیرد و به صورت بازگشتی دو تا از اعضای لیست را گرفته به تابع می دهد و خروجی آن را به بعدی میدهد. این یک مورد کمی حال بهم زن هست و خودتا از روی شکل ها می توانید بفهمید برای غذای خورده شده چه اتفاقی می افتد!!

من این کد را برای ویندوز امتحان نکرده ام. اگر کسی امتحان کرد و توانست اموجی ها را ببیند برای من بفرستد یا خبر دهد

کد شکل بالا. گرفتن از اینترنت

“The post-totalitarian system touches people at every step, but it does so with its ideological gloves on. This is why life in the system is so thoroughly permeated with hypocrisy and lies: government by bureaucracy is called popular government; the working class is enslaved in the name of the working class; the complete degradation of the individual is presented as his or her ultimate liberation; depriving people of information is called making it available; the use of power to manipulate is called the public control of power, and the arbitrary abuse of power is called observing the legal code; the repression of culture is called its development; the expansion of imperial influence is presented as support for the oppressed; the lack of free expression becomes the highest form of freedom; farcical elections become the highest form of democracy; banning independent thought becomes the most scientific of world views; military occupation becomes fraternal assistance. Because the regime is captive to its own lies, it must falsify everything. It falsifies the past. It falsifies the present, and it falsifies the future. It falsifies statistics. It pretends not to possess an omnipotent and unprincipled police apparatus. It pretends to respect human rights. It pretends to persecute no one. It pretends to fear nothing. It pretends to pretend nothing.”
― Václav Havel, The Power of the Powerless (Routledge Revivals): Citizens Against the State in Central-eastern Europe


سیستم تمامیت خواه سیستمی ست که در هر قدم برای مردم قابل حس است اما این کار را با دستکش های ایدیولوژیک خاص خود انجام می دهد. و به همین خاطر است که زندگی در چنین سیستمی به طور تمام و کمال با ریاکاری و دروغ همراه است: دولت فشل دولت محبوب لقب می گیرد. طبقه کارگر به نام طبقه کارگر به بردگی کشیده می شود. تنزل کامل فرد به عنوان بالاترین نوع آزادی معرفی می شود. محروم کردن مردم از اطلاعات به عنوان دسترسی همگانی به اطلاعات، استفاده از قدرت برای دستکاری افکار عمومی به عنوان کنترل مردم بر قدرت، استفاده سلیقه ای و دلبخواهی از قدرت به عنوان اعمال قانون، سرکوب فرهنگ به عنوان توسعه آن، گسترش دخالت منطقه ای و جهانی به عنوان حمایت از مظلومان، نبود آزادی بیان به عنوان بالاترین شکل آزادی، انتخابات نمایشی به عنوان بالاترین فرم دموکراسی،‌ منع افکار مستقل به عنوان بالاترین فرم جهان بینی علمی، اشغال و دخالت نظامی به عنوان کمک برادرانه! معرفی و به خورد مردم داده می شود. بخاطر اینکه رژیم اسیر دروغ های خودش شده است باید همه چیز را تحریف کند. گذشته را تحریف می کند. حال را تحریف می کند. آینده را تحریف می کند. آمار را تحریف می کند. تظاهر می کند که ابزار حضور همه جایی و غیر اصولیِ پلیسی را ندارد. تظاهر می کند به حقوق بشر احترام می گذارد. تظاهر می کند کسی را آزار و اذیت نمی کند. تظاهر می کند ترس ایجاد نمی کند. تظاهر می کند که به هیچ چیزی تظاهر نمی کند!

واکلاو هاول، قدرت بی قدرتان: شهروندان علیه حکومت در اروپای مرکزی و شرقی

تمام کتابهای جهان در یک کهکشان به هم مرتبط

با استفاده از تکنیک node2vec و UMAP متون تمام کتاب های جهان تحلیل و کنار هم گذاشته شده است تا یک ویژوالیزیشن شگفت انگیز را ایجاد کند. هر گره (node) در این شکل یک کتاب. اندازه آن گره اهمیت کتاب و فاصله کتاب ها به صورت فاصله اقلیدسی سنجیده می شود به این معنا که کتاب های مرتبط تر کنار هم هستند. همین کمک می کند تا با استفاده از رنگ ها رشته ها از هم جدا شود. رشته هایی که از لحاظ محتوایی به هم نزدیک ترند (مانند کامپیوتر و برق یا سینما و موسیقی)‌به هم نزدیک تر هستند.

https://galaxy.opensyllabus.org/

الگوریتم Metropolis hasting به صورت تصویری

🎲نمونه گیری تصادفی🎲


یکی از چالش های بزرگ در بیشتر مسایل یادگیری ماشین یافتن روشی برای نمونه گیری از یک توزیع احتمال است. دلیل این موضوع این است که توزیع های احتمالی که در یادگیری ماشین با آن ها سر و کار داریم بسیار پیچیده و شامل صدها و هزاران متغیر می شوند. اما مشکل حتی فراتر است چرا که ما نمی توانیم توزیع احتمال (به معنای واقعی آن یعنی برای تمام نمونه ها جمعش برابر با یک باشد)‌را ایجاد کنیم در عوض با یک تابع امتیاز روبرو هستیم. به عنوان یک مثال ساده اگر تابع امتیاز به صورت [1,4,6,2] باشد. می توان هر کدام از امتیاز ها را تقسیم به جمع کل کرد تا به یک توزیع احتمال به صورت [0.076,0.307, 0.4615, 0.1538] رسید. در حالت کلی تر این جمع کردن به انتگرال تبدیل می شود. مشکل دقیقا همینجاست. یعنی اگر ما تابع توزیع برای توابع با متغیر های زیاد را داشته باشیم انتگرال گرفتن بر روی آن ها از لحاظ محاسباتی بسیار بسیار دشوار است. همین موضوع باعث می شود که از خیر انتگرال گیری بگذریم و در عوض دنبال درست کردن توزیع احتمال با نمونه گیری از آن باشیم. اما چگونه ممکن است از توزیع احتمالی که فرم آن را نمیدانیم نمونه گیری کنیم؟ این کار فقط به قدری قوه تخیل نیاز دارد!
بیاید فرض کنیم که بر روی یک کوه قرار گرفته ایم که دقیقا فرم همان توزیع احتمال را دارد. مناطق مرتفع تر کوه جاهایی هستند که احتمال بیشتر است پس باید آن جا ها بیشتر باشیم. فرض کنید می توانیم هر بار یک پرش کنیم اما در عین حال نمی خواهیم خیلی از جای اصلی امان دور شویم. از یک نقطه کاملا تصادفی شروع می کنیم. و اولین پرش را انجام می دهیم. حالا بیایید بپرسیم آیا این نقطه جدید که رفته ایم دارای احتمال بیشتری است یا کمتر؟ خب چون توزیع احتمال را نمی دانیم نمی توانیم بگوییم ولی مهم نیست!‌ چون سوال ما این بود که احتمال نسبت به نقطه قبلی بیشتر است یا کمتر! اگر اینطوری باشد نسبت تابع امتیاز کافی ست! اگر احتمال بیشتر بود به آن نقطه می رویم. اما برای اینکه نمی خواهیم یک مسافرت به قله کنیم بلکه از همه جا نمونه برداریم با یک شانسی که متناظر با همان نسبت احتمال از نقطه فعلی به بعدی است به نقطه بعدی می رویم! در شکل قرمز ها پرش هایی است که رد می کنیم چون ما را به نقاط خوبی نمیبرد ولی سبز ها را قبول می کنیم. به این ترتیب از هر نقطه به بعدی میپریم و به همین نحو ادامه می دهیم. همین روش ساده ی تصویری منجر به الگوریتم Metropolis-Hasting می شود که برای نمونه برداری از توزیع های پیچیده بسیار کاراست. برای اینکه دقیقا متوجه توضیحاتم بشوید می توانید به صورت یک پویانمایی کل فرآیند را در این جا ببینید.
الگوریتم های دیگر مانند Gibbs sampling هم از قوانین تصویری مشابهی پیروی میکنند.

‍ ريتم صفر (rhythm 0)


در سال ۱۹۷۴، مارینا آبراموویچ یک اجرای هنری به مفهوم مدرن داشت:
او اعلام کرده بود که در طی اجرای ۶ ساعته، مانند یک شیء بی حرکت و بدون هر گونه واکنش خواهد بود.
در این مدت شرکت کنندگان اجازه داشتند هر کاری می خواهند با او بکنند و حتی از ۷۲ وسیله ای که آبراموویچ روی میز استودیو گذاشته بود هم استفاده نمایند.این اجرا «ریتم ِ صفر» نام داشت.
روی میز یادداشت زیر به چشم می‌خورد: راهکار: -۷۲ وسیله روی میز است که هر طور دوست داشتید می توانید آنها را روی من بکار ببرید.
تعهد: - من برای مدت ۶ ساعت صرفاً یک ابژه خواهم بود و مسوولیت هر نوع عواقبی را بر عهده می گیرم. -۶ ساعت از ۸ شب تا ۲ صبح می باشد.
روی میز هم ادوات لذت مانند پر، دستمالهای ابریشمی، گل، آب و ... بود و هم ابزار شکنجه: چاقو، تیغ، زنجیر، سیم... و حتی یک اسلحه ی پُر!
در ابتدای کار همه رودربایستی داشتند. یک نفر نزدیک شد و او را با گلها آراست. یک نفر دیگر او را با سیم به یک شیئ دیگر بست، دیگری قلقلکش داد...
کمی بعد او را بلند کردند و جایش را تغییر دادند!
کم کم زنجیرها را بکار گرفتند، به او آب پاشیدند و وقتی دیدند واکنشی نشان نمی‌دهد رفتارها حالت تهاجمی‌تر گرفت. منتقد هنری، توماس مک اویلی، که در این پرفورمنس شرکت کرده بود به خاطر می‌آورد که چگونه رفتار مردم رفته رفته، خشن و خشن‌تر شد.
«اولش ملایم بود، یک نفر او را چرخاند، یکی دیگر بازوهایش را بالا برد... ...»
مردی جلو آمد و با تیغ ریش تراشی که برداشته بود گردن او را مجروح کرد و مردی دیگر خارهای گل را روی شکم آبراموویچ کشید. در ساعت سوم تمام لباس های او رو پاره کرده بودند و آزارهای جنسی محدودی بر او انجام شد.
یک نفر تفنگ را به دستش داد و دستش را تا بالای گیجگاهش برد.
مسئول گالری وحشت زده آمد تفنگ را گرفت و از پنجره به بیرون پرت کرد. اون چنان متعهد به کارش بود که احتمال تجاوز یا حتی مرگ را به جان خریده بود.
با این پرفورمنس آبراموویچ نشان داد که اگر شرایط برای افرادی که به خشونت گرایش دارند مهیا باشد، به چه راحتی و با چه سرعتی آن را اعمال می‌کنند.
بعد از پایان ۶ ساعت پرفورمنس، آبراموویچ در سالن استودیو به راه افتاد و از مقابل دستیاران و بازدیدکنندگان گذشت.
همه از نگاه کردن به صورت او اجتناب می‌کردند.
بازدید کنندگان هم آنقدر عادی رفتار می کردند که انگار اصلاً از خشونتی که دمی پیش به خرج داده بودند و اینکه چگونه از آزار و حمله به او لذت برده بودند چیزی در خاطرشان نمانده.
این اثر نکته ای دهشتناک را در باب وجود بشر آشکار می‌کند.
به ما نشان می‌دهد که اگر شرایط مناسب باشد، یک انسان با چه سرعت و به چه آسانی می‌تواند به همنوع خود آسیب برساند، به چه سادگی می‌شود از شخصی که از خود دفاع نمی‌کند یا نمی‌جنگد بهره‌کشی کرد
و این که اگر بسترش فراهم باشد اکثریت افراد به ظاهر «نرمال» جامعه می توانند در چشم برهم زدنی به موجودی حقیقتاً وحشی و خشن تبدیل شوند.
مارینا بعدها اعلام کرد که وقتی که شب به هتل خود برگشته بود، دید که یک دسته از موهایش در عرض چند ساعت سفید شده بود. خودداری و عدم واکنش او چنین هزینه‌ای به او تحمیل کرده بود.
مارينا آبراموويچ و پرفورمنس ريتم صفر به ما ياد ميدهد كه وقتي منفعل باشيد هم خودتان نابود ميشويد و هم بخش نابودگر ديگران را بيدار مي كنيد.
وقتي منفعل باشید آدم ها وحشي ميشوند ، زورگو ميشوند، اخلاق و شأن انساني شما را ديگر هر کسی محترم نمي شمارد و امیال و عقده و غده هایی که درونش وجود دارد مجال ابراز وجود پیدا کرده و خود نمایی میکند !

"هر بار که ما ظلمی را شاهد هستیم و کاری نمیکنیم، شخصیت خود را آموزش میدهیم که در زمان مشکل منفعل باشد و به مرور تمام توانایی خود را برای دفاع از خود و کسانی که دوست داریم را از دست می دهیم"
جولیان آسانژ

یکی از ابزارهای جالبی که امروز پیدا کردم سرویس جستجوی دیتاست هاست که توسط گوگل راه اندازی شده است. با این ابزار می توانید دیتاست مناسب خودتان در هر زمینه ای که باشید را پیدا کنید. گزینه های زیادی در سرچ وجود دارد که قطعا آن را از جستجوی مستقیم در گوگل متمایز می کند. به طور مثال قابلیت کامل کردن به شما کمک میکند دیتاست های مرتبط را پیدا کنید. همچنین می توانید بر اساس فرمت، بر اساس تاریخ انتشار و رایگان بودن و نبودن نتایج را به دلخواه تغییر دهید

https://datasetsearch.research.google.com/

#dataset

این ویدیو بالاترین رزولوشن از نقشه مغز «مگس سرکه» را نشان می دهد که بر اساس عملکرد (بینایی، بویایی و غیره) دسته بندی شده است. این کار با همکاری گوگل و janelia انجام شده است. تعداد نورون های مغز مگس سرکه حدود ۲۵ هزار است که دارای چهار هزار نوع مختلف نورون است.

قسمت جالب تر این است که تمام اطلاعات مربوط به نورون ها و ارتباط آن ها در دیتاستی در اختیار پژوهشگران قرار داده شده است. فرمت آن بر اساس پایگاه داده معروف neo4j است و یک رابط به زبان پایتون هم برای آن درست شده است. اندازه این دیتاست حدود چهار گیگابایت است! برای راحتتر بودن کار حتی یک ابزار آنلاین برای گشتن در نقشه مغز قرار داده شده است که می توانید با آن کار کنید.

برای مقایسه باید بدانید تعداد نورون های مغز انسان حدود ۸۶ میلیارد عدد است که چیزی حدود ۳.۵ میلیون برابر مگس سرکه است!!

#brain
#python
#dataset

🌪انتقال کل داده های ویکی پدیا به پایگاه داده مونگو🌪

می توان گفت ویکی پدیا مهمترین دیتاست در حوزه پردازش زبان طبیعی است. اما بعد از سالها تجربه کار کردن با آن متوجه شدم که خیلی مواقع آن قدر ها هم که فکر میکنید به راحتی نمیتوانید به آن دسترسی داشته باشید به چند دلیل مشخص:

۱- داده های دامپ (dump) ویکی پدیا حجم عظیمی هستند که به فرمت بسیار بدخوان xml ذخیره شده اند که خواندن آن معمولا ساده نیست.

۲-حتی بعد از تبدیل داده ها به فرمت مناسب تر (مثلا json) این داده ها حاوی مقادیر زیادی تگ های اضافه مانند لینک ها، هدر ها، ویرایش ها، رفرنس ها و صدها جزییات کوچک و بزرگ است که آن را از یک متن تمیز و ساده بسیار متمایز میکند. تمیز کردن این ورودی تقریبا شما را راهی تیمارستان می کند!!

۳- ابزارهای آنلاینی برای تمیز کردن داده ها وجود دارند اما مشکل این است که آن ها صرفا دوباره داده ها را بر روی دیسک ذخیره می کنند و این بدان معناست شما نیاز به نوشتن کد اضافی برای خواندن از روی دیسک دارید.

۴- حتی اگر این کدها را هم بنویسید به خاطر اینکه بر روی دیسک ذخیره شده است انجام کارهای ساده بر روی آن را دشوار می کند. دقت کنید ویکی پدیا یکی از بزرگترین داده های متنی است که حاوی حدود پنج میلیون مقاله است و حجمی نزدیک به ۳۰ گیگابایت از دیسک را ذخیره می کند. انجام عملیاتی مثل دسترسی به یکی از مقاله ها ممکن است چند دقیقه طول بکشد اگر صرفا آن را به صورت ترتیبی بخوانید.

این دلایل و دلایلی دیگر باعث شد یک بار برای همیشه یک API ساده برای آن بسازم که تمام داده ها را در چند قدم ساده بدون اینکه درگیر جزییات بشوید در یک پایگاه داده مبتنی بر سند یعنی Mongodb ذخیره کند. انجام این کار ممکن است کمی طول بکشد اما بعد از وارد کردن داده ها و اندیس دهی می توانید علاوه بر دسترسی بسیار ساده و بسیار سریع (کمتر از یک هزارم ثانیه بعد از اندیس دهی)‌ به داده ها از طریق یک کلاس که فقط اطلاعات اتصال به دیتابیس را میخواهد به همه مقالات با متن تمیزه و به راحتی دسترسی داشته باشید.

https://github.com/roholazandie/wikipedia_to_mongodb