✅ ابزارهای زیادی در زمینه وب اسکرپینگ و وب کرالینگ وجود دارد که به معرفی دو نمونه از هر کدام می پردازیم:

🔸 ابزارهای web scraping:


🔹ProWebScraper:

به استخراج داده از هر نوع سایتی کمک می کند.


🔹Webscraper.io:

یک افزونه مرورگر کروم است که به استخراج داده از سایت کمک می کند.


🔸 ابزارهای web crawling:


🔹Scrapy:

یک فریم ورک خوب برای وب اسکرپینیگ و وب کرالینگ است که به طور گسترده در سایت ها مورد استفاده قرار می گیرد و برای مقاصد گوناگونی کاربرد دارد. اسکرپی از کتابخانه های پایتون است و اگر با پایتون آشنا باشید، به آسانی آن را یاد خواهید گرفت.


🔹Apache Nutch:

یک پروژه نرم افزاری وب کرالینیگ بسیار مفید است که می توانید در مقیاس بزرگ از آن استفاده کنید. تحلیلگران داده ها، دانشمندان داده، توسعه دهندگان برنامه ها و مهندسین استخراج متن وب به طور گسترده از آن در برنامه های متنوع استفاده می کنند. این نرم افزار به زبان JAVA نوشته شده است.

🆔 @software_engineers_channel

🔸 24 عادت روزانه که شما را باهوش‌تر خواهد کرد.

🆔 @software_engineers_channel

✅ پروژه های پایتون برای سال 2020 - اگر می خواهید در پایتون مهارت کسب کنید بر روی پروژه های بلادرنگ کار کنید.

سایت DataFlair ایده پروژه های مختلف پایتون را در موضوعات زیر ارائه کرده است:

▫️Python Projects
▫️Python Django (Web Development) Projects
▫️Python Artificial Intelligence Projects
▫️Python Machine Learning Projects
▫️Python Data Science Projects
▫️Python Deep Learning Projects
▫️Python Computer Vision Projects
▫️Python Internet of Things Projects

پروژه ها در هر یک از موضوعات مطرح شده در سه سطح مبتدی، متوسط و پیشرفته طبقه بندی شده است.

به همراه کدهای پایتون

لینک دسترسی:
https://data-flair.training/blogs/python-project-ideas/

🆔 @software_engineers_channel

🔸نسخه 20.4 اوبونتو با پشتیبانی چهار ساله LTS منتشر شد.

🔗 https://releases.ubuntu.com/focal/

🆔 @software_engineers_channel

✅ گوگل قابلیت رمزگذاری پوشه‌‌ها را به دستگاه‌های اندرویدی اضافه کرد

با استفاده از ویژگی امنیتی جدید گوگل، برای دستگاه‌های اندرویدی امکان افزودن پین‌کد چهاررقمی برای پوشه‌های مدنظر کاربر فراهم می‌شود.

🆔 @software_engineers_channel

✅ تفاوت CPU , GPU , TPU :

🔶 CPU - Central Processing Unit

سی پی یو یا واحد پردازشگر مرکزی به عنوان مغز کامپیوتر مسئول عملیات ریاضی و منطقی درون کامپیوتر است و برای حل مسائل محاسباتی بسیار کارا است. سی پی یو قادر به پردازش دهها عملیات در هر چرخه است. ابعاد داده معمولا واحد داده 1*1 است.

🔶 GPU - Graphics Processing Unit

جی پی یو یا واحد پردازشگر گرافیک به اجرای برنامه های خاصی مانند بازی ها، ویرایش عکس/ ویدئو، انیمیشن، تحقیقات علمی، نرم افزارهای تحلیلی و یادگیری عمیق می پردازد که نیاز به تصویر کشیدن نتایج گرافیکی با مقدار زیادی داده دارند. سی پی یو نیز می تواند این وظایف را انجام دهد، اما جی پی یو بسیار بهتر قادر به انجام آنهاست. زیرا جی پی یو دهها هزار عملیات را در هر چرخه انجام می دهد و ابعاد داده عموما، واحد داده 1*N است.

🔶 TPU - Tensor Processing Unit

تی پی یو یا واحد پردازش تنسور پردازشگرهایی هستند که برای وظایف یادگیری ماشین و یادگیری عمیق طراحی شده اند و به طور خاص برای استفاده از تنسور فلو توسعه یافته اند. تنسورفلو یک پلت فرم یادگیری ماشین منبع باز است که توسط گوگل توسعه یافته است.

اگرچه سی پی یو و چی پی یو تا حدی می توانند وظایف یادگیری ماشین و یادگیری عمیق را انجام دهند اما این وظایف برای جی پی یو و بدتر از آن برای سی پی یو بسیار سنگین است، اما تی پی یو همه چیز را به سطح دیگری می برد. تی پی یو معماری زیر سیستم حافظه را با ابعاد داده ایی، به واحد داده N*N مدیریت می کند. یعنی تی پی یو می تواند تا 128000 عملیات را در هر چرخه مدیریت کند که بسیار بیش از چیزی است که سی پی یو یا حتی جی پی یو قادر به انجام آن هستند.

🆔 @software_engineers_channel

رادیوگیک ۱۰۱ - اعترافات مارکوس هاچینز ، هکری که اینترنت را نجات داد

توی این شماره از رادیوگیک، به سراغ داستان هکری می‌ریم که خوبه شنیده بشه: مارکوس هاچینز. کسی که از یه زندگی روستایی ساده شروع کرد ولی به زودی پاش به زیرزمین‌های تاریک و نمور باز شد. کسی که از اتاق خوابش اینترنت رو نجات داد؛ ولی اف بی آی بالاخره دستگیرش کرد؛ اونهم بعد از یک هفته پارتی سنگین! داستان مارکوس هاچینز رو بشنوین!

✅ کتاب فارسی آموزش گیت

https://git.codecast.ir/en/latest/index.html

🆔 @software_engineers_channel

✅ قدم مهم بعدی در هوش مصنوعی چیه؟

🔸 پروفسور اندرو وو (ان‌جی):
"What do you think is the single most important problem that the AI community should be working on?"

🔸این پست را در توییتر دنبال کنین. ایده‌های جالبی بینشون هست:
https://twitter.com/AndrewYNg/status/1290029141522173952

🆔 @software_engineers_channel

✅ Arctic Code Vault

🔸 گیت هاب خبری رو منتشر کرد که تعداد زیادی از ریپوزیتوری های پابلیک و اکتیو رو به قطب شمال برده و اونجا نگهداریشون می‌کنه. این کلیپ اطلاعات جامع و کاملی در مورد مکان و نحوه ی نگه داری اطلاعات بیان میکنه .


🆔 @software_engineers_channel

✅ سریع ترین نویسندگان مقالات دانشگاهی

🆔 @software_engineers_channel

✅ درگذشت مخترع پیکسل

🔸راسل کرش (Russell Kirsch) مخترع پیکسل در سن ۹۱ سالگی درگذشت. تحقیقات او زیربنای تصویربرداری ماهواره‌ای، سی تی اسکن، واقعیت مجازی و فیس بوک به حساب می آیند.

🔸مهر به نقل از آسوشیتدپرس، خبر داد راسل کرش محقق علوم رایانشی و مخترع پیکسل و کسی که نخستین عکس دیجیتال جهان را اسکن کرد در ۱۱ آگوست سال جاری میلادی و در سن ۹۱ سالگی در ایالات اورگان آمریکا درگذشت.

🔸پیکسل‌ها یا نقاط دیجیتال برای نمایش تصاویر و ویدئوها روی نمایشگر موبایل و رایانه به کار می‌روند. کرش در سال ۱۹۵۷ یک تصویر دیجیتال سیاه و سفید در ابعاد ۲ در ۲ اینچ از پسرش ساخت. این یکی از نخستین تصاویری بود که به وسیله رایانه اسکن شده بود. در این فرایند از دستگاهی استفاده شد که تیم تحقیقاتی کرش در دفتر ملی استاندارد آمریکا ابداع کرده بودند.

🆔 @software_engineers_channel

✅ هوش مصنوعی وجود ۵۰ سیاره را تأیید کرد

🔸 اخترشناسان برای نخستین بار از یک فرآیند مبتنی بر یادگیری ماشین استفاده کردند تا نمونه‌ای از سیارات را مورد تجزیه و تحلیل قرار دهند.
🔸 دانشمندان دانشگاه وارویگ و انستیتو آلن ترنینگ با یادگیری ماشین که شکلی از هوش مصنوعی است، وجود ۵۰ سیاره خارج از منظومه شمسی را تایید کردند.
🔸 سیارات تأیید شده شامل سیارات گازی شکل به اندازه نپتون تا سیاراتی کوچکتر به اندازه زمین می‌شوند.

🆔 @software_engineers_channel

✅ افزایش سرعت پردازشی با تغییر نگرش، در تصاویر پزشکی

🔸تنها راه بهبود سرعت و کیفیت سامانه‌های هوشمند استفاده از مدل‌های عظیم نیست، گاهی اوقات یک نگاه جدید میتونه این بهبود رو بوجود بیاره. تیم هوش مصنوعی فیسبوک با همکاری مرکز پزشکی NYU تونستن با تغییری در نمایش داده ورودی به مدل هوشمند، 4 برابر داده کمتر مصرف کنند و سرعت رو افزایش بدن. اسم این سامانه رو FastMRI گذاشتن.

🔸 برای مطالعه بیشتر به دو لینک زیر مراجعه کنید :

https://twitter.com/an_open_mind/status/1295755956421369857

https://ai.facebook.com/blog/fastmri-breakthrough-shows-ai-accelerated-mris-interchangeable-with-slow-traditional-mris/


🆔 @software_engineers_channel

✅ چرا استیو جابز همیشه یک لباس می‌پوشید؟

🔸شاید باورکردنی نباشد ولی یکی از انواع خیلی شدید خستگی ذهنی (که حتی به بدن هم سرایت می‌کند) خستگی تصمیم یا Decision Fatigue است. ذهن ما اگر بین دو یا چند گزینه مجبور به تصمیم باشد، خسته می‌شود حتی اگر آن تصمیم را نگیرد و به بعد موکول کند. به همین دلیل اغلب افرادی که کار فکری سنگین دارند در دورانی که در حال خرید خودرو یا منزل هستند بهره‌وری شان کم می‌شود چون شدیدا دچار خستگی تصمیم می‌شوند.

🔸حتی یک تصمیم کوچک مثل این‌که لباس چی بپوشم می‌تواند مقداری از انرژی ذهنی آن روز را مصرف کند. به همین دلیل بود که استیوجابز همیشه یک لباس می‌پوشید!

🆔 @software_engineers_channel

✅ چند راهکار برای به حداقل رساندن خستگی تصمیم:

🔸 اگر اطلاعات نسبتا کامل است تصمیم گرفتن را به بعد موکول نکنید، چون برای یک تصمیم چندین خستگی خواهید پرداخت.

🔸 تا حد امکان تصمیم را به ضابطه بسپارید هر فردی (به خصوص اگر مدیر باشد) باید تا حد امکان به جای تصمیم‌، ضابطه و پروتکل تصمیم گیری را طراحی کند، یعنی فرمولی بسازد که با ورود اینپوت‌های مشخص تصمیم بگیرد.

🔸 مدیران تصمیم گیری را با قواعد مشخصی به سایر اعضای تیم تفویض کنند.

🔸 ارزشمندترین زمان روز صبح است، برنامه فردا را همیشه از روز قبل طراحی کنید در این صورت تصمیمات را شب قبل از خواب گرفته‌اید و خستگی آن را خواب رفع می‌کنید، در صبح تا یکی دو ساعت هیچ تصمیم گیری زائدی نباید داشته باشید، بدترین کار این است اولین گام کاری برنامه‌ریزی برای آن روز باشد.

🆔 @software_engineers_channel

✅ آیا لک‌لک ها، نوزادان انسان را به والدین آنها میرسانند؟! استفاده نامناسب از آمار!

رابرت ماثیو در سال ۲۰۰۰، در مقاله ای نشان داد تعداد لک‌لک ها و تعداد نوزادان متولد شده در هر سال در کشورهای اروپایی با هم همبستگی بالایی از نظر آماری دارند.
او نتیجه گیری کرد:"لک‌لک ها مسوول رساندن نوزادان به والدین آنها هستند"!!

استفاده بدون تفکر استدلالی از آمار میتواند منجر به نتایج عجیب و غیر قابل قبول شود.

🔸Matthews, Robert. "Storks deliver babies (p= 0.008)." Teaching Statistics 22.2 (2000): 36-38.

🆔 @software_engineers_channel

✅ تکنولوژی‌های تاثیرگذار دهه آینده

هوش مصنوعی، اینترنت اشیا، بلاکچین و بیگ دیتا در رتبه‌های اول تا پنجم این لیست قرار دارند.

🆔 @software_engineers_channel

✅ "اپل" ماسک هم تولید کرد

🔸 اپل یک ماسک صورت با ظاهری "منحصر به فرد" برای کارمندان خود تولید کرده است که این ماسک‌ها توسط تیم‌های مهندسی که بر روی آیفون و آیپد کار می‌کنند، طراحی شده است.
🔸 از زمان شیوع بیماری همه گیر کووید-۱۹، اپل تلاش کرده است تا تجهیزات حفاظتی شخصی مانند ماسک و محافظ صورت را برای کارکنان مراقبت‌های بهداشتی توسعه و ارائه دهد. اگرچه هنوز تصاویری از ماسک جدید منتشر نشده است، اما سایت مک رومرز در این باره نوشت: هفته گذشته، یک کارمند اپل تصویری از طراحی ماسک را برای سایت MacRumors ارسال کرده است و در پی آن تصویر زیر را سایت مذکور منتشر کرد.

🆔 @software_engineers_channel

✅ پروتیین‌های مصنوعی ویروس کرونا را مهار می‌کنند

محققان دانشگاه واشنگتن با استفاده از هوش مصنوعی پروتئین‌هایی را طراحی کردند که از طریق اتصال به پروتئین‌های تاجدار ویروس SARS-CoV-۲، توانایی مهار کردن آن را دارند.

🆔 @software_engineers_channel