دستاوردهای یادگیری عمیق(InTec)
9.53K subscribers
363 photos
40 videos
44 files
674 links
هوش مصنوعی، یادگیری ماشین و یادگیری عمیق
موضوع اصلی کانال

این یک بلاگ شخصی با طرز تفکر شخصی هست.

Core Python : @PyHints

تلاشی هم در یادگیری Rust دارم که درحال داکیومنت شدن هم هست؛ اگر شماهم به این زبان علاقمند هستید join یادتون نره

Rust: @PyRust
Download Telegram
دستاوردهای یادگیری عمیق(InTec)
این ویدئو کاری با دیپ‌لرنینگ نداره یادمه قبلترهم راجب گوگل و دیتاهایی که استفاده می‌کنه متن گذاشته بودم https://www.youtube.com/watch?v=hLjht9uJWgw
خوشبختانه تموم دیتایی که گوگل از من داره
به این ۲ مگ ختم می‌شه

اگر می‌خواید خودتون تست کنید
https://support.google.com/accounts/answer/3024190?hl=en

دلیل اینکه گوگل دیتایی از بنده نداره ؛ شاید بخاطر اینه که ایمیل خرید و ... سایتهای مختلفم به گوگل وصل نیست (شخصی هست)
موتور جستجو هم داک‌داک‌گو هست
و از جیمیل فقط برای ایمیل ساده استفاده می‌کنم

تمامی سرویس‌هاش روهم خاموش کردم (برای بکاپ دیتا هم از NextCloud روی سیستم شخصی استفاده می‌کنم)
معاون دادستان کل: چاره‌ای نباشد «اینستاگرام» را فیلتر می‌کنیم.

یاد توییت جناب وزیر آقای جهرمی افتادم و پاسخ هموطنمون ؛

«با فیلترینگ توییتر، تلگرام و وب‌سایت‌های مختلف، چی رو ثابت کردید؟ به دنیا گفتید که از اون چیزی که یک ملت ممکنه بگن، می‌ترسید. همین!»

عجب !!!
وقتی میگم گیت‌هاب برای یادگیری و تمرین خوبه
منظورم این نیست که دوستان کد‌های بخش
model - research
ریپوزیتوری خود تنسورفلو رو بخونن تا یاد بگیرند.

ی سری کد ساده که شمارو درگیر آبجکت و کلاس و کلی فایل نکنه و روتین کد زده باشه
و دسته بندی هم شده باشه

مثه این :
https://github.com/dragen1860/TensorFlow-2.x-Tutorials
ی ذره چینی داره ولی خب خیلی اهمیتی نداره
بخش‌های مهم انگلیسی هستند
#خبر
#درگذشت خالق زبان برنامه‌نویسی در ۶۸ سالگی
#Erlang

https://www.kth.se/profile/jlarm/

قشنگترین توصیف در مورد نحوه پیشرفتشون در برنامه نویسی :

At 17, Joseph began programming Fortran on his school district’s mainframe. This experience helped him during his physics studies at University College London, where he debugged the programs of his fellow students in exchange for beer.

خدایش بیامرزد
#خارجـازـبحث
امروز یکی از دوستان باهام تماس گرفت و گفت احساس می‌کنه کسی به گوشیش دسترسی گرفته
دلایلش :
حجم بسته‌هاش خیلی زود تموم می‌شه
بیشترین مصرف دیتارو گوشیش داره (روی شبکه و مودم)
چندتا پسوردهاش رو هم انگار کسی دسترسی گرفته

دلایلش که قانع کننده نبود ولی خب تست انجام دادم :
۱- اول گوشی رو خاموش کردم و بعد با ابزارهای موجود مثه #وایرشارک و ... شروع به دریافت پکت‌ها کردم و گوشی رو روشن (آی‌پی استاتیک برای مک‌آدرس گوشی قرار دادم)
۲- آنالیز پکت‌ها رو (لیست آی‌پی‌ها) رو بصورت
csv
گرفتم از برنامه
۳- با پایتون تمام آی‌پی‌های لوکال و دی‌ان‌اس و ... رو حذف کردم و باقیش رو
unique
کردم
۴- به کمک
https://traceroute-online.com/ip-asn-lookup/
لیست آی‌پی‌هایی که موند رو چک کردم تا ببینم کدوماشون شناخته شده و ... هست
۵- نهایتاْ به ۸ تا آی‌پی رسیدم که مشکوک بود ۷ تاشون رو به کمک
https://www.shodan.io/
پیدا کردم که برای کدوم برنامه هست و ...

آخرین آدرس آی‌پی که مونده بود رو تست کردم و اصلاْ‌ شناخته شده نبود (این‌بار حق با دوستمون بود)
اولین کاری که کردم پورت اسکن بود و چیزی که پیدا کردم پورت دیفالت
mariaDB
بود پورت ۸۰ هم باز بود (اگر فکر می‌کنید عمراْ کسی پورت دیفالت رو باز نمیذاره یادتون باشه تاکسی آنلاین مملکت پورت دیفالت مانگو رو تغییر نداده بود - ادمین دوروزه)
ی سر به آدرس با مروگر زدم و با ی جستجو فهمیدم که ی صفحه
scam - fakepage
هم اونجا راه انداخته
پسوردهای دیفالت اولین چیزیه که همه تست می‌کنن (منم اینکارو کردم)
ولی ازونجا که فیلم ایرانی نیست (جواب نداد) ؛ خوب همینجا می‌شه آی‌پی رو با فایروال (آندروید) بن کرد.

ولی برای آخرین تست توی صفحه فیک‌پیج ی کوئری ارسال کردم و ی یوزر جدید ساختم و دسترسی کامل بهش دادم
با ترمینال و رو پورت باز
MariaDB
تست کردم و دسترسی برقرار بود.

حدود ۲ هزارتا سطر داشت دیتابیس طرف (خیلی تلاش کرده بود معلوم بود) و کاری که کردم drop بود.

ازونجا که ممکن بود وضعیت مشابه برای خیلی از دوستان اتفاق بیوفته گفتم این متن رو قرار بدم تا دوستان اگر خواستند خودشون تست کنند. (تا جایی که با فایروال آی‌پی رو ببندید هرشخصی می‌تونه انجام بده)
امیدوارم مفید باشه 🌹
1👍1🤯1
درگذشت پدر جناب دکتر #عسگری عزیز رو به خودشون و خانواده محترمشون تسلیت عرض می‌کنیم

#روحشون شاد
وقتی کسی از شما منبعی برای یادگیری دیپ‌لرنینگ درخواست می‌کنه ؛ احتمالاْ جزو اولین گزینه‌ها (با فرض اینکه طرف برنامه‌نویسی و ... رو اشراف داره)

deeplearningbook.org

هست ؛ اما خیلی‌ها با ی مرور سریع و دیدن اون همه ریاضیات تصمیم می‌گیرند که این کتاب رو کنار بذارند

https://www.youtube.com/playlist?list=PLsXu9MHQGs8df5A4PzQGw-kfviylC-R9b

این پلی‌لیست یوتوب ویدئوهایی راجب همین کتاب هست که خیلی می‌تونه مفید باشه
اگر از دیپ‌لرنینگ در زمینه‌های

drug discovery, materials science, quantum chemistry, and biology

پیشنهاد می‌کنم حداقل یکبار؛ نگاهی به
https://www.deepchem.io/

بندازید
دوره آموزش کد زنی
Tensorflow 2.0
این دوره تازه داره کامل می‌شه و ی برنامه نویس مثل خیلی از ماها داره دوره رو می‌ذاره

۲ تا ویدئو اول آپلود شده و بنده ی مروری کردم تا اینجا خوب و مفید هست
اگر می‌خواید تنسورفلو رو یاد بگیرید (تئوری دیپ لرنینگ رو بلد هستید.)

این دوره می‌تونه مفید باشه :

https://www.youtube.com/playlist?list=PLzMcBGfZo4-lak7tiFDec5_ZMItiIIfmj
👍1
ی وقتایی به این فکر می‌کنم، شاید تنبلی بیش از حد اکثریت آدما ‎#هوش_مصنوعی رو مهمتر کرده
میگن این جایگزین جدید هست به نام
microsoft windows terminal

بیل جان ، مگه بورن_شل چش بود
moc player - htop
رو دزدیدی شد ترمینال جدیدتون
#خارجـازـبحث

ی خوبی که فیلترینگ و تحریم داشت این بود که تبلیغات زیادی برامون بسته بود و نشون داده نمی‌شد ولی محتوای اصلی سایت درست نشون داده می‌شد.

اما از ی جایی به بعد خیلی افراطی شد ؛ و خلاصه هیچی باز نشد برامون و به فیلترشکن‌ها رو آوردیم

احتمالاْ همگی
Adblock و ... رو می‌شناسیم اما مشکل اساسی با این مدل از ضد تبلیغات‌ها اینه که روی کل شبکه فعال نمی‌شه هرجا باید نصب و کانفیگ بشه و هربار هم باید این کار انجام بشه

همیشه ی راهکار بهترم هست ؛

https://pi-hole.net/

Pi-Hole اینکارو خیلی خیلی ساده و راحت می‌کنه
حتی رو رزبپری زیرو هم جواب میده و کل شبکه رو براتون ضد تبلیغات می‌کنه
تا از شر تموم تبلیغات مزخرف راحت بشید. (این لیست خیلی سریع و باقدرت هم آپدیت می‌خوره )

حتماْ تست کنید؛ مخصوصاْ دوستان ادمین و مسئول شبکه
سرعت لود صفحات وب رو افزایش بدید
مصرف ترافیک رو هم کم کنید
001.ipynb
195.6 KB
نمونه کد آموزشی ؛ جلسه اول کدینگ دیپ‌لرنینگ
توی کد از خود کراس برای نمایش شبکه استفاده شده که خیلی چیز جالبی نیست اما باید آموزش داده می‌شد.
اما پیشنهاد شخصی بنده ابزارهایی مثل :

https://github.com/HarisIqbal88/PlotNeuralNet

هست که خوشبختانه آموزش رسم و ابزارهای مثل این به اندازه کافی وجود داره

دیگر کدهای مربوط به این دوره راهم (پیش نیاز دوره تئوری دیپ‌لرنینگ) در صورت رضایت شاگردان به اشتراک خواهم گذاشت
از ویژگی‌های دوس داشتنی کراس راحتی کار با دیتاست‌های آماده‌اش هست، لود کردن راحتش هم به وقت آموزش ‌دادن خیلی کمک می‌کنه

به همین دلیل ابتدای کلاس این هفته دیتاهای عکس دلخواه رو بصورت دیتاهای کراس ایجاد و لود کردم

خوبیش اینه خیلی راحت می‌شه نهایتاً ۴ تا فایل
npz
رو به اشتراک گذاشت
(مثل خود کراس) 👇👇👇
تمامی دوستانی که ؛ کمی هم دنبال اخبار موبایل‌ها و دوربین‌ اونها هستند ۱۰۰٪ میدونن که با وجود اینکه خیلی از برندهای موبایل در حال اضافه کردن تعداد لنز‌ها و مگاپیکسل اونها هستند همواره توی رقابت با گوگل پیکسل همیشه بازنده بودند با توجه به اینکه فقط و فقط از یک دوربین استفاده می‌کنه (مغز می‌پوکه)

خیلی از روش‌های هوش مصنوعی و دیپ‌لرنینگ برای بهبود کیفیت عکس‌ها و سرعت پروسس اونها استفاده می‌شه

این مقاله نمونه‌ایی از قدرت گوگل رو این موضوع رو نشون می‌ده اگر شماهم علاقه دارید بدونید گوگل پیکسل چطور به این نتایج می‌رسه خوندن این مقاله رو بهتون پیشنهاد می‌کنم

https://sites.google.com/view/handheld-super-res/

پ.ن :
گوگل و کیفیت نایت‌سایت و قدرت اون هم از همینجا میاد
👍2
یک پروژه‌ایی که به تازگی بهم پیشنهاد شد تشخیص یک سری اتفاقات خاص بود (فیلم و دوربین و ...)

راه حل‌های زیادی تست شده بود روی این دیتاست و هرکدوم دقت‌های خوبی داشت (فکر می‌کنم تمومی روش‌های بادقت خیره کننده موجود تست شده)

اما همچنان نیاز هست که دقت بیشتر از این باشه؛ بخاطر دوستی که با یکی از اعضای این تیم داشتم بهم پیشنهاد شد که به تیم کمک کنم و اگر ایده‌ایی دارم حتی اگر وقت پیاده‌سازی ندارم برای تیم شرح بدم تا اعضای اون کد رو پیاده سازی کنند.

همیشه گفتم ؛ اول دیتا رو خوب بشناسید حتی اگر زمان زیادی رو خرجش می‌کنید (مطمئن باشید پشیمون نمی‌شید.)

بعد از گرفتن اصل دیتاها و کلی بررسی کردن از گروه خواستم نمونه‌هایی که مدلهاشون درست عمل نمی‌کنه رو بهم بدند (از دیتای تست و مدلی که پیاده‌سازی شده برای مشتری و ...)
این کار مشکلی نداره چون من نمی‌خوام پارامتر‌های مدل رو تغییر بدم یا تقلب کنم که مدل عملکرد بهتری داشته باشه (جلوتر متوجه می‌شید)

دلیلم این بود که توی بررسی ۱۰۰ تا از دیتاها به یک نمونه خاص برخوردم که با دیتاهای قبلی تفاوت داشت
توی دیتای تست هم از ۱۰۰ مورد حدود ۳۰ مورد همین حالت بود ؛
بعنوان مثال :
فرض کنید تیم می‌خواد جاهایی که سگ وجود داره رو تشخیص بده اما تو بعضی از ویدئوها دوربین نقطه کور داره و سگ توی ویدئو دیده نمی‌شه البته که سگ وجود داره و این لیبلی هست که برای دیتا خورده.

راهکار این نیست که دیتارو حذف کنیم یا دوربین بیشتر بذاریم و محدوده رو بزرگتر کنیم و دوباره دیتا جمع کنیم.

براهکار کم خرج و بهتر چی می‌تونه باشه ؟؟؟؟؟؟

ی چندبار توجه به لیبل و دیتاها و گرفتن دیتای تست از گروه دقیقاْ برای همین موضوع بود (تا آخر با مثال سگ پیش میرم)
توی یک نمونه دیتایی که من توی داده ترین متوجه‌اش شدم صدای سگ وجود داشت اما سگی نبود؛ به همین دلیل لیبل دستی که براش زده شده بود سگ داشت اما مدل‌های دیپ‌لرنینگ می‌گفتند سگی وجود نداره و هردو هم درست می‌گفتند.

کاری که من انجام دادم جدا کردن صداها از ویدئوها بود و دسته بندی کردن بر اساس صداها
درنهایت هم بر اساس ویدئو و هم براساس صدا مدل کارش رو انجام میده ؛ دقت خیلی خیلی بهتر شد و مشکلات حل

برای ترین کردن شبکه‌ایی که استفاده کردم ۲تا دیتاست فوق‌العاده پیدا کردم :

1-
https://research.google.com/audioset/
2-
https://urbansounddataset.weebly.com/

حل کردن چالش واقعاْ لذت بخش هست
این راهکار می‌تونه برای حل مسائل دیگه هم استفاده بشه؛ موضوع و راهکار خوبی برای پایان‌نامه و مقاله‌ هم می‌تونه باشه
1🆒1