فریم ورک horovod برای پیاده سازی و استفاده سریع و آسان یادگیری عمیق با فریم ورک های TensorFlow, Keras, PyTorch, and MXNet

Horovod is a distributed training framework for TensorFlow, Keras, PyTorch, and MXNet. The goal of Horovod is to make distributed Deep Learning fast and easy to use.

https://github.com/horovod/horovod

#آموزش
جراحی مدل آموزش دیده شده!
آیا میتوان وزن های اضافی را بعد آموزش مدل حذف کرد که بتوانیم به مدل سبک تر برای embedded system ها برسیم؟

قبلا در آموزش Tensorflow Optimization Toolkit دیدیم که می‌توانیم وزن های شبکه عصبی را با این روش هرس کرد و به مدل سبک تر رسید.


این پست نیز روشی مرتبط را معرفی کرده که البته بعد از آموزش میتوانیم با سیاستهایی که داریم تصمیم به حذف یک سری فیلترهای کانولوشنالی بگیریم.
همچنین در برخی از آزمایش ها علاوه بر کاهش حجم مدل دقت نیز افزایش پیدا کرده است.

Model Pruning in Keras with Keras-Surgeon

https://medium.com/@anuj_shah/model-pruning-in-keras-with-keras-surgeon-e8e6ff439c07

#آموزش
دوره آموزشی یادگیری عمیق و پیاده سازی در #keras

دو ساعت و نیم نخست دوره آموزشی Deep Learning برای ارزیابی خریداران بر روی آپارات قرار گرفت.

https://aparat.com/v/0xgm5

همچنین کد پروژه های انجام شده و اسلایدها برای عموم در دسترسی است:
https://github.com/Alireza-Akhavan/SRU-deeplearning-workshop/


برای خرید این دوره میتوانید از طریف این لینک اقدام کنید

https://class.vision

مدرس: علیرضا اخوان‌پور
برگزار کننده: انجمن علمی کامپیوتر دانشگاه شهید رجایی
قیمت: 100.000 تومان
لینک خرید: https://class.vision/deeplearning-keras/

سطح دوره مقدماتی است و برای دوستانی که میخواند تازه شروع کنند مناسبه

#آموزش
قبلا در پست "Handling Imbalanced Datasets in Deep Learning" این کانال
https://t.iss.one/cvision/1236
به روش مواجه با داده های ibalance اشاره شد.

امروز chollet توسعه دهنده کراس در توئیتی یک نوت بوک کولب را به این موضوع پرداخته است:

لینک نوت بوک:
https://colab.research.google.com/drive/1xL2jSdY-MGlN60gGuSH_L30P7kxxwUfM

لینک توئیت:

https://twitter.com/fchollet/status/1133425339370074112
#imbalance #keras

سایر مطالب مرتبط در کانال:
https://t.iss.one/cvision/1238

#مجموعه_داده
ورژن جدید MNIST، اعداد دست نویس، با افزودن 50 هزار داده آموزش جدید منتشر شد.

این دیتاست اولین بار در 1998 توسط Yann LeCun مبدع شبکه های کانولوشنالی و مدیر فعلی هوش مصنوعی فیس بوک منتشر شده بود.

Cold Case: The Lost MNIST Digits
https://arxiv.org/abs/1905.10498

#مقاله #سورس_کد

EfficientNets: a family of more efficient & accurate image classification models. Found by architecture search and scaled up by one weird trick.

مقاله:
https://arxiv.org/abs/1905.11946

سورس کد (تنسرفلو):
https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet

بلاگ پست:
https://ai.googleblog.com/2019/05/efficientnet-improving-accuracy-and.html?m=1
#EfficientNet

#آموزش
Imperative (or Model Subclassing) APIs

این سبک API در ابتدا توسط فریم ورک Chainer در سال 2015 معرفی شد و در سال 2017 چندین چارچوب دیگر آن را به کار گرفت (از جمله موارد ذکر شده در اینجا). در چارچوب Keras، شوله، توسعه دهنده کراس آن را "API Subclassing Model" می نامد.

بعضی از افراد می گویند "شما نمیتوانید X در چارچوب Y را اجرا کنید، شما نیاز به چارچوب Z دارید".
حتی قبلا هم که همه فریم ورک ها یک api style خاص را پشتیبانی می کردند حرف درستی نبود، اما اکنون که همه این چارچوب ها این api style را پشتیبانی میکنند این ادعا خیلی مسخره تر است! در این استایل شما می توانید کدی از یک کتابخانه را به یه کتابخانه دیگر کپی کرده و با تغییرات جزئی استفاده کنید.

این ادعا هم از همان دسته از حرفهای بی پایه و اساس است که مردم ادعا می کنند "اگر شما این مدل را در چارچوب X اجرا کنید بهتر است" - خروجی یک الگوریتم به زبان شما در آن پیاده سازی ربطی ندارد!!

هوشمنداته ترین روش این است که ترکیب پارادایم های imperative و symbolic را استفاده کنید، همان روشی که در TF.Keras و Gluon انجام می شود.
شما در اغلب موارد مزایای اصلی گراف های کامپایل شده را حفظ می کنید و در عین حال وقتی به انعطاف پذیری گراف پویا نیاز دارید هم دسترسی خواهید داشت.

توصیه میکنم style api که اشاره کردم را در توئیت Francois Chollet

https://t.iss.one/cvision/953

و مقایسه بین تعریف کردن symbolic مدل با Imperative api در تنسرفلو 2 را در اینجا ببینید.
https://t.iss.one/cvision/954

#tensorflow #keras #symbolic #imperative

قسمت 1
جهت یاداوری این پست را به خاطر بیاورید:
https://t.iss.one/cvision/955

و توئیت مرتبط اخیر chollet در مورد سینتکس chainer که الان این سینتکس در keras و pytorch موجود است.
chollet ادعا کرده که pytorch از chainer پروژشو در ابتدا fork کرده.

قسمت 2
اعتراض اکانتpyTorch به ادعای Chollet و پاسخ Chollet در رابطه با مطلب قبلی

قسمت 3
و دعوا شدید میشه و Yann Lecun مدیر هوش مصنوعی فیس بوک (و قاعدتا pytorch) هم میاد تو دعوا :)

یان لکان جاهایی که صحبت از ایده گرفتن keras از Torch هست از لفظ copy استفاده کرده. اما جاهایی که بحث ایده گرفتن pytorch از یه فریم ورک دیگست از لفظ inspired و الهام استفاده کرده.🙄

#مجموعه_داده

Tiny ImageNet Visual Recognition Challenge + leaderboard
Tiny Imagenet has 200 classes. Each class has 500 training images, 50 validation images, and 50 test images.

https://tiny-imagenet.herokuapp.com/

برخی دوستان ایمیل زدند گفتند آپارات کیفیت را کاهش می‌دهد.
در صورت تمایل میتوانید این جلسه 2.5 ساعته را با کیفیت اصلی و با حجم 2.4 گیگ از اینجا دانلود کنید.
https://class.vision/temp/Session%201%20-%20Part%201.rar

#خبر
تنسرفلو 1.14 آخرین نسخه از که قبل TensorFlow 2.0 منتشر شد:

https://github.com/tensorflow/tensorflow/releases/tag/v1.14.0-rc0?linkId=68391010

همچنین نسخه بتا TensorFlow 2.0 هفته ی بعد منتشر خواهد شد.

ساخت و تولید دیتاست مصنوعی متن فارسی و انگلیسی با لیبل به صورت کاملا اتوماتیک و آسان.
یک تولید کننده دیتاست متن فارسی و انگلیسی با قابلیت انتخاب انواع فونت ها و استایل ها و متون رندوم یا انتخابی از دیکشنری و منبع دیتاست دلخواهتان با تعداد دیتای تولید شده دلخواه
با کمک این ابزار میتوانید دیتاست مورد نیاز برای آموزش شبکه های عمیق پردازش متن را به سرعت و آسان تولید کنید

A synthetic data generator for text recognition with latin, arabic and persian text support

https://github.com/amirmgh1375/TextRecognitionDataGenerator

#آموزش #سورس_کد #دیتاست
#synthetic_data #text_recognition #ctc
#ocr
#dataset_generator

#سورس_کد

در اینجا شبکه های EfficientNet معرفی شدند که با تعداد پارامتر کمتر و دقت بالاتر مدلهای قبلی بودند (سطح زیر نمودار accuracy/#of parameters بالایی داشتند.)

دیروز پیاده سازی #Keras آن منتشر شده است
https://github.com/qubvel/efficientnet

from efficientnet import EfficientNetB0

model = EfficientNetB0(weights='imagenet')

#EfficientNet

#سورس_کد

Real Time Trigger Word Detection with #Keras
https://github.com/Tony607/Keras-Trigger-Word

فیلم های آموزش مبحث مورد نظر:
https://www.aparat.com/v/cEKal
https://www.aparat.com/v/1aGeQ

#speech #trigger_word_detection #real_time #keras

#مقاله
دوستانی که با #pytorch کار میکنند، مدل های #EfficientNet به همراه وزنهای آموزش دیده روی imagenet در این مخزن از مدل تنسرفلویی مقاله port شده و در pytorch قابل استفادست.

https://github.com/rwightman/pytorch-image-models

مطالب مرتبط:

مدل کراس:
https://t.iss.one/cvision/1287

مقاله اصلی به همراه پیاده سازی اصلی تنسرفلو قدیمی(در ۲ ساپورت نمیشه)

https://t.iss.one/cvision/1276