خط‌کشی برای سنجش کیفیت document understanding

در این پست می‌خوایم به معرفی benchmark برای تسک document undestanding بپردازیم. این benchmark تسک document undestaning رو تبدیل به سه مساله اصلی کرده:

- تسک اول Document QA است که از روی layout داکیومنت می‌تونه سوال بپرسه و مدل باید جواب بده. در این حالت سوال‌ها به صورت زبان طبیعی پرسیده میشه اما کانتکست درواقع یه داکیومنته که layout داره (متنی که استایل داره یعنی فونت یا سایزهای متفاوتی داره). مثلا از مدل می‌پرسند که دو نوع تاریخی که در این داکیومنت وجود داره چه چیزهایی هستند؟ و مدل هم باید مثلا بگه تاریخ فاکتور و تاریخ پرداخت.

- تسک دوم key information extraction است که شبیه تسک اوله با این تفاوت که دیگه query با زبان طبیعی مطرح نمیشه بلکه مدل اطلاعات کلیدی این داکیومنت رو باید بیرون بکشه. مثلا مجموع فاکتور برابر با ۲۰۰۰ دلاره.

- تسک سوم هم Table QA/NLI هست که کار QA و یا NLI رو بر روی جداول انجام می‌ده. این تسک مشخصا بر روی جداول تمرکز داره و سعی می‌کنه برخی از عبارات رو با استفاده از جدول موجود در داکیومنت verify کنه. مثلا یه جمله ورودی می‌گیره که آیتم شماره ۱ به مقدار ۲۰۰ قلم فروخته شده و مدل باید بگه که این جمله درسته یا نه. البته میشه از روی جدول، سوال هم پرسید و مدل باید بتونه جواب بده.

یه صفحه هم در نظر گرفته شده که leaderboard است و امتیاز مدل‌های مختلف رو گذاشته و حالت overall روی این سه تا تسک داره. اگه در این زمینه کار می‌کنید خوبه به این بنچ‌مارک توجه کنید و نتایج‌تون رو با leaderboard مقایسه کنید. در تصویر مثال‌های بهتری از هر یک از این سه تسک آورده شده که می‌تونید مشاهده کنید.

لینک benchmark:
https://duebenchmark.com/leaderboard

لینک github:
https://github.com/due-benchmark

لینک مقاله:
https://datasets-benchmarks-proceedings.neurips.cc/paper/2021/file/069059b7ef840f0c74a814ec9237b6ec-Paper-round2.pdf

#read
#paper

@nlp_stuff

Mastering Transformers: Build state-of-the-art models from scratch with advanced natural language processing techniques
Author : Savaş Yıldırım, Meysam Asgari-Chenaghlu
Publisher : Packt Publishing
Year : 2021


#یادگیری_عمیق #NLP
🆔 @Programming4all_0to100

Mastering Transformers (2021)

▪️What you will learn

Explore state-of-the-art NLP solutions with the Transformers library

Train a language model in any language with any transformer architecture

Fine-tune a pre-trained language model to perform several downstream tasks

Select the right framework for the training, evaluation, and production of an end-to-end solution

Get hands-on experience in using TensorBoard and Weights & Biases

Visualize the internal representation of transformer models for interpretability

▪️Who this book is for

This book is for deep learning researchers, hands-on NLP practitioners, as well as ML/NLP educators and students who want to start their journey with Transformers. Beginner-level machine learning knowledge and a good command of Python will help you get the best out of this book.

#یادگیری_عمیق #NLP
🆔 @Programming4all_0to100

Knowledge Distillation

آشنایی با روش تقطیر دانش جهت بهبود عملکرد مدل‌های یادگیری عمیق
https://hooshio.com/?p=7988


فشرده سازی شبکه عصبی: مقدمه‌ای بر هرس وزن، کوانتیزه کردن و تقطیر دانش
https://hooshio.com/?p=10268

🎥 گوگل یک "شبکه هوش مصنوعی پرنده شناس" ساخته که پرندگان را از آواز خواندن آنها با دقت یک متخصص تشخیص می ده. این هوش مصنوعی به محیط بانان کمک می‌کنه تا وضعیت پرندگان رو در جنگل‌ها و سواحل را بررسی کنند.

- مجید میرزایی
»unk«
ربات دانلود از اینستاگرام :
🤖 @Instasave_Bot 🤖

🎯 امیدواری گوگل به توسعه محصول اصلی این شرکت یعنی موتور جستجو، به شکلی که بتواند کارکردی شبیه دستیار صوتی گوگل داشته باشد.

https://www.wired.com/story/google-hopes-ai-turn-search-conversation/

@ml_nlp_cv

JSON Hero, a beautiful JSON viewer.

#tools #json
@ml_nlp_cv

https://kutt.it/lL2sWb

تولید نما(View Synthesis) زمینه‌ای تحقیقاتی است، در مورد تولید نماهایی تازه از یک منظره، با موجود داشتن تعدادی تصویر از آن.
در پستی از وبلاگ گوگل می‌خوانیم که چطور دو مدل مبتنی بر ترنسفورمر در این زمینه پیشرفت داشته‌اند.

#Transformer #NLP
#Synthesis #Computer_Vision

@ml_nlp_cv

اولین شبکه کانولوشن که ارقام دست‌نویس را تشخیص میداد!

#CNN #Yann_LeCun

@ml_nlp_cv

جادی

@ml_nlp_cv

🔵 معاونت پژوهشی دانشکده مهندسی کامپیوتر به مناسبت هفته‌ی پژوهش سخنرانی‌های علمی زیر را امروز برگزار می‌کند:

🔹مهندسی ثابت‌افزار و برخی از حوزه‌های فعالیت در آن
ساعت ۱۳ - ۱۳:۳۰
دکتر علیرضا اجلالی

🔹تطبیق نوری رشته‌های DNA توسط پردازنده نوری
ساعت ۱۳:۳۰ - ۱۴
دکتر سمیه کوهی

🔹چالش‌های حفظ حریم خصوصی در اینترنت اشیاء
ساعت ۱۴ - ۱۴:۳۰
دکتر مرتضی امینی

🔹حاکمیت بهینه برای خوشحالی جمعی در بازارهای شبکه‌ای
ساعت ۱۴:۳۰ - ۱۵
دکتر محمدامین فضلی

🔹سوی تعمیم‌پذیری خارج از توزیع
ساعت ۱۵ - ۱۵:۳۰
دکتر مهدیه سلیمانی

🔹تحقیقات پردازش زبان‌های ایرانی و علوم‌انسانی محاسباتی به همراهی گزارش‌هایی از تجربه آموزش در حین
پژوهش و حل مسئله
ساعت ۱۵:۳ - ۱۶
دکتر احسان‌الدین عسگری

🔹تشخیص ناهنجاری نزدیک به توزیع در تصاویر
ساعت ۱۶ - ۱۶:۳۰
دکتر محمدحسین رهبان


تاریخ :‌ چهارشنبه،‌ ۳۰ آذر
لینک برگزاری: https://vc.sharif.edu/ch/ce-talks
چکیده‌ی ارائه‌ها و اطلاعات بیشتر در فایل پیوست

〰️〰️〰️〰️〰️〰️〰️
🆔 @SSC_Public