عمو Andrew Ng :
ما در حال انتشار یک "Agentic Reviewer" جدید برای مقالات تحقیقاتی هستیم.
من این کار را به عنوان یک پروژه آخر هفته شروع به کدنویسی کردم و Yixing J. آن را بسیار بهتر کرد.
من از دانشجویی الهام گرفتم که مقالهاش در طول ۳ سال ۶ بار رد شده بود.
حلقه بازخورد او که هر بار حدود ۶ ماه طول میکشید تا بازخورد دریافت کند به طرز دردناکی کند بود.
ما میخواستیم ببینیم آیا Agentic Workflow میتواند به محققان کمک کند سریعتر به کارشان بپردازند؟
هنگامی که سیستم را با استفاده از بازبینیهای ICLR 2025 آموزش دادیم و همبستگی Spearman را در مجموعه آزمایشی اندازهگیری کردیم: (بالاتر بهتر است)
همبستگی بین دو بازبین انسانی: 0.41
همبستگی بین AI و یک بازبین انسانی: 0.42
این نشان میدهد که Agentic در حال نزدیک شدن به عملکرد سطح انسانی است.
https://paperreview.ai/
ما در حال انتشار یک "Agentic Reviewer" جدید برای مقالات تحقیقاتی هستیم.
من این کار را به عنوان یک پروژه آخر هفته شروع به کدنویسی کردم و Yixing J. آن را بسیار بهتر کرد.
من از دانشجویی الهام گرفتم که مقالهاش در طول ۳ سال ۶ بار رد شده بود.
حلقه بازخورد او که هر بار حدود ۶ ماه طول میکشید تا بازخورد دریافت کند به طرز دردناکی کند بود.
ما میخواستیم ببینیم آیا Agentic Workflow میتواند به محققان کمک کند سریعتر به کارشان بپردازند؟
هنگامی که سیستم را با استفاده از بازبینیهای ICLR 2025 آموزش دادیم و همبستگی Spearman را در مجموعه آزمایشی اندازهگیری کردیم: (بالاتر بهتر است)
همبستگی بین دو بازبین انسانی: 0.41
همبستگی بین AI و یک بازبین انسانی: 0.42
این نشان میدهد که Agentic در حال نزدیک شدن به عملکرد سطح انسانی است.
https://paperreview.ai/
یک مثال فارسی درباره TF-IDF از جمنای گرفتم، کمی اصلاحش کردم و بعد به نانو بنانا دادم که به تصویر تبدیل کنه.
اینجا، منِ انسان فقط نقش پرامپت دادن، بازبینی و اصلاح پرامپتها و خروجیها، نظارت روی فرآیند انجام کار و ساختن پایپلاین برای رسیدن به هدف رو داشتم. خروجی کار متناسب با سلیقه من نیست، چون اگه قرار بود این رو من بسازم، قشنگتر و عمیقتر میساختم! البته، احتمالا با 20 برابر وقت بیشتر...
ولی با وجود هوش مصنوعی در این سطح، بازم من انسان نقش پررنگی دارم؛ باید اونقدر خوب هدایتش کنم که دقیقا خروجی متناسب با سلیقه خودم ازش بگیرم.
البته، به نظرم ابزارها هم باید پیشرفت کنن و بهتر از این بشن. مثلا، ادیت تصویر راحتتر بشه، نیاز نباشه با هر تغییر پرامپت تصویر از نو ساخته بشه، خروجی ای بدن که قابلیت ادیت شدن در پاورپوینت یا درایو داشته باشه...
اینجا، منِ انسان فقط نقش پرامپت دادن، بازبینی و اصلاح پرامپتها و خروجیها، نظارت روی فرآیند انجام کار و ساختن پایپلاین برای رسیدن به هدف رو داشتم. خروجی کار متناسب با سلیقه من نیست، چون اگه قرار بود این رو من بسازم، قشنگتر و عمیقتر میساختم! البته، احتمالا با 20 برابر وقت بیشتر...
ولی با وجود هوش مصنوعی در این سطح، بازم من انسان نقش پررنگی دارم؛ باید اونقدر خوب هدایتش کنم که دقیقا خروجی متناسب با سلیقه خودم ازش بگیرم.
البته، به نظرم ابزارها هم باید پیشرفت کنن و بهتر از این بشن. مثلا، ادیت تصویر راحتتر بشه، نیاز نباشه با هر تغییر پرامپت تصویر از نو ساخته بشه، خروجی ای بدن که قابلیت ادیت شدن در پاورپوینت یا درایو داشته باشه...