مدل GLM-4.6 منتشر شد، با ادعای برابری با Claude Sonnet 4.5 ولی یک هفتم قیمت. البته در همه فاکتورها مخصوصا کدنویسی برابری نمیکنه اما مهم‌ترین فاکتورش قیمت‌های کم و عملکرد در سطح مدل‌های پرچمدار شرکت‌های بزرگ هست.

اصل استفاده‌ای که همه ازش میکنن برای کدنویسی، ساخت صفحات وب، ترجمه، تولید محتوا و ساخت پاورپوینت هست. از ۱۲۸ هزار توکن هم حالا به ۲۰۰ هزار توکن افزایش داشته. نسخه پولی این مدل فقط ۳ دلار قیمت داره. [L]

https://z.ai
🤓 @geekalerts

مدل Sora 2 از OpenAI معرفی شد، ویژگی اصلیش تولید صدا هست، میتونه دیالوگ یا جلوه‌های صوتی تولید کنه، در کنارش یه اپ اختصاصی به اسم Sora هم معرفی کردن که یه چیزی شبیه به تیک‌تاک هست، در واقع هرکسی که چیزی با Sora بسازه میتونه ویدیو خروجیش رو برای بقیه هم در دسترس بذاره.

یکی از چیزهایی که توی این مدل درست کردن باگ‌های تصویری بود، مثلا آدم‌ها توی همدیگه میرفتن، یا یه نفر انگشت‌های زیادی داشت، این مدل شبیه‌سازی دقیق نیروی شناوری و سختی جسم رو داره که میتونه تصاویر ورزشی رو کم‌نقص اجرا کنه.

توی نسخه اپ Sora هم افراد امکان فالو کردن همدیگه رو دارن، یه ویژگی‌ هم به اسم Cameo داره که میتونید خودتون یا یک چیزی که اطرافتون هست رو یه ویدیو کوتاه ازش ضبط کنید و با یکی از صحنه‌های AI ترکیبش کنید.

فعلا اپ Sora فقط برای IOS اون‌هم در اپ استور آمریکا و کانادا در دسترس هست، استفاده ازش هم برای مدت محدودی رایگان هست، کاربرهای اشتراک PRO هم به نسخه‌ای باکیفیت‌تر به اسم Sora 2 Pro دسترسی خواهند داشت.

گفتن دارن نسخه اندرویدی رو هم میسازن، اگه تصمیم داشتید از این اپ استفاده کنید بدونید فعلا ممکنه فقط با آی‌پی آمریکا کار کنه. [L]

AppStore
🤓 @geekalerts

از بنچمارک‌های عمومی تا بنچمارک‌های داخلی؛ چرا باید جدی‌شون بگیریم؟

ساختن internal benchmarks برای ارزیابی مدل‌های زبانی بزرگ (LLM) یکی از مهم‌ترین ابزارها برای درک واقعی از توانایی‌ها و محدودیت‌های مدل در کاربردهای خاصه. معیارهای عمومی که معمولا در تحقیقات یا گزارش‌های رسمی منتشر می‌شن، بیشتر برای سنجش عملکرد کلی طراحی شدن و لزوما با نیازهای سازمان یا پروژه ما هماهنگ نیستن. به همین خاطر، وقتی می‌خوایم مدلی رو وارد محیط عملیاتی کنیم، لازم داریم معیارهایی طراحی کنیم که دقیقا هم‌راستا با وظایف واقعی و اهداف ما باشن.

اولین قدم در طراحی benchmark داخلی اینه که مشخص کنیم دقیقا چه وظایف یا tasksی برای ما اهمیت دارن. مثلا ممکنه سازمان به توانایی مدل در خلاصه‌سازی، تولید کد، پاسخ‌گویی به سؤالات تخصصی یا تحلیل متون نیاز داشته باشه. بعد از این مرحله باید داده‌ها و ورودی‌هایی جمع‌آوری بشن که به‌خوبی بازتاب‌دهنده همون حوزه باشن. این داده‌ها بهتره تنوع داشته باشن؛ بعضی ساده، بعضی متوسط و بعضی دشوار تا عملکرد مدل در سطوح مختلف بررسی بشه.

در گام بعد باید معیارهای ارزیابی یا evaluation metrics رو مشخص کنیم. این معیارها تنها به دقت یا accuracy محدود نمی‌شن، بلکه می‌تونن شامل شاخص‌هایی مثل روانی متن (fluency)، واقع‌گرایی و درستی اطلاعات (factuality)، ارتباط پاسخ با پرسش، و حتی پایداری (consistency) باشن. وزن هر معیار هم بسته به اهداف سازمان قابل تغییر و تنظیمه. بعد از اجرای مدل روی این ورودی‌ها و جمع‌آوری نتایج، باید تحلیل دقیقی روی خطاها انجام بشه. این تحلیل کمک می‌کنه بفهمیم مدل دقیقا در چه موقعیت‌هایی ضعف نشون می‌ده و چه الگوهای مشترکی در خروجی‌های نامطلوب دیده می‌شن.

ساختن benchmark یک فرآیند ایستا نیست؛ بلکه نیازمند بازبینی و اصلاح مداومه. ممکنه بعد از چند بار اجرا لازم باشه داده‌های جدید اضافه کنیم، ورودی‌ها رو متنوع‌تر کنیم یا حتی وزن معیارها رو تغییر بدیم تا نتایج واقعی‌تر بشن. این چرخه تکراری باعث می‌شه benchmark به مرور دقیق‌تر و ارزشمندتر بشه. علاوه بر این، حتی بعد از اینکه مدل در محیط عملیاتی مستقر شد، لازمه همچنان benchmark داخلی اجرا بشه تا افت عملکرد یا تغییر رفتار مدل به‌موقع شناسایی بشه.

البته این مسیر چالش‌های خودش رو هم داره. تولید داده‌های متنوع و باکیفیت زمان‌بره، و همیشه خطر overfitting روی داده‌های benchmark وجود داره؛ یعنی مدل فقط برای همون ورودی‌ها خوب جواب بده ولی در دنیای واقعی ضعیف عمل کنه. از طرف دیگه، معیارهایی مثل factuality یا اخلاقی بودن جواب‌ها به‌خاطر نداشتن پاسخ مطلق، سخت‌تر قابل اندازه‌گیری هستن. به همین خاطر، همیشه باید تعادلی بین سادگی معیار و قدرت تفکیک‌دهندگی اون برقرار بشه.

به‌طور خلاصه، internal benchmark ابزاریه که اگر درست طراحی و مدیریت بشه، می‌تونه به ما کمک کنه تصویری دقیق‌تر از توانایی‌های واقعی LLM داشته باشیم و اطمینان پیدا کنیم که مدل در شرایط واقعی همون عملکردی رو نشون می‌ده که انتظار داریم.

🔤🔤🔤🔤🔤🔤🔤

🥇 اهورا ارائه دهنده زیرساخت‌های هوش مصنوعی مبتنی بر GPU

🌐 لینک ارتباط با اهورا

@reza_jafari_ai