در حاضر مطالب آموزشی و کورس های بسیار زیادی در خصوص LLM در اینترنت موجوده. حالا یک نفر وقت گذاشته و کلی مطلب، کورس و نوت‌بوک مرتبط در این خصوص را یک‌جا جمع‌آوری کرده. به همراه ارائه یک نقشه راه و همچنین تمام انتخاب‌هایی که می‌توانید در این مسیر داشته باشید.
https://github.com/mlabonne/llm-course/tree/main
#هوش_مصنوعی #مدل‌های_زبانی_بزرگ #large_language_models
@ml_nlp_cv
https://github.com/mlabonne/llm-course/tree/main
#هوش_مصنوعی #مدل‌های_زبانی_بزرگ #large_language_models
@ml_nlp_cv
GitHub
GitHub - mlabonne/llm-course: Course to get into Large Language Models (LLMs) with roadmaps and Colab notebooks.
Course to get into Large Language Models (LLMs) with roadmaps and Colab notebooks. - mlabonne/llm-course
شرکت OpenAI از اولین مدل متن به ویدیو خود به نام Sora رونمایی کرد.
این مدل توانایی تولید ویدئوهایی تا حداکثر ۶۰ثانیه را دارد. این ویدیوها صحنه‌های بسیار دقیق، حرکات پیچیده دوربین و شخصیت‌های متعدد با احساسات پرجنب و جوش را شامل می‌شود.
این مدل می‌تواند موقعیت اشخاص و مکان‌ها در داخل ویدیو را درک کند و از چندین زاویه یک داستان را نشان دهد، بدون آنکه جای مکان‌ها و افراد عوض شود. می‌تواند کاراکترها را با احساسات‌شان بسازد (برای هر کاراکتر شخصیتی تعریف می‌کنید. احساسات مورد نیاز برای همه دیالوگ‌های او اعمال خواهد شد)
این مدل هم مشابه GPT از معماری transformer استفاده می‌کند. تصاویر یا ویدئوها را به تکه‌های کوچک فضا-زمان تبدیل می‌کند. چیزی شبیه به توکن‌سازی در مدل‌های زبانی بزرگ (LLMs). این کار اجازه یادگیری در مقیاس‌های مختلف را می‌دهد.
همچنین می‌تواند برای ویدئو کپشن بنویسد. توانایی‌ای که در DALL·E 3 هم دیده بودیم. فعلا به خاطر جلوگیری از سوءاستفاده، در اختیار تیم‌هایی قرار گرفته که در حال کار روی روی امنیت استفاده از آن هستند. احتمالا به زودی نسخه‌هایی از آن در دسترس عموم قرار بگیرد.
OpenAI Sora
@ml_nlp_cv
این مدل توانایی تولید ویدئوهایی تا حداکثر ۶۰ثانیه را دارد. این ویدیوها صحنه‌های بسیار دقیق، حرکات پیچیده دوربین و شخصیت‌های متعدد با احساسات پرجنب و جوش را شامل می‌شود.
این مدل می‌تواند موقعیت اشخاص و مکان‌ها در داخل ویدیو را درک کند و از چندین زاویه یک داستان را نشان دهد، بدون آنکه جای مکان‌ها و افراد عوض شود. می‌تواند کاراکترها را با احساسات‌شان بسازد (برای هر کاراکتر شخصیتی تعریف می‌کنید. احساسات مورد نیاز برای همه دیالوگ‌های او اعمال خواهد شد)
این مدل هم مشابه GPT از معماری transformer استفاده می‌کند. تصاویر یا ویدئوها را به تکه‌های کوچک فضا-زمان تبدیل می‌کند. چیزی شبیه به توکن‌سازی در مدل‌های زبانی بزرگ (LLMs). این کار اجازه یادگیری در مقیاس‌های مختلف را می‌دهد.
همچنین می‌تواند برای ویدئو کپشن بنویسد. توانایی‌ای که در DALL·E 3 هم دیده بودیم. فعلا به خاطر جلوگیری از سوءاستفاده، در اختیار تیم‌هایی قرار گرفته که در حال کار روی روی امنیت استفاده از آن هستند. احتمالا به زودی نسخه‌هایی از آن در دسترس عموم قرار بگیرد.
OpenAI Sora
@ml_nlp_cv
Forwarded from DeepMind AI Expert (Farzad)
This media is not supported in your browser
VIEW IN TELEGRAM
Forwarded from School of AI
شرکت مایکروسافت یک شبکه‌ی عصبی گرافی به نام ViSNet برای مدل‌سازی و بازنمایی ساختارهای هندسی سه‌بعدی مانند مولکولها ارائه داده‌ست که قادر‌ست ارتباطات پیچیده بین ساختار مولکولی و فعالیت بیولوژیکی (structure-activity relationships) را درک کرده و رفتار و ویژگی‌های مولکولها را پیش‌بینی کند.
https://www.microsoft.com/en-us/research/blog/visnet-a-general-molecular-geometry-modeling-framework-for-predicting-molecular-properties-and-simulating-molecular-dynamics/
لینک مقاله در Nature:
https://www.nature.com/articles/s41467-023-43720-2
https://www.microsoft.com/en-us/research/blog/visnet-a-general-molecular-geometry-modeling-framework-for-predicting-molecular-properties-and-simulating-molecular-dynamics/
لینک مقاله در Nature:
https://www.nature.com/articles/s41467-023-43720-2
Forwarded from Kooshiar
تیم innovate داره لیست استارتاپ‌های ایرانی را جمع میکنه تا بتونه بهشون کمک بده و بگیره.
اگه دوست دارین اضافه بشین میتونین اینجا استارتاپتونو ثبت کنین
https://bit.ly/innovate-founders
اگه دوست دارین اضافه بشین میتونین اینجا استارتاپتونو ثبت کنین
https://bit.ly/innovate-founders
منابع رایگان یادگیری ماشین
گردآوری توسط کوشیار عظیمیان
https://equatorial-sternum-35b.notion.site/ML-Topics-b1ae86eda5c54b02bb22ad751dfda8e5
@ml_nlp_cv
گردآوری توسط کوشیار عظیمیان
https://equatorial-sternum-35b.notion.site/ML-Topics-b1ae86eda5c54b02bb22ad751dfda8e5
@ml_nlp_cv
equatorial-sternum-35b on Notion
ML Topics | Notion
This is my list of free and useful ML resources. If you know better and more up-to-date sources please linkedin me
این رشته توییت نکات خیلی مهمی رو در مورد پیدا کردن کار در دنیای هوش مصنوعی میگه، اگر دنبال کار هستین یا به فکر تغییر شرکت هستین، حتما مطالعه کنید.
لینک رشته توییت
@ml_nlp_cv
لینک رشته توییت
@ml_nlp_cv
این مقاله چند روزه منتشر شده با عنوان "چت‌بات‌ها بالاخره تست تورینگ را پاس کردند" و این‌که رفتار چت‌بات‌ها از average / میانگین انسان‌ها قابل تمایز نیست.
البته باید در نظر گرفت که این مدل‌ها بر روی اکثر دیتای اینترنت آموزش داده شده‌اند. دیتایی که توسط آدمایی با ویژگی‌های متنوع تولید شده. پس دیدن چنین رفتاری از یک مدل زبانی خیلی هم عجیب نیست.
همچنین می‌دونیم رفتار این مدل‌ها به اون مراحل Instruction Tuning و RLHF (یا متد‌های دیگه‌ای که برای alignment این مدل‌ها استفاده میشه) که بعد از آموزش خود مدل زبانی خام انجام میشه کاملا حساس هستند و دیتایی که اون‌جا بهشون تحمیل میشه بخش بزرگی از رفتار این مدل‌ها رو تعیین میکنه. همچنین، تمام این رفتارها و نتایج تست‌ها که از مدل گرفتن، با تغییر پرامپت قبل سوال‌ها میتونه کاملا تغییر بکنه و رفتار به خصوصی را در مدل تقویت یا تضعیف کنه.
با این وجود این مقالات از دید افرادی که از قبل در فیلد ai بودند خیلی جالبه. از این لحاظ که می‌بینند آزمون تورینگ بالاخره بعد از چندین دهه داره پاس میشه !
https://www.pnas.org/doi/10.1073/pnas.2313925121
البته باید در نظر گرفت که این مدل‌ها بر روی اکثر دیتای اینترنت آموزش داده شده‌اند. دیتایی که توسط آدمایی با ویژگی‌های متنوع تولید شده. پس دیدن چنین رفتاری از یک مدل زبانی خیلی هم عجیب نیست.
همچنین می‌دونیم رفتار این مدل‌ها به اون مراحل Instruction Tuning و RLHF (یا متد‌های دیگه‌ای که برای alignment این مدل‌ها استفاده میشه) که بعد از آموزش خود مدل زبانی خام انجام میشه کاملا حساس هستند و دیتایی که اون‌جا بهشون تحمیل میشه بخش بزرگی از رفتار این مدل‌ها رو تعیین میکنه. همچنین، تمام این رفتارها و نتایج تست‌ها که از مدل گرفتن، با تغییر پرامپت قبل سوال‌ها میتونه کاملا تغییر بکنه و رفتار به خصوصی را در مدل تقویت یا تضعیف کنه.
با این وجود این مقالات از دید افرادی که از قبل در فیلد ai بودند خیلی جالبه. از این لحاظ که می‌بینند آزمون تورینگ بالاخره بعد از چندین دهه داره پاس میشه !
https://www.pnas.org/doi/10.1073/pnas.2313925121
Forwarded from Onlinebme
Onlinebme-PyTorch-Optimizers.pdf
2.4 MB
☑️ مطالعه مروری روشهای بهینه‌سازی مبتنی بر گرادیان نزولی
💡روند تکامل گرادیان نزولی
⬛️ مباحثی که در این پست بررسی می‌کنیم:
▪️ یادگیری در شبکه عصبی
▫️تابع هزینه و نقش آن در یادگیری
▪️فلسفه گرادیان نزولی
▫️ محدودیت‌های گرادیان نزولی
▪️نرخ یادگیری متغیر با زمان
▫️گرادیان نزولی با ترم ممنتوم
▪️روش بهینه‌سازی AdaGrad
▫️روش بهینه‌سازی RMSprop
▪️روش بهینه‌سازی AdaDelta
▫️روش بهینه‌سازی Adam
🔘مطالعه در وبسایت
@Onlinebme
💡روند تکامل گرادیان نزولی
⬛️ مباحثی که در این پست بررسی می‌کنیم:
▪️ یادگیری در شبکه عصبی
▫️تابع هزینه و نقش آن در یادگیری
▪️فلسفه گرادیان نزولی
▫️ محدودیت‌های گرادیان نزولی
▪️نرخ یادگیری متغیر با زمان
▫️گرادیان نزولی با ترم ممنتوم
▪️روش بهینه‌سازی AdaGrad
▫️روش بهینه‌سازی RMSprop
▪️روش بهینه‌سازی AdaDelta
▫️روش بهینه‌سازی Adam
🔘مطالعه در وبسایت
@Onlinebme
BV.pdf
6.2 MB
یک چیت‌شیت عالی برای یادگیری ماشین.
مفاهیم مختلف و بسیار مهمی نظیر نظریه بیز، مبادله بایاس واریانس، تنظیم، دسته‌بندی داده‌های نامتوازن، انواع رگرسیون، ساختارهای داده، شبکه‌های عصبی پیچشی و کلی مفهوم مهم و کلیدی دیگه رو پوشش داده و در انتها هم نکات مهمی در خصوص مصاحبه‌های کاری عرضه کرده. علی‌رغم صفحات کم، مطلب مفید زیادی رو شامل میشه.
@ml_nlp_cv
مفاهیم مختلف و بسیار مهمی نظیر نظریه بیز، مبادله بایاس واریانس، تنظیم، دسته‌بندی داده‌های نامتوازن، انواع رگرسیون، ساختارهای داده، شبکه‌های عصبی پیچشی و کلی مفهوم مهم و کلیدی دیگه رو پوشش داده و در انتها هم نکات مهمی در خصوص مصاحبه‌های کاری عرضه کرده. علی‌رغم صفحات کم، مطلب مفید زیادی رو شامل میشه.
@ml_nlp_cv
Forwarded from تاکچه
🛑 ارائه مجازی تاکچه با موضوع ریسرچ و مقاله‌نویسی
🔹پیپر (مقاله) نویسی چی هست و چطوریه؟ هر کسی میتونه پیپر بنویسه؟ اگه یه ایده دارم، چطور باید به پیپر تبدیلش کنم؟ چه کار باید بکنیم تا پیپرمون اکسپت شه؟ مقاله‌ها چطور داوری میشن؟ چطوری باید کنفرانس یا ژورنال معتبر مرتبط با فیلدمون رو پیدا کنیم؟
🔹اگه می‌خواین جواب این سوال‌ها رو بدونین، این تاک برای شماست!
🔹در این تاک، اول مفاهیم اولیه دنیای پیپرنویسی رو با هم یاد می‌گیریم
و بعد می‌بینیم که چطور میتونیم پیپرهای قبلی رو به شکل سیستماتیک مطالعه کرده و ایده‌ای که داریم رو به پیپر تبدیل و سابمیت کنیم.
🔹شرکت در این تاک به دانشجوهایی که می‌خوان فرایند ریسرچ و مقاله‌نویسی رو شروع کنن به شدت توصیه میشه :)
🔸 در این ارائه در خدمت پارسا نشایی، دانشجوی ورودی ۹۸ مقطع کارشناسی صنعتی شریف و ورودی ۰۲ مقطع دکتری EPFL هستیم.
⏳ زمان جلسه: سه‌شنبه ۲۱ فروردین، ساعت ۲۰
📍 محل ارائه مجازی: اتاق مجازی انجمن علمی
📆 اضافه کردن به تقویم گوگل
☕️ @cafe_ssc
📚 @ssc_talkche
🔹پیپر (مقاله) نویسی چی هست و چطوریه؟ هر کسی میتونه پیپر بنویسه؟ اگه یه ایده دارم، چطور باید به پیپر تبدیلش کنم؟ چه کار باید بکنیم تا پیپرمون اکسپت شه؟ مقاله‌ها چطور داوری میشن؟ چطوری باید کنفرانس یا ژورنال معتبر مرتبط با فیلدمون رو پیدا کنیم؟
🔹اگه می‌خواین جواب این سوال‌ها رو بدونین، این تاک برای شماست!
🔹در این تاک، اول مفاهیم اولیه دنیای پیپرنویسی رو با هم یاد می‌گیریم
و بعد می‌بینیم که چطور میتونیم پیپرهای قبلی رو به شکل سیستماتیک مطالعه کرده و ایده‌ای که داریم رو به پیپر تبدیل و سابمیت کنیم.
🔹شرکت در این تاک به دانشجوهایی که می‌خوان فرایند ریسرچ و مقاله‌نویسی رو شروع کنن به شدت توصیه میشه :)
🔸 در این ارائه در خدمت پارسا نشایی، دانشجوی ورودی ۹۸ مقطع کارشناسی صنعتی شریف و ورودی ۰۲ مقطع دکتری EPFL هستیم.
⏳ زمان جلسه: سه‌شنبه ۲۱ فروردین، ساعت ۲۰
📍 محل ارائه مجازی: اتاق مجازی انجمن علمی
📆 اضافه کردن به تقویم گوگل
☕️ @cafe_ssc
📚 @ssc_talkche
مصاحبه فریدمن و آلتمن
دو هفته پیش لکس فریدمن مصاحبه‌ای با سم آلتمن داشت. مصاحبه طولانی هست و توش راجع به چیزهای مختلفی از قضیه اخراج از openai و رابطه‌اش با ilya sutskever گرفته تا GPT5 و AGI بحث شده. جایی که نظر من رو جلب کرد این تیکه بود:
Lex: can you speak to what Q-Star is?
Sam: we are not ready to talk about that
که نشون می‌ده که واقعا گویا خبرایی روی مدل Q-Star هست که قراره استدلال در سطح انسان داشته باشه.
یک جای دیگه هم فریدمن از آلتمن می‌پرسه که به نظرت کی به AGI می‌رسیم که آلتمن جواب می‌ده به نظرم در پایان این دهه یا زودتر شاید، به مدل‌هایی می‌رسیم که وقتی نگاهشون می‌کنیم می‌گیم wow این AGI هست. البته خود آلتمن هم میگه که AGI میتونه تعبیرهای متفاوت داشته باشه ولی اون چیزی که در ذهن من هست اینه که باید اولا هم تغییری در اقتصاد جهانی ایجاد کنه و هم این که بتونه فرآیند کشف‌های علمی رو تسریع ببخشه.
پ.ن: در این ویدئو هم عملکرد *Q توضیح داده شده.
@ml_nlp_cv
دو هفته پیش لکس فریدمن مصاحبه‌ای با سم آلتمن داشت. مصاحبه طولانی هست و توش راجع به چیزهای مختلفی از قضیه اخراج از openai و رابطه‌اش با ilya sutskever گرفته تا GPT5 و AGI بحث شده. جایی که نظر من رو جلب کرد این تیکه بود:
Lex: can you speak to what Q-Star is?
Sam: we are not ready to talk about that
که نشون می‌ده که واقعا گویا خبرایی روی مدل Q-Star هست که قراره استدلال در سطح انسان داشته باشه.
یک جای دیگه هم فریدمن از آلتمن می‌پرسه که به نظرت کی به AGI می‌رسیم که آلتمن جواب می‌ده به نظرم در پایان این دهه یا زودتر شاید، به مدل‌هایی می‌رسیم که وقتی نگاهشون می‌کنیم می‌گیم wow این AGI هست. البته خود آلتمن هم میگه که AGI میتونه تعبیرهای متفاوت داشته باشه ولی اون چیزی که در ذهن من هست اینه که باید اولا هم تغییری در اقتصاد جهانی ایجاد کنه و هم این که بتونه فرآیند کشف‌های علمی رو تسریع ببخشه.
پ.ن: در این ویدئو هم عملکرد *Q توضیح داده شده.
@ml_nlp_cv
YouTube
Sam Altman: OpenAI, GPT-5, Sora, Board Saga, Elon Musk, Ilya, Power & AGI | Lex Fridman Podcast #419
Sam Altman is the CEO of OpenAI, the company behind GPT-4, ChatGPT, Sora, and many other state-of-the-art AI technologies. Please support this podcast by checking out our sponsors:
- Cloaked: https://cloaked.com/lex and use code LexPod to get 25% off
- Shopify:…
- Cloaked: https://cloaked.com/lex and use code LexPod to get 25% off
- Shopify:…
Forwarded from Machine Learning
2404.19756v2.pdf
12.3 MB
KAN:Kolmogorov–Arnold Networks
For accuracy, much smaller KANs can achieve comparable or better accuracy than much larger MLPs in data fitting and PDE solving. Theoretically and empirically, KANs possess faster neural scaling laws than MLPs. For interpretability, KANs can be intuitively visualized and can easily interact with human users. Through two examples in mathematics and physics, KANs are shown to be useful collaborators helping scientists (re)discover mathematical and physical laws. In summary, KANs are promising alternatives for MLPs, opening opportunities for further improving today's deep learning models which rely heavily on MLPs.
✅ Telegram: https://t.iss.one/machine_learning_and_DL
For accuracy, much smaller KANs can achieve comparable or better accuracy than much larger MLPs in data fitting and PDE solving. Theoretically and empirically, KANs possess faster neural scaling laws than MLPs. For interpretability, KANs can be intuitively visualized and can easily interact with human users. Through two examples in mathematics and physics, KANs are shown to be useful collaborators helping scientists (re)discover mathematical and physical laws. In summary, KANs are promising alternatives for MLPs, opening opportunities for further improving today's deep learning models which rely heavily on MLPs.
✅ Telegram: https://t.iss.one/machine_learning_and_DL
Forwarded from video_aut