پست بلاگ متا که ساعاتی پیش در زمینه‌ی زیرساخت GenAI شون منتشر شد:

https://engineering.fb.com/2024/03/12/data-center-engineering/building-metas-genai-infrastructure/

تابع سیگموید معمولن اون طوری که در نگاه اول تصور می کنیم پیاده سازی نشده. به خصوص وقتی از کتابخانه های سفارشی استفاده می کنیم باید حواسمون به این موضوع باشه.
@ai_python

هرچند که برای مثال در کتابخانه ای مثل پای تورچ این مسئله مد نظر قرار گرفته است.

توی این پست می تونید یه مقدار توضیحات بیش تری ببینید درباره پیاده سازی این تابع :
https://www.blog.dailydoseofds.com/p/sigmoid-and-softmax-are-not-implemented

بار دیگر در رابطه با چیستی LangChain و چرایی آن

https://youtu.be/1bUy-1hGZpI?si=Ve806nUq_Askc9gh

برای توضیح مفهوم State Space Model و نحوه استفادش در مدل Mamba و contribution این مقاله این محتوا به نظرم خیلی بود. با visualization خوبی که داشت درک مفاهیم رو راحت‌تر کرده بود.
https://maartengrootendorst.substack.com/p/a-visual-guide-to-mamba-and-state

مدل ۳۱۴ میلیاردی شرکت X به نام Grok-1 اوپن سورس شد.
Github
Blog
مدل عملکرد بسیار خوبی داشته و البته همچنان در حال رشد هست.
اما نکته جالبش به نظرم Stack تکنولوژی هست که استفاده میکنن:
Rust
JAX
Kubernetes
برای یادگیری JAX، اگر با Pytorch کار کردید، بهترین راه اینجاست.

@deeptimeai

دیشب مهم ترین رویداد تکنولوژی و هوش مصنوعی سال یعنی Nvidia GTC شروع شد. در keynote شما صرفا سخنرانی مدیرعامل Nvidia آقای Jensen Huang رو نمیبینید بلکه یک فیلم فوق العاده جذاب از پیشرفت‌های هوش مصنوعی در شرکت‌ها و صنایع مختلف، از اقلیم و انرژی تا digital twin و LLM میبینید. و اصولا دید بسیار خوبی درباره روندها و سرمایه‌گذاری‌ها هم میده.

اگر دیشب لایو ندیدین پیشنهاد میکنم ببینید. میشه برنامه اصلی نوروز:
YouTube
موارد زیادی بود ولی اگر بخوام چند نکته بگم:
- معرفی پلتفرم و ابَر GPU به نام Blackwell به یاد David Blackwell ریاضی دان. در مقایسه با GPU قبلی یعنی Hopper مزایای بسیاری وجود داره. در نظر بگیرید که برای آموزش یک GPT با 1.8 میلیارد پارامتر در 90 روز، Hopper به 8000 GPU نیاز داره و 15MW مصرف میکنه در حالی که Blackwell فقط با 2000 GPU و 4MW مصرف برق کارو درمیاره. برای اینکه عدد دستمون بیاد، مصرف برق ایران (از جنس توان) حدودا 60000MW هست. کلا قدرت اصلی در دنیای امروز قدرت پردازش به صورت energy efficient هست.

- نکته اصلی در پیشرفت قدرت پردازش GPU، روی نحوه صحبت هزاران GPU باهم هست. اینجاست که NV Link Switch وارد میشه که هسته اصلی برای سینک اطلاعات به صورت بهینه بین هزاران GPU در Blackwell هست.

- در کنفرانس پارسال که کاملا مجازی بود Omniverse خیلی تاکید میشد و امسال روی Digital Twin و شبیه‌سازی کامل هر چیز به صورت دیجیتالی صحبت شد و به عنوان نمونه Nvidia نشون داد که چطور یک کارخونه ساخت chip رو اول کاملا مجازی، با تمام عملیات و ...، شبیه سازی کردند و بعد ساختن. فیلم‌های نمایش داده شده هم انیمیشن نبودن و در واقع شبیه سازی Omniverse بودن.

- اگر قبلا در نیروگاه برق الکتریسیته تولید میشد، حالا کارخونه‌های هوش مصنوعی، هوش تولید میکنن و این انقلاب صنعتی جدید هست.

- سرمایه‌گذاری عظیم روی Healthcare، رباتیک، انرژی و اقلیم. و این نکته که احتمالا chatgpt moment برای رباتیک نزدیک هست.

- هر کسب و کاری که دارید سعی کنید Copilot هوش مصنوعیش رو بسازید. همون مفهوم GPT Store رو Nvidia هم داره در NeMo میاره. مدل‌های pre-trained در هر حوزه و فضای پردازش ابری و ... برای اینکه شما با دادن داده، دانش و داکیومنت خاص، هوش مصنوعی خودتون رو درست کنید که اینجا هم بحث کرده بودیم. فرضا برای Trade ما داریم به این سمت میریم.

کنفرانس‌های GTC تازه شروع شدن و به صورت مجازیش رایگان هستن:
Link

@deeptimeai

کتاب understanding deep learning

https://udlbook.github.io/udlbook/

انویدیا دوره های آموزشی رایگانی را برای کاربران با هر سطحی در مورد شبکه های عصبی و مدل های عصبی منتشر کرده است تا کار هوش مصنوعی را درک کنند

⏩ explanation of generative AI: a based 2-hour course that will explain in detail the structure of neurons, their applications and capabilities;

https://courses.nvidia.com/courses/course-v1:DLI+S-FX-07+V1/

⏩ create a “brain” in 10 minutes: he will explain how a neuron learns from data and show all the mathematics under its hood;

https://courses.nvidia.com/courses/course-v1:DLI+T-FX-01+V1/

⏩ introduction to AI in the data center: everything about machine learning and deep learning; what frameworks are there and how video cards drive AI;

https://www.coursera.org/learn/introduction-ai-data-center

⏩ strengthening our LLM with the help of RAG: it will explain the entire generation database with an augmented sample;

https://courses.nvidia.com/courses/course-v1:NVIDIA+S-FX-16+v1/

⏩ creating your own RAG agents: a powerful 8-hour course on scalable deployment strategies for LLM and vector databases;

https://courses.nvidia.com/courses/course-v1:DLI+S-FX-15+V1/

⏩ speeding up work with Data Science without changing code: everything about data processing and machine learning without rewriting code;

https://courses.nvidia.com/courses/course-v1:DLI+T-DS-03+V1/

⏩ strengthening recommendation systems using AI: collab course between NVIDIA and YouTube;

https://www.classcentral.com/course/youtube-grandmaster-series-mastering-recommender-systems-184298

⏩ network design: a base about the TCP/IP and Ethernet protocols - necessary for understanding data processing processes.

https://www.coursera.org/learn/introduction-to-networking-nvidia

#Free_course

🆔 @Ai_Tv

این جا می تونید تلاش کنید که اطلاعات حریم خصوصی رو از چت بات های یک بانک فرضی با پرامپت های مختلف به دست بیارید :
@ai_python
https://huggingface.co/spaces/lighthouzai/guardrails-arena

Tutorial-Lecture alignment

We will discuss 7 of the tutorials in the course, spread across lectures to cover something from every area. You can align the tutorials with the lectures based on their topics. The list of tutorials in the Deep Learning 1 course is:

- Guide 1: Working with the Snellius cluster
- Tutorial 2: Introduction to PyTorch
- Tutorial 3: Activation functions
- Tutorial 4: Optimization and Initialization
- Tutorial 5: Inception, ResNet and DenseNet
- Tutorial 6: Transformers and Multi-Head Attention
- Tutorial 7: Graph Neural Networks
- Tutorial 8: Deep Energy Models
- Tutorial 9: Autoencoders
- Tutorial 10: Adversarial attacks
- Tutorial 11: Normalizing Flows on image modeling
- Tutorial 12: Autoregressive Image Modeling
- Tutorial 15: Vision Transformers
- Tutorial 16: Meta Learning - Learning to Learn
- Tutorial 17: Self-Supervised Contrastive Learning with SimCLR


website: https://uvadlc-notebooks.readthedocs.io/en/latest/index.html
youtube: https://youtube.com/playlist?list=PLdlPlO1QhMiAkedeu0aJixfkknLRxk1nA&si=Wk8f-cObL9jGiOpE