یکی از دوستان پیام زیر رو برام ارسال کردند:

سلام،

ما یک  استارت‌آپ در امریکا و فیلیپین هستیم که به دنبال
دو پوزیشن جهت استخدامیم

پوزیشن اول : یک توسعه‌دهنده ML/DL/NLP  .

پوزیشن دوم: full stack developer

این آگهی استخدام برای دو شغل تمام وقت است، به دنبال دو کارمند بلند مدت مسلط به زبان انگلیسی هستیم، که در نهایت یک تیم را ایجاد کنیم.

اگر علاقه‌مند هستید، رزومتون رو برای آی‌دی زیر بفرستید.
@Parsa5k
متشکرم

@Ai_Events

لیست ابزارهای دانلود رایگان مقاله و کتاب

1. Nexus search (telegram bot)
🟢 t.iss.one/sks7777777nexusbot
🟢 t.iss.one/nexusbooks_maxenswlfr_bot
🟢 t.iss.one/rcbook_bot
🟢 t.iss.one/subitoafk_bot
🟢 t.iss.one/Nexus_books_moji_bot 
🟢 t.iss.one/nexus_bookss_bot
🟢 t.iss.one/Crawl_for_books_bot
🟢 t.iss.one/Fr_lib_pirate_bot
🟢 t.iss.one/NexusbotBot
🟢 t.iss.one/scihubot
🟢 t.iss.one/sks7777777nexusbot
🟢 t.iss.one/tkutuphanebot
🟢 t.iss.one/Researchassist_free_article_bot
🟢 t.iss.one/subitoafk_bot
🟢 t.iss.one/ShingekiKyojin_bot
🟡 t.iss.one/nexus_search_brian_bot
🟡 t.iss.one/asschandmustdie_bot
🟡 t.iss.one/science_nexus_bot
🟡 t.iss.one/nexus_search_another_bot

2. Library Genesis (site):
🟢 libgen.is
🟢 libgen.st
🟢 libgen.rs
🟢 libgen.gs
🟢 libgen.rs
🟢 libgen.rs
🟡 libgen.io
🟡 libgen.be
🟡 libgen.nl

3. Sci-hub (site):
🟢 sci-hub.ee
🟢 sci-hub.ren
🟢 sci-hub.wf
🟢 sci-hub.se
🟢 sci-hub.wf
🟢 sci-hub.wf

4. Papers Download (telegram group):
🟢 t.iss.one/+htsaeeM3ZwUwNTY8
🟢 t.iss.one/freepapers_drkayvanfar

5. Z-library (site):
🟢 z-lib.is
🟢 z-lib.io

6. Pdfdrive (site):
🟢 pdfdrive.com

7. Wosonhj (site):
🟢 wosonhj.com

8. STC (site):
🟢 standard--template--construct-org.ipns.dweb.link

لیست به ترتیب سهولت و سرعت استفاده مرتب شده است

#منابع

پ.ن: چیزی میدونین کامنت کنید‌

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

یه ریپوی قشنگ برای LLMها و برخی موارد در کنار اونها که تعداد ستاره هاشم بالاس :))

https://github.com/mlabonne/llm-course

یکی از مسائلی که به شدت بعد از اهمیت پیدا کردن دیتا برای آموزش مدل‌های یادگیری عمیق مورد بحث و نگرانی بوده و هست، موضوع privacy دیتا هست که یکی از راهکارهایی که براش پیشنهاد شده بود، استفاده از فریمورک های federated learning هست.

بچه‌های گوگل حالا اومدن و با این منطق که ما خودمون، زمانی که می‌خوایم یک چیزی رو یاد بگیریم، از زبان طبیعی استفاده میکنیم و لزوما اون داده هایی که استاد دیده رو ندیدیم و از درکی که استاد پیدا کرده و توضیحاتش یک موضوعی رو متوجه میشیم، استفاده کرده تا این موضوع رو از زاویه دیگه ای حل کنه.

به این صورت که از LLM ها در دو role مختلف استفاده می‌کنه. یکی student و دیگری teacher. حالا student به جای اینکه سعی کنه مفاهیم جدید رو با داده‌های private یاد بگیره، از teacher میخواد که بر اساس داده‌های private که دیده، داده جدید non-private تولید کنه تا student با استفاده از اون، مفهوم جدید رو یاد بگیره.

جزییات بیشتر رو میتونین اینجا مشاهده کنین.

https://blog.research.google/2024/03/social-learning-collaborative-learning.html

یه سایت خوب با visualization فوق العاده برای درک بهتر کرنل‌های مختلف و تاثیرشون بعد از اعمال روی تصویر
https://setosa.io/ev/image-kernels/

چنلهای یوتیوب خوب و کاربردی الگوریتمهای هوش مصنوعی (قسمت اول)

1- Abhishek Thakur (Practical videos)
ویژگی پلی لیست :
Applied Machine Learning Framework, Tips & Tricks of machine learning

2- Ahlad Kumar (Deep learning, Theoretical )
ویژگی پلی لیست:
Deep Learning, Convolutional Neural Network, Neural Networks

3- Aladdin Persson (Content about: PyTorch, TensorFlow )
ویژگی پلی لیست:
PyTorch Tutorials, TensorFlow 2.0 Beginner Tutorials, Machine Learning Algorithms.

4- Andreas Mueller ( Content about: Machine learning )
ویژگی پلی لیست:
Applied Machine Learning

5- Data School ( Content about: Python, Machine learning, Theoretical )
ویژگی پلی لیست:
Introduction to Machine Learning , Data analysis in Python with Pandas, other talks videos and Python videos.

6-Henry AI Labs (Theoretical )
ویژگی پلی لیست:
Deep Learning Paper Summaries, Reinforcement Learning, Generative Adversarial Networks, Neural Network Design

7- Jeremy Howard (Deep learning, Theoretical )
ویژگی پلی لیست:
Deep Learning from the Foundations, Introduction to Machine Learning for Coders, Practical Deep Learning for Coders

8- Rasa ( Content about: Rasa, AI, NLP )
ویژگی پلی لیست:
NLP for Developers, Developing Contextual AI assistants with Rasa tools, Algorithm Whiteboard, Live Coding

9- Yannic Kilcher ( Content about: NLP, Machine learning, Deep learning, Theoretical )
ویژگی پلی لیست:
NLP, General Machine Learning, Deep Learning Architectures, CV, Applications of Machine Learning

10- OpenAI ( Content about: NLP, Machine learning, AI )
ویژگی پلی لیست:
Events and Talks, Research Releases, Robotics

11- Two Minute Papers ( Content about: Machine Learning and AI Research, Scientific Papers )
ویژگی پلی لیست:
Two Minute Papers, AlphaGo, Fluid, Cloth and Hair Simulations, AI and Deep Learning, Light Transport, Ray Tracing and Global Illumination

12- Machine Learnia ( Content about: Machine Learning, Scikit Learn, Python )
ویژگی پلی لیست:
Deep Learning, SKLEARN tutoriel français Machine Learning, Python Special Machine Learning

13- Mark Saroufim ( Content about: Machine Learning Engineering, Practical videos, Books review )
ویژگی پلی لیست:
Machine Learning Systems, GNN ,...

14- sentdex ( Content about: Python for AI and Finance )
ویژگی پلی لیست:
Python Programming for Finance, Machine Learning with Python, Neural Networks from Scratch in Python

#منابع #مبتدی #مقدماتی #پیشرفته #پایتون #الگوریتمها #هوش_هوصنوعی

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

اگر مدل‌هایی مثل :

Llama2, Mixtral, Gemma

کار شما و شرکت شمارو راه میندازه حتما یک سری به
https://wow.groq.com/

بزنید و از LPU طراحی شده توسط این شرکت لذت ببرید؛
LPU: Language Processing Unit

واحد پردازشی این شرکت هست که برای inference طراحی شده و از TPU, GPU برای این کاربرد خاص بسیار بسیار سریعتر و بهینه‌تر هست بعنوان مثال برای مدل
Llama2 70B parameter
در زمان inference چیزی معادل 325T/s سرعتش هست؛ این عدد برای Nvidia A100 طبق گذارشات موجود بصورت میانگین 5T/s هست؛
T/s: token per seconds

نخوندم جایی اشاره بشه؛ ولی طراحی و ایده نسخه اول از TPU های گوگل هم توسط مدیر همین شرکت بود.

این یه study group درباره Graph Neural Network هست که قراره توسط IPM راه اندازی شه.
روند و سیلابسش طبق کورس cs224 دانشگاه stanford است و منابع دیگری هم تو فایلی که فرستادم قرار گرفته.
قرار است که کسانی که شرکت میکنن خودشون بیان و lecture ارائه بدن و اینکه کاملا به صورت مجازی برگذار می شود. از استاد های دانشگاه خودمون و اساتید خود ipm هم حضور دارن، فرصت خوبی هست اگر دوست دارید هم بیشتر و عمیق تر درباره gnn ها بدونید هم با بقیه افراد این حوزه آشنا شید.
اگر علاقه دارید این فرم رو پر کنید، تعدادی از کسانی که فرم رو پر کنن برگزیده می شوند.

https://docs.google.com/forms/d/e/1FAIpQLSfIMThgVK58Aw_flZ4kcFZYMaD3N6GhTECet_6HMvml4Mv9QQ/viewform?usp=sf_link

سلام به همه‌ی دوستان
عزیزانی که علاقه‌مند به پژوهش در حوزه یادگیری ماشین اعتمادپذیر در آزمایشگاه RIML هستند، لطفا رزومه‌ و مدت زمانی که براشون مقدور هست به پژوهش اختصاص بدهند را به ایمیل زیر ارسال کنند. نهایتاََ یک تیم از دوستان علاقه‌مند تشکیل می‌شود و یک فرآیند آموزش و در ادامه تعریف صورت مسئله برای پژوهش صورت خواهد گرفت که خروجی نهایی در قالب مقاله برای کنفرانس‌های مرتبط ML ارسال خواهد شد. بحث توصیه‌نامه برای دوستان حاضر در پروژه از سمت اساتید در نظر گرفته می‌شود.
کارهای مشابه آزمایشگاه در این حوزه را در این مقاله و این لینک می‌توانید بررسی بفرمایید.
[email protected]

پست بلاگ متا که ساعاتی پیش در زمینه‌ی زیرساخت GenAI شون منتشر شد:

https://engineering.fb.com/2024/03/12/data-center-engineering/building-metas-genai-infrastructure/

تابع سیگموید معمولن اون طوری که در نگاه اول تصور می کنیم پیاده سازی نشده. به خصوص وقتی از کتابخانه های سفارشی استفاده می کنیم باید حواسمون به این موضوع باشه.
@ai_python

هرچند که برای مثال در کتابخانه ای مثل پای تورچ این مسئله مد نظر قرار گرفته است.

توی این پست می تونید یه مقدار توضیحات بیش تری ببینید درباره پیاده سازی این تابع :
https://www.blog.dailydoseofds.com/p/sigmoid-and-softmax-are-not-implemented

بار دیگر در رابطه با چیستی LangChain و چرایی آن

https://youtu.be/1bUy-1hGZpI?si=Ve806nUq_Askc9gh

برای توضیح مفهوم State Space Model و نحوه استفادش در مدل Mamba و contribution این مقاله این محتوا به نظرم خیلی بود. با visualization خوبی که داشت درک مفاهیم رو راحت‌تر کرده بود.
https://maartengrootendorst.substack.com/p/a-visual-guide-to-mamba-and-state

مدل ۳۱۴ میلیاردی شرکت X به نام Grok-1 اوپن سورس شد.
Github
Blog
مدل عملکرد بسیار خوبی داشته و البته همچنان در حال رشد هست.
اما نکته جالبش به نظرم Stack تکنولوژی هست که استفاده میکنن:
Rust
JAX
Kubernetes
برای یادگیری JAX، اگر با Pytorch کار کردید، بهترین راه اینجاست.

@deeptimeai

دیشب مهم ترین رویداد تکنولوژی و هوش مصنوعی سال یعنی Nvidia GTC شروع شد. در keynote شما صرفا سخنرانی مدیرعامل Nvidia آقای Jensen Huang رو نمیبینید بلکه یک فیلم فوق العاده جذاب از پیشرفت‌های هوش مصنوعی در شرکت‌ها و صنایع مختلف، از اقلیم و انرژی تا digital twin و LLM میبینید. و اصولا دید بسیار خوبی درباره روندها و سرمایه‌گذاری‌ها هم میده.

اگر دیشب لایو ندیدین پیشنهاد میکنم ببینید. میشه برنامه اصلی نوروز:
YouTube
موارد زیادی بود ولی اگر بخوام چند نکته بگم:
- معرفی پلتفرم و ابَر GPU به نام Blackwell به یاد David Blackwell ریاضی دان. در مقایسه با GPU قبلی یعنی Hopper مزایای بسیاری وجود داره. در نظر بگیرید که برای آموزش یک GPT با 1.8 میلیارد پارامتر در 90 روز، Hopper به 8000 GPU نیاز داره و 15MW مصرف میکنه در حالی که Blackwell فقط با 2000 GPU و 4MW مصرف برق کارو درمیاره. برای اینکه عدد دستمون بیاد، مصرف برق ایران (از جنس توان) حدودا 60000MW هست. کلا قدرت اصلی در دنیای امروز قدرت پردازش به صورت energy efficient هست.

- نکته اصلی در پیشرفت قدرت پردازش GPU، روی نحوه صحبت هزاران GPU باهم هست. اینجاست که NV Link Switch وارد میشه که هسته اصلی برای سینک اطلاعات به صورت بهینه بین هزاران GPU در Blackwell هست.

- در کنفرانس پارسال که کاملا مجازی بود Omniverse خیلی تاکید میشد و امسال روی Digital Twin و شبیه‌سازی کامل هر چیز به صورت دیجیتالی صحبت شد و به عنوان نمونه Nvidia نشون داد که چطور یک کارخونه ساخت chip رو اول کاملا مجازی، با تمام عملیات و ...، شبیه سازی کردند و بعد ساختن. فیلم‌های نمایش داده شده هم انیمیشن نبودن و در واقع شبیه سازی Omniverse بودن.

- اگر قبلا در نیروگاه برق الکتریسیته تولید میشد، حالا کارخونه‌های هوش مصنوعی، هوش تولید میکنن و این انقلاب صنعتی جدید هست.

- سرمایه‌گذاری عظیم روی Healthcare، رباتیک، انرژی و اقلیم. و این نکته که احتمالا chatgpt moment برای رباتیک نزدیک هست.

- هر کسب و کاری که دارید سعی کنید Copilot هوش مصنوعیش رو بسازید. همون مفهوم GPT Store رو Nvidia هم داره در NeMo میاره. مدل‌های pre-trained در هر حوزه و فضای پردازش ابری و ... برای اینکه شما با دادن داده، دانش و داکیومنت خاص، هوش مصنوعی خودتون رو درست کنید که اینجا هم بحث کرده بودیم. فرضا برای Trade ما داریم به این سمت میریم.

کنفرانس‌های GTC تازه شروع شدن و به صورت مجازیش رایگان هستن:
Link

@deeptimeai

کتاب understanding deep learning

https://udlbook.github.io/udlbook/