Mixture of Experts (MoE) in nutshell
https://www.linkedin.com/feed/update/urn:li:activity:7179065427153600513
https://www.linkedin.com/feed/update/urn:li:activity:7179065427153600513
❤1
Tutorial-Lecture alignment
We will discuss 7 of the tutorials in the course, spread across lectures to cover something from every area. You can align the tutorials with the lectures based on their topics. The list of tutorials in the Deep Learning 1 course is:
- Guide 1: Working with the Snellius cluster
- Tutorial 2: Introduction to PyTorch
- Tutorial 3: Activation functions
- Tutorial 4: Optimization and Initialization
- Tutorial 5: Inception, ResNet and DenseNet
- Tutorial 6: Transformers and Multi-Head Attention
- Tutorial 7: Graph Neural Networks
- Tutorial 8: Deep Energy Models
- Tutorial 9: Autoencoders
- Tutorial 10: Adversarial attacks
- Tutorial 11: Normalizing Flows on image modeling
- Tutorial 12: Autoregressive Image Modeling
- Tutorial 15: Vision Transformers
- Tutorial 16: Meta Learning - Learning to Learn
- Tutorial 17: Self-Supervised Contrastive Learning with SimCLR
website: https://uvadlc-notebooks.readthedocs.io/en/latest/index.html
youtube: https://youtube.com/playlist?list=PLdlPlO1QhMiAkedeu0aJixfkknLRxk1nA&si=Wk8f-cObL9jGiOpE
We will discuss 7 of the tutorials in the course, spread across lectures to cover something from every area. You can align the tutorials with the lectures based on their topics. The list of tutorials in the Deep Learning 1 course is:
- Guide 1: Working with the Snellius cluster
- Tutorial 2: Introduction to PyTorch
- Tutorial 3: Activation functions
- Tutorial 4: Optimization and Initialization
- Tutorial 5: Inception, ResNet and DenseNet
- Tutorial 6: Transformers and Multi-Head Attention
- Tutorial 7: Graph Neural Networks
- Tutorial 8: Deep Energy Models
- Tutorial 9: Autoencoders
- Tutorial 10: Adversarial attacks
- Tutorial 11: Normalizing Flows on image modeling
- Tutorial 12: Autoregressive Image Modeling
- Tutorial 15: Vision Transformers
- Tutorial 16: Meta Learning - Learning to Learn
- Tutorial 17: Self-Supervised Contrastive Learning with SimCLR
website: https://uvadlc-notebooks.readthedocs.io/en/latest/index.html
youtube: https://youtube.com/playlist?list=PLdlPlO1QhMiAkedeu0aJixfkknLRxk1nA&si=Wk8f-cObL9jGiOpE
👍2
Forwarded from DeepMind AI Expert (a)
سعی در کاهش هزینه ها، کیفیت و بهبود سرعت دارند.
SSM-Transformer open model
production-grade model based on Mamba architecture, Jamba achieves an unprecedented 3X throughput and fits 140K context on a single GPU.
AI21 just dropped an open source Mamba!
- MoE with 52B parameters.
- Active parameters: 12B.
- 256K Context length.
- Competitive performance to Mixtral!
- Open weights: Apache 2.0.
▪️ Jamba Huggingface
▪️ Jamba Website
#ایده_جذاب #مقاله
🔸 مطالب بیشتر 👇👇
✅ @AI_DeepMind
🔸 @AI_Person
SSM-Transformer open model
production-grade model based on Mamba architecture, Jamba achieves an unprecedented 3X throughput and fits 140K context on a single GPU.
AI21 just dropped an open source Mamba!
- MoE with 52B parameters.
- Active parameters: 12B.
- 256K Context length.
- Competitive performance to Mixtral!
- Open weights: Apache 2.0.
▪️ Jamba Huggingface
▪️ Jamba Website
#ایده_جذاب #مقاله
🔸 مطالب بیشتر 👇👇
✅ @AI_DeepMind
🔸 @AI_Person
🔥1
بخشی از سخنان حضرت کارپثی در پادکست Lex Fridman
https://youtu.be/I2ZK3ngNvvI?si=awvPEuORvsWeWhOs
https://youtu.be/I2ZK3ngNvvI?si=awvPEuORvsWeWhOs
YouTube
Advice for machine learning beginners | Andrej Karpathy and Lex Fridman
Lex Fridman Podcast full episode: https://www.youtube.com/watch?v=cdiD-9MMpb0Please support this podcast by checking out our sponsors:- Eight Sleep: https://...
Forwarded from KodaCode
🔸انجمن علمی علوم کامپیوتر دانشگاه علم و صنعت برگزار می‌کند...
🔘کداکد،
مسابقه‌ای جذاب با محوریت prompt engineering
کافیه با GPT سوالاتی که معمولا با برنامه نویسی حل میکردید رو درمیون بذارید تا به پرامپت مناسبی برسید که کد جواب مسئله رو تولید میکنه!
☑️در دو مرحله آنلاین و حضوری
🥇جایزه نفر اول : ۷ میلیون تومان
🥈جایزه نفر دوم : ۵ میلیون تومان
🥉جایزه نفر سوم : ۳ میلیون تومان
🔗لینک پیش ثبت نام : Kodalab.ir
📅شروع ثبت نام از ۶ اردیبهشت
🆓هزینه ثبت نام : رایگان
مسابقه به صورت فردی بوده و پیش نیاز ندارد.
شرکت برای عموم دانشجویان آزاد است.
〰〰〰〰〰〰
@kodacode
@kodalab
@csssa_iust
LinkedIn
🔘کداکد،
مسابقه‌ای جذاب با محوریت prompt engineering
کافیه با GPT سوالاتی که معمولا با برنامه نویسی حل میکردید رو درمیون بذارید تا به پرامپت مناسبی برسید که کد جواب مسئله رو تولید میکنه!
☑️در دو مرحله آنلاین و حضوری
🥇جایزه نفر اول : ۷ میلیون تومان
🥈جایزه نفر دوم : ۵ میلیون تومان
🥉جایزه نفر سوم : ۳ میلیون تومان
🔗لینک پیش ثبت نام : Kodalab.ir
📅شروع ثبت نام از ۶ اردیبهشت
🆓هزینه ثبت نام : رایگان
مسابقه به صورت فردی بوده و پیش نیاز ندارد.
شرکت برای عموم دانشجویان آزاد است.
〰〰〰〰〰〰
@kodacode
@kodalab
@csssa_iust
🔥2
Forwarded from شبکه داستانی عصبی (Blue Phoenix)
Spotify Engineering
Data Platform Explained Part I
Data Platform Explained Part I - Spotify Engineering
🔥1
یک LLM هست به نام perplexity که مثل ChatGPT میشه باهاش صحبت کرد (رایگان و بدون VPN) با این تفاوت که روی مقاله‌های علمی آموزش دیده و برای ریسرچ خیلی بهتر از ChatGPT عمل میکنه. برای مثال میشه ازش بهترین دقتی که برای مدل‌های Semantic Segmentation بدست اومده رو پرسید و اون عدد، اسم مدل، مقاله و وب‌سایت های مرتبط رو میده. تقریبا بروزه با مقاله های 2023 (2024 رو نمیدونم) و بخش copilot اش به اینترنت هم دسترسی داره. میشه فایل pdf و عکس هم براش آپلود کرد و سوال پرسید ازش
Perplexity AI
Perplexity is a free AI-powered answer engine that provides accurate, trusted, and real-time answers to any question.
🔥12
But what are PyTorch DataLoaders really?
https://www.scottcondron.com/jupyter/visualisation/audio/2020/12/02/dataloaders-samplers-collate.html
https://www.scottcondron.com/jupyter/visualisation/audio/2020/12/02/dataloaders-samplers-collate.html
Scott Condron’s Blog
But what are PyTorch DataLoaders really?
Creating custom ways (without magic) to order, batch and combine your data with PyTorch DataLoaders.