Sparks of Artificial General Intelligence: Early experiments with GPT-4
https://arxiv.org/abs/2303.12712
https://arxiv.org/abs/2303.12712
🔥3😱1
Forwarded from Meysam
خب خب خب،
اگه میخواهید واقعا پردازش زبان یاد بگیرید و بدونید داستان چیه و کل این چت جی پی تی و ... چطوری کار میکنه، دو راه داره:
۱. ولش کنید.
۲. این لیست رو بخونید، حدودا دو سه ماه حداقل وقت می‌بره و به ترتیب بخونید:
پردازش زبان ژورافسکی:
https://web.stanford.edu/~jurafsky/slp3/
یادگیری عمیق:
https://www.deeplearningbook.org/
مقالات مهم و تاثیر گذار پردازش زبان:
LSTM:
https://arxiv.org/abs/1512.08849
اتنشن تو پردازش زبان:
https://arxiv.org/abs/1409.0473
Word2vec, Fasttext
ترنسفرمر:
https://arxiv.org/abs/1706.03762
T5, BERT, Longformer
Instruction fine-tuning:
https://arxiv.org/abs/2204.07705
Bloom:
https://arxiv.org/abs/2211.05100
RLHF:
https://arxiv.org/abs/2009.01325
پیش نیاز:
ریاضی و مخصوصا مشتق و امثالهم
برنامه نویسی پایتون
تفکر نقادانه
یادگیری ماشین
اگه میخواهید واقعا پردازش زبان یاد بگیرید و بدونید داستان چیه و کل این چت جی پی تی و ... چطوری کار میکنه، دو راه داره:
۱. ولش کنید.
۲. این لیست رو بخونید، حدودا دو سه ماه حداقل وقت می‌بره و به ترتیب بخونید:
پردازش زبان ژورافسکی:
https://web.stanford.edu/~jurafsky/slp3/
یادگیری عمیق:
https://www.deeplearningbook.org/
مقالات مهم و تاثیر گذار پردازش زبان:
LSTM:
https://arxiv.org/abs/1512.08849
اتنشن تو پردازش زبان:
https://arxiv.org/abs/1409.0473
Word2vec, Fasttext
ترنسفرمر:
https://arxiv.org/abs/1706.03762
T5, BERT, Longformer
Instruction fine-tuning:
https://arxiv.org/abs/2204.07705
Bloom:
https://arxiv.org/abs/2211.05100
RLHF:
https://arxiv.org/abs/2009.01325
پیش نیاز:
ریاضی و مخصوصا مشتق و امثالهم
برنامه نویسی پایتون
تفکر نقادانه
یادگیری ماشین
🔥4👍3❤1
تقدیم به پایتورچ فن های کانال
جزئیات مربوط به آپدیت جدید پایتورچ
What's New in PyTorch 2.0? torch.compile - PyImageSearch
https://pyimagesearch.com/2023/03/27/whats-new-in-pytorch-2-0-torch-compile/
جزئیات مربوط به آپدیت جدید پایتورچ
What's New in PyTorch 2.0? torch.compile - PyImageSearch
https://pyimagesearch.com/2023/03/27/whats-new-in-pytorch-2-0-torch-compile/
PyImageSearch
What's New in PyTorch 2.0? torch.compile - PyImageSearch
Learn and implement what is new in PyTorch 2.0.
🔥2👎1
Forwarded from 10th WSS ☃️
☃️ معرفی ارائه‌دهندگان
👤 دکتر ایمان حاج رسولی‌ها
👤 استادیار در Joan & Sanford I. Weill Medical College of Cornell University
📁 سوابق علمی:
🔵 پسا دکتری زیست شناسی محاسباتی و ژنومیک سرطان، دانشگاه Brown
🔵 پژوهشگر پسا دکتری زیست شناسی محاسباتی و ژنومیک سرطان، دانشگاه استنفورد
🎓 تحصیلات آکامیک
🔵 کارشناسی مهندسی کامپیوتر(نرم‌افزار)، دانشگاه صنعتی شریف
🔵 کارشناسی ارشد علوم کامپیوتر، دانشگاه Simon Fraser
🔵 دکتری علوم کامپیوتر، دانشگاه Simon Fraser
🎖افتخارات و دستاوردها:
🔵 بورسیه تحقیقاتی Simons-Berkeley، سال ۲۰۱۶
🔴 بورسیه تحصیلی پسادکتری NSERC
🔵 بورسیه تحصیلی الکساندر گراهام بل
🔴 بهترین مقاله ISMB-HiTSeq، سال ۲۰۱۱
🔗 صفحات سخنران:
🌐 HomePage |🌐 Linkedin |💬 Google Scholar
👥 عنوان ارائه:
Weakly-supervised tumor purity prediction from frozen H&E stained slides
💬 خلاصه ارائه
📌 زبان ارائه: انگلیسی
💼 #computational_genomics_and_technology #ai_in_medicine #cancer_genomics_and_pathology #algorithms #deel_learning
#8th_WSS
#Speakers
💻 اطلاعات بیشتر و ثبت نام:
🌎 https://wss.ce.sharif.edu
────────────────────
⛓ Connect with us
💬 Telegram | 📷 Instagram
💬 Twitter | 🌐 LinkedIn
💬 Facebook | 🌐 YouTube
☃ @WSS_SUT
🎖افتخارات و دستاوردها:
🌐 HomePage |
Weakly-supervised tumor purity prediction from frozen H&E stained slides
#8th_WSS
#Speakers
────────────────────
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from نوشته‌های ترمینالی
انواع ایده‌ها و راه‌ها برای لود کردن config file
البته با تمرکز بر پایتون
https://towardsdatascience.com/from-novice-to-expert-how-to-write-a-configuration-file-in-python-273e171a8eb3
البته با تمرکز بر پایتون
https://towardsdatascience.com/from-novice-to-expert-how-to-write-a-configuration-file-in-python-273e171a8eb3
Medium
From Novice to Expert: How to Write a Configuration file in Python
Treat config file like your production code
👍1👏1
از GPT4 خواستن که با بودجه ۱۰۰ دلاری یه کسب و کاری رو ارائه بده که باهاش بشه بیشترین میزان پول رو در اورد. ببینید چه کرده:
https://twitter.com/jacksonfall/status/1636107218859745286?s=20
https://twitter.com/jacksonfall/status/1636107218859745286?s=20
🤯5
Forwarded from نوشته‌های ترمینالی
تشبیه مدل های بزرگ زبانی به فشرده سازی lossy مثل تصویر jpg
https://www.newyorker.com/tech/annals-of-technology/chatgpt-is-a-blurry-jpeg-of-the-web?utm_source=pocket-newtab-android
https://www.newyorker.com/tech/annals-of-technology/chatgpt-is-a-blurry-jpeg-of-the-web?utm_source=pocket-newtab-android
The New Yorker
ChatGPT Is a Blurry JPEG of the Web
OpenAI’s chatbot offers paraphrases, whereas Google offers quotes. Which do we prefer?
🤔1
Denoising Diffusion Probabilistic Models (DDPM) simple explanation + Code (pyTorch)
https://huggingface.co/blog/annotated-diffusion
https://huggingface.co/blog/annotated-diffusion
huggingface.co
The Annotated Diffusion Model
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
🤩2
ML & AI resources
Denoising Diffusion Probabilistic Models (DDPM) simple explanation + Code (pyTorch) https://huggingface.co/blog/annotated-diffusion
extra mathematics
https://lilianweng.github.io/posts/2021-07-11-diffusion-models/#reverse-diffusion-process
https://lilianweng.github.io/posts/2021-07-11-diffusion-models/#reverse-diffusion-process
lilianweng.github.io
What are Diffusion Models?
[Updated on 2021-09-19: Highly recommend this blog post on score-based generative modeling by Yang Song (author of several key papers in the references)].
[Updated on 2022-08-27: Added classifier-free guidance, GLIDE, unCLIP and Imagen.
[Updated on 2022-08…
[Updated on 2022-08-27: Added classifier-free guidance, GLIDE, unCLIP and Imagen.
[Updated on 2022-08…
🔥3
Diffusion Models: A Comprehensive Survey of Methods and Applications
https://arxiv.org/abs/2209.00796
https://arxiv.org/abs/2209.00796
🔥2
Forwarded from انجمن علمی مهندسی کامپیوتر دانشگاه تبریز
☃ آغاز ثبت‌نام هشتمین دوره‌ی سری سمینارهای زمستانه (8th WSS)
🗓 زمان برگزاری: ۱۷ تا ۲۰ فروردین
🕒 مهلت ثبت نام: ۱۵ فروردین
🎤 نحوه‌ی برگزاری: حضوری و مجازی
🏬 برگزارکننده: دانشگاه صنعتی شریف
👥 سری سمینارهای زمستانه (WSS) رویدادی سالانه شامل سمینارها، لب‌تاک‌ها و میزگردهایی با حضور اساتید برجسته از موسسات برتر ایرانی و خارجی همچون EPFL ،Amazon ،MIT ،Stanford و Apple است.
💬 این رویداد فرصت منحصر به فردی را برای یادگیری از متخصصان در زمینه‌های مختلف علوم کامپیوتر و مشارکت در بحث‌های مربوط به تحقیقات و نوآوری‌های جدید فراهم می‌کند.
👤 توجه داشته باشید که ظرفیت محدود است. اولویت با متقاضیانی است که زودتر ثبت نام خود را تکمیل کنند.
💻 اطلاعات بیشتر و ثبت نام:
🌎 https://wss.ce.sharif.edu
────────────────────
⛓ Connect with us
💬 Telegram | 📷 Instagram
💬 Twitter | 🌐 LinkedIn
💬 Facebook | 🌐 YouTube
☃ @WSS_SUT
🗓 زمان برگزاری: ۱۷ تا ۲۰ فروردین
🕒 مهلت ثبت نام: ۱۵ فروردین
🎤 نحوه‌ی برگزاری: حضوری و مجازی
🏬 برگزارکننده: دانشگاه صنعتی شریف
👥 سری سمینارهای زمستانه (WSS) رویدادی سالانه شامل سمینارها، لب‌تاک‌ها و میزگردهایی با حضور اساتید برجسته از موسسات برتر ایرانی و خارجی همچون EPFL ،Amazon ،MIT ،Stanford و Apple است.
💬 این رویداد فرصت منحصر به فردی را برای یادگیری از متخصصان در زمینه‌های مختلف علوم کامپیوتر و مشارکت در بحث‌های مربوط به تحقیقات و نوآوری‌های جدید فراهم می‌کند.
👤 توجه داشته باشید که ظرفیت محدود است. اولویت با متقاضیانی است که زودتر ثبت نام خود را تکمیل کنند.
💻 اطلاعات بیشتر و ثبت نام:
🌎 https://wss.ce.sharif.edu
────────────────────
⛓ Connect with us
💬 Telegram | 📷 Instagram
💬 Twitter | 🌐 LinkedIn
💬 Facebook | 🌐 YouTube
☃ @WSS_SUT
🔥2
یک پلی‌لیست خیلی خوب برای یادگیری ترنسفورمرها از صفر:
https://www.youtube.com/playlist?list=PLTl9hO2Oobd97qfWC40gOSU8C0iu0m2l4
https://www.youtube.com/playlist?list=PLTl9hO2Oobd97qfWC40gOSU8C0iu0m2l4
👍3🔥2
آندری کارپثی در جواب یک سوال پرتکرار، این مقاله رو پیشنهاد کرده. این مقاله مربوط میشه به تعریف مفهوم دیفیوژن و استفاده ازش در مدل‌های زبانی بزرگ:
Andrej Karpathy:
"Common Q: Can you train language model w diffusion?
Favorite A: read this post (the whole blog is excellent)
(Roughly speaking state of the art generative AI is either trained autoregressively or with diffusion. The underlying neural net usually a Transformer.)"
https://sander.ai/2023/01/09/diffusion-language.html
Andrej Karpathy:
"Common Q: Can you train language model w diffusion?
Favorite A: read this post (the whole blog is excellent)
(Roughly speaking state of the art generative AI is either trained autoregressively or with diffusion. The underlying neural net usually a Transformer.)"
https://sander.ai/2023/01/09/diffusion-language.html
Sander Dieleman
Diffusion language models
Diffusion models have completely taken over generative modelling of perceptual signals -- why is autoregression still the name of the game for language modelling? Can we do anything about that?
👍2
Forwarded from Tensorflow(@CVision) (Alireza Akhavan)
چه مبتدی باشید چه یک پژوهشگر با تجربه،این لینکها میتونه براتون مفید باشه:
کورس های رایگان حوزه هوش مصنوعی:
https://github.com/SkalskiP/courses
#کورس #منبع #آموزش
کورس های رایگان حوزه هوش مصنوعی:
https://github.com/SkalskiP/courses
#کورس #منبع #آموزش
❤3
توی این ریپو، سعی شده یه سری نکات که برای ادامه کار های پژوهشی و ریسرچ (البته با تمرکز روی دانشجوهای دکترا) نیازه و ممکنه خیلیامون بهش نیاز پیدا کنیم رو جمع آوری کنه و یک جا قرار بده. این نکات در قالب تردهای توییتری هست که تو این ریپو قرار داده شدن. درسته که به اسم برای دانشجوهای دکتراست، ولی به نظرم برای ما هم میتونه مفید باشه و دونستنشون تو این بازه زمانی بتونه دید ما رو نسبت به این موضوعات بازتر کنه.
سرتونو درد نیارم، این ریپو به شدت توصیه میشه👌👌
https://github.com/jbhuang0604/awesome-tips
سرتونو درد نیارم، این ریپو به شدت توصیه میشه👌👌
https://github.com/jbhuang0604/awesome-tips
GitHub
GitHub - jbhuang0604/awesome-tips
Contribute to jbhuang0604/awesome-tips development by creating an account on GitHub.
👍5