ورژن دوم مدل palm گوگل منتشر شد
PaLM 2 is here!

A few exciting highlights:

1/ Used for state-of-the-art models like Med-PaLM2 and integrated into AI features and tools like Bard and the PaLM API.

2/ Lots of evaluations in the technical report for tasks like reasoning and coding. More results and discussion around scaling laws and instruction tuning.

3/ Excited to see such good and competitive performance in mathematical reasoning compared to GPT-4.

4/ Impressive performance by the instruction-tuned model, Flan-PaLM 2, on benchmarks like MMLU and BIG-bench Hard.

5/ A huge section on responsible AI is also included!

https://ai.google/discover/palm2

#مقاله #خبر

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind

Stable Diffusion AI Deepfake

#خبر

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind

ده #ایده_جذاب در هفته ای ک گذشت:

1) scGPT: Towards Building a Foundation Model for Single-Cell Multi-omics Using Generative AI - a foundation large language model pretrained on 10 million cells for single-cell biology.

2) GPTutor: a ChatGPT-powered programming tool for code explanation - a ChatGPT-powered tool for code explanation provided as a VSCode extension; claims to deliver more concise and accurate explanations than vanilla ChatGPT and Copilot; performance and personalization enhanced via prompt engineering; programmed to use more relevant code in its prompts.

3) Shap-E: Generating Conditional 3D Implicit Functions - a conditional generative model for 3D assets; unlike previous 3D generative models, this model generates implicit functions that enable rendering textured meshes and neural radiance fields.

4) Are Emergent Abilities of Large Language Models a Mirage? - presents an alternative explanation to the emergent abilities of LLMs; suggests that existing claims are creations of the researcher’s analyses and not fundamental changes in model behavior on specific tasks with scale

5. Interpretable Machine Learning for Science with PySR and SymbolicRegression.jl - releases PySR, an open-source library for practical symbolic regression for the sciences; it’s built on a high-performance distributed back-end and interfaces with several deep learning packages; in addition, a new benchmark, “EmpiricalBench”, is released to quantify applicability of symbolic regression algorithms in science.

6) PMC-LLaMA: Further Finetuning LLaMA on Medical Papers - a LLaMA model fine-tuned on 4.8 million medical papers; enhances capabilities in the medical domain and achieves high performance on biomedical QA benchmarks.

7) Distilling Step-by-Step! Outperforming Larger Language Models with Less Training Data and Smaller Model Sizes - a mechanism to extract rationales from LLMs to train smaller models that outperform larger language models with less training data needed by finetuning or distillation.

8) Poisoning Language Models During Instruction Tuning - show that adversaries can poison LLMs during instruction tuning by contributing poison examples to datasets; it can induce degenerate outputs across different held-out tasks.

9) Unlimiformer: Long-Range Transformers with Unlimited Length Input - proposes long-range transformers with unlimited length input by augmenting pre-trained encoder-decoder transformer with external datastore to support unlimited length input; shows usefulness in long-document summarization; could potentially be used to improve the performance of retrieval-enhanced LLMs.

10) Learning to Reason and Memorize with Self-Notes - an approach that enables LLMs to reason and memorize enabling them to deviate from the input sequence at any time to explicitly “think”; this enables the LM to recall information and perform reasoning on the fly; experiments show that this method scales better to longer sequences unseen during training.

#مقاله

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind

ورژن دوم مقاله ویرایش شده را منتشر کردند.

🔸 Attention Is All You Need

https://github.com/karpathy/nanoGPT

🔸 ورژن اول مقاله

#مقاله #ایده_جذاب #مبتدی #منابع

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind

انویدیا مدل زبانی ریلیز کرده که ۵۳ زبان ساپورت می‌کنه.
اگه فارسی کار میکنید به نظرم گزینه بهتری هست نسبت به بقیه:
GLU Variants Improve Transformer
https://arxiv.org/abs/2002.05202Ro

Former: Enhanced Transformer with Rotary Position EmbeddingMegatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism

https://arxiv.org/abs/1909.08053
https://huggingface.co/nvidia/GPT-2B-001

فارسی بین لیست زبانهاش هست. سایز مدل هم خیلی بزرگ نیست که نشه تیون کرد

#مقاله #ایده_جذاب #مبتدی

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind

MLOps is a high-leverage skill, it combines the principles of software engineering and data science.

Applied ML:
🔗 madewithml.com

MLOps Project:
🔗 tinyurl.com/zoomcar-camp

MLOps Book:
🔗 tinyurl.com/ml-system-desi…

The Jarvis of AI & MLOps:
🔗 abacus.ai


#منابع_پیشنهادی #الگوریتمها #هوش_مصنوعی #متوسط

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind

در مقاله ای که قبلتر معرفی کردم و پاسخی به یک ایده جدیدی که توسط دکتر عسگری معرفی شد مقاله مشابه اونو معرفی کردم و حالا اومدن ایده قبلی رو گسترش دادند.

𝐓𝐢𝐫𝐞𝐝: pooling to get object-related features
𝐖𝐢𝐫𝐞𝐝: putting red circles or dots on input images
🔸 What does CLIP know about a red circle? Visual prompt engineering for VLMs

🔸 Deep RL at Scale: Sorting Waste in Office Buildings with a Fleet of Mobile Manipulators


#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind

Visualize transformer attention!

AttentionViz, created by Catherine Yeh and expanded by Yida Chen, helps you explore transformer self-attention by visualizing query and key vectors in a joint embedding.

Paper: arxiv.org/abs/2305.03210
Website: attentionviz.com

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind

کتاب سم التمن مدیر openAI

https://playbook.samaltman.com/

#کتاب #پادکست

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind

با pdf خودتون چت کنید

https://chatwithpdf.sdan.io/

#خبر #هوش_مصنوعی

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind

تا حالا براتون اگر سوال بوده که یادگیری عمیق را از کجا و چه منبع پایه یادبگیرید کدوم است این منبع رو پیشنهاد میدم/

▪️ Carnegie Mellon University Deep Learning

#یادگیری_عمیق #منابع_پیشنهادی #مبتدی

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind

اگر هم یادگیری عمیق را مقداری پیشرفته تر برای یادگیری میخواهید مورد مطالعه قرار دهید این کلاس آموزشی را پیشنهاد میدم.

▪️ MIT 6.S191: Introduction to Deep Learning

#یادگیری_عمیق #منابع_پیشنهادی #پیشرفته

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind

Scaling LLM Interpretability

-Gradient descent method grounded in theory of causal abstraction uncovered perfect alignment between interpretable symbolic algos & small deep learning models
-Scaling this alignment search to LLMs helps understand Alpaca-7B

https://arxiv.org/abs/2305.08809

«کارشناس آمار و تحلیل داده»
نام شرکت: بورس اوراق بهادار تهران
شهرستان: تهران_ سعادت آباد

مدرک تحصیلی: فارغ التحصیل فوق لیسانس و یا دکتری در رشته‌های مدیریت مالی، حسابداری، اقتصاد و آمار

سابقهٔ کار: حداقل یک سال کار در بازار سرمایه و آشنایی کامل با بازار سرمایه

مدرک تحصیلی: فارغ‌التحصیل فوق لیسانس و یا دکتری در رشته‌های مدیریت مالی، حسابداری و اقتصاد

شرایط تخصصی:مسلط به اکسل پیشرفته، مسلط به حداقل یکی از نرم‌افزارهای اقتصاد سنجی شامل EViews, Stata, R و یا Matlab(داوطلبین مسلط به پایتون در اولویت هستند)، توانایی ترجمۀ متون تخصصی مالی

سایر شرایط: برخورداری از روحیۀ کار تیمی، همکاری و تعامل، تعهد و مسئولیت‌پذیری؛ دقت نظر بالا در انجام امور محوله؛ دارا بودن گواهی پایان خدمت یا معافیت دائم برای آقایان

لطفا رزومه های خود را با موضوع «کارشناس آمار و تحلیل داده» به آدرس زیر ارسال نمایید: 👇🏻👇🏻
[email protected]

ورژن دوم کلاس آموزشی دانشگاه استنفورد

Transformers United V2
Winter 2023

https://web.stanford.edu/class/cs25

#پردازش_زبان_طبیعی #منابع #پیشرفته

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind

مقاله خوبی که اخیرا منتشر شده اومدن شیواه کارایی LLM ها بررسی کردند که عمدتاً چه مسائلی را حل می کنند در مدلهای LLM ها مسیرهای استدلالی متعددی را در نظر میگیرند که بهترین پاسخ برای کامنت یوزر باشد که تصمیم گیری در مورد اقدامات بعدی، انتخاب ها را خود ارزیابی میکند. در این این مدل بررسی کردند که چگونه میتواند خودش را بهبود دهد.
و کلی ایده جذابی که میتوانید بدست اورید.
▪️ Tree of Thoughts: LLMs Deliberately Solving Problems

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind

پیرو ادامه این مقاله

▪️ Finetuning LLMs Efficiently with Adapters

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind

منابعی برای علاقمندان به تایم سریها و هوش مصنوعی در موضوعات مالی

▪️ Deep Time-Series Learning and Finance Applications fall 2017, by Francois Belletti

#هوش_مصنوعی #منابع #فیلم #کلاس_آموزشی

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind

پادکست دکتر وحید بهزادان در رابطه با AI Safety in AGI بسیار شنیدنی است.
https://dataskeptic.com/blog/episodes/2023/a-psychopathological-approach-to-safety-in-agi

#پادکست

موقعیت کارآموزی در حوزه NLP

برنامه تحقیقات تابستانی دانشگاه کوچ به دانشجویان و علاقه‌مندان این فرصت را می‌دهد تا در کنار کسب تجربه تحقیقاتی خود را برای تحصیلات تکمیلی یا کار در حرفه مدنظر آماده کنند. با توجه به این برنامه گروه NLP دانشکده مهندسی کامپیوتر به سرپرستی Dr.Gözde Gül Sahin تصمیم دارد از علاقه‌مندان در زمینه پردازش زبان طبیعی دعوت به عمل آورد. دو پروژه در این زمینه وجود دارد که در صورت دعوت به مصاحبه برای داوطلبین تشریح می‌شوند.
از علاقه‌مندان درخواست می‌شود تا رزومه خود را به همراه چند نمونه کد پروژه‌های مرتبط را به آدرس ایمیل [email protected] بفرستند. (لطفا عنوان ایمیل را KUSRP Internship را قرار دهید.)

شرایط:
۱- علاقه‌مند به پژوهش در حوزه NLP و مخصوصا Large Language Models
۲- تعهد کامل در طول دوره کارآموزی و عدم اشتغال به کار یا پروژه دیگر
۲- مسلط به پایتون و تجربه کار با کتابخانه‌های مرتبط با Deep Learning مثل PyTorch

نوع همکاری: حضوری (اولویت) / دورکاری

نکات:
ادامه همکاری پس از پایان دوره رسمی کارآموزی در صورت توافق طرفین مطلوب است.
ارایه خوابگاه از طرف دانشگاه گارانتی نمی‌شود!

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind

یه مدل جدید ریلیز کردن از مدل متا بهتره:
https://huggingface.co/tiiuae/falcon-7b

ولی یه نکات خیلی مسخره ای داره، مثلا برای اینکه بتونید تجاری ازش استفاده کنید باید ازشون اجازه بگیرید و ۱۰٪ درآمد رو تو شرایط خاصی بهشون بدید 😂
اینم لایسنس:
https://huggingface.co/tiiuae/falcon-7b/blob/main/LICENSE.txt

یعنی کاری که این مدلهای زبانی بزرگ با دنیای هوش مصنوعی کرد سونامی با مردم نکرد!