В этой статье представлена ​​новая методология самоконтролируемого обучения на изображения

I-JEPA предсказывает особенности различных частей изображения на основе одного контекстного блока. Подход I-JEPA оказался хорошо масштабируемым, особенно при использовании с Vision Transformers (ViT). Например, модель ViT-Huge/14 прошла обучение в ImageNet с использованием 16 графических процессоров A100 менее чем за 72 часа и продемонстрировала высокую производительность в различных задачах.

Ссылка на статью: https://arxiv.org/abs/2301.08243

Ссылка на код: https://github.com/facebookresearch/ijepa

Ссылка на блог: https://ai.facebook.com/blog/yann-lecun-ai-model-i-jepa/

Подробный неофициальный обзор статьи: https://andlukyane.com/blog/paper-review-ijepa

Понимание глубокого обучения — Это отличный учебник по глубокому обучению. Охватывает почти все основные методы и алгоритмы нейронных сетей.

Вам не нужно 20 графических процессоров для точной настройки большой языковой модели. Lit-Parrot — это библиотека Python, которая позволяет точно настроить последнюю модель 7B Falcon с помощью 1 gpu https://github.com/Lightning-AI/lit-parrot

Представляем Voicebox: первую генеративную модель искусственного интеллекта для речи, позволяющую обобщать задачи с высочайшей производительностью.

Крупномасштабные генеративные модели, такие как GPT и DALL-E, произвели революцию в области обработки естественного языка и исследований компьютерного зрения. Эти модели не только генерируют высококачественный текст или изображения, но также являются универсальными, которые могут решать задачи, которым явно не обучают. Напротив, речевые генеративные модели все еще примитивны с точки зрения масштаба и обобщения задач. В этой статье мы представляем Voicebox, наиболее универсальную генеративную модель речи с текстовым управлением в масштабе.
https://ai.facebook.com/blog/voicebox-generative-ai-model-speech/

10 плагинов ChatGPT для обработки и анализа данных.

ChatGPT помогает всем нам, даже специалистам по данным, стать более продуктивными за более короткий период времени. Первоначальные варианты использования и возможности ChatGPT были ошеломляющими, и со временем ситуация только улучшилась. Поскольку плагины теперь широко доступны для пользователей ChatGPT, мы подумали, что сейчас самое время указать, какие плагины будут хорошими кандидатами для специалистов по данным, которые можно проверить и использовать в своих интересах.

https://www.kdnuggets.com/2023/06/10-chatgpt-plugins-data-science-cheat-sheet.html?utm_source=rss&utm_medium=rss&utm_campaign=10-chatgpt-plugins-for-data-science-cheat-sheet

Агенты-помощники ИИ, такие как ChatGPT, в значительной степени зависели от контролируемой тонкой настройки и обучения с подкреплением на основе отзывов людей. Но у этого метода есть свой набор проблем — высокая стоимость, потенциальные предубеждения и ограничения на истинный потенциал этих агентов ИИ. Что, если бы существовал более эффективный и самодостаточный способ согласования результатов ИИ с человеческими намерениями?
Self-ALIGN — это многоэтапный процесс, который работает путем создания синтетических подсказок из большой языковой модели, увеличения разнообразия подсказок и использования краткого набора написанных человеком принципов для управления моделями ИИ. Применительно к базовой языковой модели LLaMA-65b это привело к созданию нового помощника ИИ, Dromedary, использующего менее 300 строк человеческих аннотаций. Dromedary не только затмевает несколько современных систем искусственного интеллекта, таких как Text-Davinci-003 и Alpaca, но и делает это на множестве тестовых наборов данных.

Ссылка на документ: https://arxiv.org/abs/2305.03047

Ссылка на код: https://mitibmdemos.draco.res.ibm.com/dromedary

Подробный неофициальный обзор статьи: https://andlukyane.com/blog/paper-review-dromedary.

Если вы хотите изучать науку о данных и машинное обучение, этот веб-сайт — настоящая золотая жила. Это объясняет большинство технических и теоретических концепций Data Science & ML с интерактивными визуальными эффектами.

https://brilliant.org/

Выпуск исходного кода Draggan: интерактивные манипуляции с изображениями на основе точек.
https://github.com/XingangPan/DragGAN

Краткое введение в нейронные сети

https://www.dkriesel.com/en/science/neural_networks

Сравнение алгоритмов машинного обучения в Python и R
Этот список наиболее часто используемых алгоритмов машинного обучения в Python и R предназначен для того, чтобы помочь начинающим инженерам и энтузиастам ознакомиться с наиболее часто используемыми алгоритмами.

https://www.kdnuggets.com/2023/06/machine-learning-algorithms-python-r.html

Более 250 советов по Python и науке о данных, включая Pandas, NumPy, основы машинного обучения, Sklearn, Jupyter и другие.

https://medium.datadriveninvestor.com/250-python-and-data-science-tips-covering-pandas-numpy-ml-basics-sklearn-jupyter-and-more-e33074b92d58

👉 Весь PDF-архив вы можете найти здесь .

Как работает языковая модель RWKV.

https://johanwind.github.io/2023/03/23/rwkv_details.html

Многоязычное связывание сущностей от конца до конца

Представляем BELA, беспрецедентное решение с открытым исходным кодом, которое должно произвести революцию в области обработки естественного языка (NLP)! BELA решает сложную задачу связывания сущностей - задачу, распространенную во многих практических приложениях, - предлагая самую первую полностью сквозную многоязычную модель. Поразительно, но она может эффективно идентифицировать и связывать сущности в текстах на 97 языках, что является невиданной до сих пор способностью. Это знаменует собой значительный скачок в направлении оптимизации сложных стеков моделей, которые были распространенной проблемой в данной области.

Ссылка на статью: https://arxiv.org/abs/2306.08896
Ссылка на код: https://github.com/facebookresearch/BELA

Подробный неофициальный обзор статьи: https://andlukyane.com/blog/paper-review-bela

Pandas 2.0: меняет правила игры для специалистов по данным?

5 лучших функций для эффективной обработки данных https://towardsdatascience.com/pandas-2-0-a-game-changer-for-data-scientists-3cd281fcc4b4

Meta только что выпустила промежуточную графическую библиотеку

Промежуточная графическая библиотека (IGL) — это кроссплатформенная библиотека, которая управляет графическим процессором.

https://github.com/facebook/igl/

Новое издание одного из самых популярных учебников по машинному обучению выйдет летом 2023 года но доступно бесплатно в виде книги в формате PDF. https://hastie.su.domains/ISLP/ISLP_website.pdf

Откажитесь от жесткого кодирования в проекте по науке о данных — вместо этого используйте файлы конфигурации

Как эффективно взаимодействовать с файлами конфигурации в Python.
https://www.kdnuggets.com/2023/06/stop-hard-coding-data-science-project-config-files-instead.html

Секреты RLHF в LLM Интересный отчет, в котором более подробно рассматривается RLHF и изучается внутренняя работа PPO. Полезно прочитать, если вы заинтересованы в LLM RLHF. Репозиторий кода тоже включен!
статья : https://arxiv.org/abs/2307.04964
код : https://github.com/OpenLMLab/MOSS-RLHF

Мы запускаем Keras Core, новую библиотеку, которая объединяет Keras API с JAX и PyTorch в дополнение к TensorFlow. Это позволяет вам писать компоненты глубокого обучения для разных платформ и извлекать выгоду из лучшего, что может предложить каждая платформа. Подробнее: https://keras.io/keras_core/announcement/