Революционизируя существующую парадигму компьютерного зрения "предварительная тренировка, а затем точная настройка", это исследование ввело инновационный этап предварительной подготовки. Используя метод маскированного автоэнкодера (MAE) для инициализации модели, эта стратегия предварительной подготовки масштабируется в зависимости от размера как модели, так и данных. Это делает его идеальным инструментом для обучения базовым моделям следующего поколения, даже в самых крупных масштабах.

Надежность нашей методики предварительной подготовки подтверждается последовательным улучшением сходимости моделей и производительности последующей передачи данных в различных масштабах модели и размерах наборов данных. Авторы измерили эффективность предварительной подготовки к широкому спектру задач визуального распознавания, и результаты оказались многообещающими. Модель ielargest достигла беспрецедентных результатов в iNaturalist-18 (91,3%), 1-shot ImageNet-1k (62,1%) и передаче с нулевым кадром в Food-101 (96,0%), подчеркивая огромный потенциал правильной инициализации модели даже при предварительной обработке миллиардов изображений в веб-масштабе.

Ссылка на документ: https://arxiv.org/abs/2303.13496

Подробный неофициальный обзор статьи: https://andlukyane.com/blog/paper-review-mae-pretrain

Создание продвинутого ИИ-рефери по баскетболу.

В этой версии 2.0 ИИ-рефери по баскетболу обучен моделью машинного обучения распознавать баскетбольные мячи с более чем 3000 помеченных изображений. Используя оценку позы вместе с этой баскетбольной моделью, AI Basketball Referee может обнаруживать перемещения и двойное ведение мяча.

Ссылка на GitHub: https://github.com/ayushpai/AI-Basketball-Referee
Полное видео: https://www.youtube.com/watch?v=VZgXUBi_wkM

Люди в Интернете не такие, какими кажутся 👀

Дикий проект, использующий Stable Diffusion, EbSynth и новый инструмент для создания дипфейков в один клик под названием roop.

Language Python
Stars 8.3k
Forks 932

https://github.com/s0md3v/roop

Было много обсуждений и комментариев по поводу моделей в ChatGPT, и за последние несколько недель результаты API стали намного хуже.

Evals — это платформа для оценки LLM (больших языковых моделей) или систем, построенных с использованием LLM в качестве компонентов. Он также включает реестр сложных оценок с открытым исходным кодом.

https://github.com/openai/evals

Добавление кого-либо в диффузионные модели через Celeb Basis

Hовый метод персонализации, который позволяет беспрепятственно интегрировать уникального человека в предварительно обученную диффузионную модель, используя только одно лицо.

https://github.com/ygtxr1997/CelebBasis

Точная настройка Falcon 40B на наборе данных инструкций Alpaca занимает 30 часов на 8 A100. Сократите его до 30 минут с помощью адаптера LLaMA. 🤯

https://github.com/Lightning-AI/lit-parrot

#Машинное обучение для ученых и инженеров: https://smlbook.org/book/sml-book-draft-latest.pdf

StableRep: Синтетические изображения, полученные с помощью моделей преобразования текста в изображение, способствуют обучению визуальным представлениям

В новаторском исследовании обучения визуальным представлениям ученые использовали синтетические изображения, полученные с помощью ведущих моделей преобразования текста в изображение, в частности Stable Diffusion, и получили многообещающие результаты. Исследование раскрывает два ключевых момента: во-первых, при правильной настройке методы самоконтроля, обученные на синтетических изображениях, могут соответствовать или даже превосходить методы, обученные на реальных изображениях. Это позволяет говорить о перспективности эффективного и действенного обучения представлениям, уменьшая потребность в обширных базах данных реальных изображений.

Во-вторых, исследователи разработали новый подход под названием StableRep - метод мультипозитивного контрастивного обучения, который рассматривает несколько изображений, созданных на основе одной и той же текстовой подсказки, как взаимно позитивные. Убедительным результатом стало то, что StableRep, обученный исключительно на синтетических изображениях, превосходит представления, полученные с помощью таких известных методов, как SimCLR и CLIP, даже если они использовали реальные изображения. Поразительная демонстрация: при добавлении языкового контроля StableRep, обученный на 20 млн синтетических изображений, превосходит CLIP, обученный на 50 млн реальных изображений. Эти результаты не только подчеркивают потенциал синтетических данных, но и прокладывают путь к более эффективному, крупномасштабному обучению визуальным представлениям.

Ссылка на статью: https://arxiv.org/abs/2306.00984

Подробный неофициальный обзор статьи: https://andlukyane.com/blog/paper-review-stablerep

Мы представляем новый метод оптимизации времени тестирования для оценки плотного и дальнего движения по видеоряду. Предыдущие алгоритмы отслеживания оптического потока или видеочастиц обычно работали в ограниченных временных окнах, изо всех сил пытаясь отслеживать окклюзии и поддерживать глобальную согласованность предполагаемых траекторий движения. Мы предлагаем полное и глобально согласованное представление движения, получившее название OmniMotion., что позволяет точно оценить движение каждого пикселя в видео во всю его длину.

https://omnimotion.github.io/

Google делает обучение ИИ доступным для всех бесплатно. Никаких предварительных условий или сборов не требуется. Вот 10 БЕСПЛАТНЫХ курсов, которые вы не захотите пропустить:
1. Introduction to Generative AI

Learn about Generative AI in a simple, short course.
Discover how to make your own AI apps with Google Tools.
https://cloudskillsboost.google/course_templates/536

2. Introduction to Large Language Models

Join this short course to understand big language models (LLMs).
Learn where LLMs are useful and how to improve them.
https://cloudskillsboost.google/course_templates/539

3. Introduction to Responsible AI

This is an introductory-level microlearning course on how Google implements responsible AI in their products.
It also introduces Google's 7 AI principles.
https://cloudskillsboost.google/course_templates/554

4. Generative AI Fundamentals
https://cloudskillsboost.google/course_templates/556

5. Introduction to Image Generation
https://cloudskillsboost.google/course_templates/541

6. Encoder-Decoder Architecture
https://cloudskillsboost.google/course_templates/543

7. Attention Mechanism
https://cloudskillsboost.google/course_templates/537

8. Transformer Models and BERT Model
https://cloudskillsboost.google/course_templates/538

9. Create Image Captioning Models
https://cloudskillsboost.google/course_templates/542

10. Introduction to Generative AI Studio
https://cloudskillsboost.google/course_templates/552

BiomedGPT: унифицированный и универсальный биомедицинский генеративный преобразователь с предварительным обучением для работы со зрением, языком и мультимодальными задачами

Представляя новаторскую модель биомедицинского генеративного предварительно обученного преобразователя (BiomedGPT), этот документ революционизирует область биомедицины, предлагая унифицированный и универсальный подход. BiomedGPT использует возможности самоконтроля обширных и разнообразных наборов данных, что позволяет ему легко обрабатывать мультимодальные входные данные и преуспевать в широком спектре последующих задач. В серии всесторонних экспериментов BiomedGPT поразительно превосходит своих предшественников, становясь непревзойденным лидером в пяти различных задачах и ошеломляющих 20 общедоступных наборах данных, охватывающих более 15 уникальных биомедицинских методов. Его способность предоставлять обширные и всеохватывающие представления биомедицинских данных знаменует собой значительный прогресс в этой области с многообещающими последствиями для улучшения результатов здравоохранения.

Благодаря тщательным исследованиям абляции наглядно продемонстрирована эффективность многомодального и многозадачного предтренировочного подхода BiomedGPT. Эта новаторская модель легко переносит свои обширные знания на ранее невиданные данные, демонстрируя свою универсальность и адаптируемость. Значение этого исследования глубокое, оно прокладывает путь к разработке унифицированных и всеобъемлющих моделей биомедицины.

Ссылка на статью: https://arxiv.org/abs/2305.17100

Ссылка на код: https://github.com/taokz/BiomedGPT

Подробный неофициальный обзор статьи: https://andlukyane.com/blog/paper-review-biomedgpt

Ознакомьтесь с нашей статьей #CVPR2023 Рекуррентные преобразователи зрения для обнаружения объектов с #eventcameras ! Мы достигли производительности sota (47,2% mAP), сократив время вывода в 6 раз (<12 мс) и повысив эффективность параметров в 5 раз! Бумага, Код, Видео https://github.com/uzh-rpg/RVT

Понимание алгоритма сортировки DeepMind

Google DeepMind сообщила, что благодаря использующей обучение с подкреплением, удалось разработать усовершенствованные алгоритмы сортировки. Они сделали это, используя свои глубокие знания, полученные при создании AlphaGo, и применив их к дисциплине супероптимизации. Это пробудило мой интерес, поскольку, как автор библиотеки C, я всегда ищу возможности курировать лучшие материалы. В некотором смысле, в этом действительно заключается вся цель библиотеки C. Существует так много функций, которые мы, программисты, считаем само собой разумеющимися, которые являются конечным продуктом десятилетий исследований, переработанным в простой и переносимый код.

DeepMind заслужила изрядное количество внимания за это открытие, но, к сожалению, они могли бы гораздо лучше объяснить его. Давайте начнем с опубликованного ими ассемблерного кода для сортировки массива из трех элементов, переведенного из псевдосборки в ассемблер: https://justine.lol/sorting/

Рендеринг видео: перевод видео в видео с текстовым сопровождением Zero-Shot

Большие модели диффузии текста в изображение продемонстрировали впечатляющее мастерство в создании высококачественных изображений. Однако при применении этих моделей к области видео обеспечение временной согласованности между видеокадрами остается серьезной проблемой. В этой статье предлагается новая фреймворк для преобразования видео в видео с текстовым управлением для адаптации моделей изображений к видео. https://huggingface.co/papers/2306.07954

В этой статье представлена ​​новая методология самоконтролируемого обучения на изображения

I-JEPA предсказывает особенности различных частей изображения на основе одного контекстного блока. Подход I-JEPA оказался хорошо масштабируемым, особенно при использовании с Vision Transformers (ViT). Например, модель ViT-Huge/14 прошла обучение в ImageNet с использованием 16 графических процессоров A100 менее чем за 72 часа и продемонстрировала высокую производительность в различных задачах.

Ссылка на статью: https://arxiv.org/abs/2301.08243

Ссылка на код: https://github.com/facebookresearch/ijepa

Ссылка на блог: https://ai.facebook.com/blog/yann-lecun-ai-model-i-jepa/

Подробный неофициальный обзор статьи: https://andlukyane.com/blog/paper-review-ijepa

Понимание глубокого обучения — Это отличный учебник по глубокому обучению. Охватывает почти все основные методы и алгоритмы нейронных сетей.

Вам не нужно 20 графических процессоров для точной настройки большой языковой модели. Lit-Parrot — это библиотека Python, которая позволяет точно настроить последнюю модель 7B Falcon с помощью 1 gpu https://github.com/Lightning-AI/lit-parrot

Представляем Voicebox: первую генеративную модель искусственного интеллекта для речи, позволяющую обобщать задачи с высочайшей производительностью.

Крупномасштабные генеративные модели, такие как GPT и DALL-E, произвели революцию в области обработки естественного языка и исследований компьютерного зрения. Эти модели не только генерируют высококачественный текст или изображения, но также являются универсальными, которые могут решать задачи, которым явно не обучают. Напротив, речевые генеративные модели все еще примитивны с точки зрения масштаба и обобщения задач. В этой статье мы представляем Voicebox, наиболее универсальную генеративную модель речи с текстовым управлением в масштабе.
https://ai.facebook.com/blog/voicebox-generative-ai-model-speech/