Создайте ChatGPT с вашими личными данными, используя LlamaIndex и MongoDB

Модели больших языков (LLM), такие как ChatGPT, произвели революцию в том, как пользователи могут получать ответы на свои вопросы. Однако «знания» LLM ограничены тем, чему они обучались, что для ChatGPT означает общедоступную информацию в Интернете до сентября 2021 года. Как LLM могут отвечать на вопросы, используя частные источники знаний, такие как данные вашей компании, и раскрывать ее истинную преобразующую силу. ? https://medium.com/llamaindex-blog/build-a-chatgpt-with-your-private-data-using-llamaindex-and-mongodb-b09850eb154c

Повышение производительности машинного обучения с помощью Rust

Rust + LibTorch = увеличение скорости обучения в 5,5 раз на Python + PyTorch https://shly.link/XVmNc

Лучшее описание обратного распространения, которое я когда-либо видел ))

Chain of Hidsight согласовывает языковые модели с обратной связью

Языковые модели ИИ становятся важной частью нашего цифрового мира. Однако проблема заключается в том, чтобы привести эти модели в соответствие с человеческими предпочтениями, чтобы они были действительно полезными и ценными. Современные методы, хотя и успешны во многих отношениях, имеют ограничения: они либо неэффективны в использовании данных, либо сильно зависят от сложных функций вознаграждения и обучения с подкреплением.

А вот и «Цепочка ретроспективного взгляда», захватывающая новая техника, вдохновленная механизмами человеческого обучения. Он может учиться на любой форме обратной связи, даже преобразовывая ее в язык для точной настройки модели. Этот подход обусловливает модель последовательностью поколений моделей в сочетании с обратной связью, помогая ей научиться исправлять отрицательные атрибуты или ошибки. Он значительно превосходит предыдущие методы, особенно демонстрируя большие успехи в задачах подведения итогов и диалога.
Ссылка на статью: https://arxiv.org/abs/2302.02676

Подробный неофициальный обзор статьи: https://andlukyane.com/blog/paper-review-coh

Первый дееспособный, коммерчески жизнеспособный LLM общего назначения с открытым исходным кодом, который превосходит все LLM Big Tech, появился в ОАЭ.

Доктор Эбтесам Алмазроуи, директор кросс-центрового подразделения искусственного интеллекта в TII, сказал: «Отказ от лицензионных платежей за Falcon 40B способствует инклюзивным технологическим достижениям для сплоченного общества. Мы стремимся использовать технологии для объединения человечества и обеспечения будущего нашего мира».

Для получения дополнительной информации о текущей модели искусственного интеллекта Falcon 40B с открытым исходным кодом и о регистрации посетите: FalconLLM.TII.ae

Чтобы узнать рейтинг Falcon 40B, посетите: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard

🔹Не дайте себя одурачить дрейфом данных.
Если вы ищете информацию о мониторинге машинного обучения в Интернете, есть большая вероятность, что вы столкнетесь с различными подходами к мониторингу, выступающими за то, чтобы сделать дрейф данных центральным элементом решений для мониторинга… Цель этого сообщение в блоге должно продемонстрировать, что не все смещения данных влияют на производительность модели. Затруднить доверие к методам дрейфа, поскольку они, как правило, вызывают большое количество ложных срабатываний. Чтобы проиллюстрировать этот момент, мы будем обучать модель машинного обучения с использованием реального набора данных, отслеживать распределение функций модели в производственной среде и сообщать о любом отклонении данных, которое может произойти… https://www.nannyml.com/blog/when-data-drift-does-not-affect-performance-machine-learning-models

🔹Изучение Джулии
Tidier.jl — это реализация {tidyverse} в Julia, и после 10 недель обработки данных и построения графика данных #TidyTuesday в Джулии я хотел поделиться тем, что я узнал о Джулии как Р пользователь… https://nrennie.rbind.io/blog/learning-julia-with-tidytuesday-tidier

🔹LanceDB
Современный формат данных столбцов для ML и LLM, реализованный в Rust. Преобразование из паркета в 2 строки кода для 100-кратного ускорения произвольного доступа, векторного индекса и управления версиями данных. Совместимость с Pandas, DuckDB, Polars, Pyarrow, с дальнейшими интеграциями…. https://github.com/lancedb/lance

🔹Все сложные вещи, о которых никто не говорит при создании продуктов с помощью LLM
Вокруг ИИ и, в частности, больших языковых моделей (LLM) много шумихи. Откровенно говоря, большая часть этой шумихи — просто какая-то демонстрационная чушь, которая рухнет, как только кто-нибудь попытается использовать ее для реальной задачи, от которой зависит их работа. Реальность гораздо менее гламурна: трудно создать настоящий продукт, поддерживаемый LLM… https://www.honeycomb.io/blog/hard-stuff-nobody-talks-about-llm

Революционизируя существующую парадигму компьютерного зрения "предварительная тренировка, а затем точная настройка", это исследование ввело инновационный этап предварительной подготовки. Используя метод маскированного автоэнкодера (MAE) для инициализации модели, эта стратегия предварительной подготовки масштабируется в зависимости от размера как модели, так и данных. Это делает его идеальным инструментом для обучения базовым моделям следующего поколения, даже в самых крупных масштабах.

Надежность нашей методики предварительной подготовки подтверждается последовательным улучшением сходимости моделей и производительности последующей передачи данных в различных масштабах модели и размерах наборов данных. Авторы измерили эффективность предварительной подготовки к широкому спектру задач визуального распознавания, и результаты оказались многообещающими. Модель ielargest достигла беспрецедентных результатов в iNaturalist-18 (91,3%), 1-shot ImageNet-1k (62,1%) и передаче с нулевым кадром в Food-101 (96,0%), подчеркивая огромный потенциал правильной инициализации модели даже при предварительной обработке миллиардов изображений в веб-масштабе.

Ссылка на документ: https://arxiv.org/abs/2303.13496

Подробный неофициальный обзор статьи: https://andlukyane.com/blog/paper-review-mae-pretrain

Создание продвинутого ИИ-рефери по баскетболу.

В этой версии 2.0 ИИ-рефери по баскетболу обучен моделью машинного обучения распознавать баскетбольные мячи с более чем 3000 помеченных изображений. Используя оценку позы вместе с этой баскетбольной моделью, AI Basketball Referee может обнаруживать перемещения и двойное ведение мяча.

Ссылка на GitHub: https://github.com/ayushpai/AI-Basketball-Referee
Полное видео: https://www.youtube.com/watch?v=VZgXUBi_wkM

Люди в Интернете не такие, какими кажутся 👀

Дикий проект, использующий Stable Diffusion, EbSynth и новый инструмент для создания дипфейков в один клик под названием roop.

Language Python
Stars 8.3k
Forks 932

https://github.com/s0md3v/roop

Было много обсуждений и комментариев по поводу моделей в ChatGPT, и за последние несколько недель результаты API стали намного хуже.

Evals — это платформа для оценки LLM (больших языковых моделей) или систем, построенных с использованием LLM в качестве компонентов. Он также включает реестр сложных оценок с открытым исходным кодом.

https://github.com/openai/evals

Добавление кого-либо в диффузионные модели через Celeb Basis

Hовый метод персонализации, который позволяет беспрепятственно интегрировать уникального человека в предварительно обученную диффузионную модель, используя только одно лицо.

https://github.com/ygtxr1997/CelebBasis

Точная настройка Falcon 40B на наборе данных инструкций Alpaca занимает 30 часов на 8 A100. Сократите его до 30 минут с помощью адаптера LLaMA. 🤯

https://github.com/Lightning-AI/lit-parrot

#Машинное обучение для ученых и инженеров: https://smlbook.org/book/sml-book-draft-latest.pdf

StableRep: Синтетические изображения, полученные с помощью моделей преобразования текста в изображение, способствуют обучению визуальным представлениям

В новаторском исследовании обучения визуальным представлениям ученые использовали синтетические изображения, полученные с помощью ведущих моделей преобразования текста в изображение, в частности Stable Diffusion, и получили многообещающие результаты. Исследование раскрывает два ключевых момента: во-первых, при правильной настройке методы самоконтроля, обученные на синтетических изображениях, могут соответствовать или даже превосходить методы, обученные на реальных изображениях. Это позволяет говорить о перспективности эффективного и действенного обучения представлениям, уменьшая потребность в обширных базах данных реальных изображений.

Во-вторых, исследователи разработали новый подход под названием StableRep - метод мультипозитивного контрастивного обучения, который рассматривает несколько изображений, созданных на основе одной и той же текстовой подсказки, как взаимно позитивные. Убедительным результатом стало то, что StableRep, обученный исключительно на синтетических изображениях, превосходит представления, полученные с помощью таких известных методов, как SimCLR и CLIP, даже если они использовали реальные изображения. Поразительная демонстрация: при добавлении языкового контроля StableRep, обученный на 20 млн синтетических изображений, превосходит CLIP, обученный на 50 млн реальных изображений. Эти результаты не только подчеркивают потенциал синтетических данных, но и прокладывают путь к более эффективному, крупномасштабному обучению визуальным представлениям.

Ссылка на статью: https://arxiv.org/abs/2306.00984

Подробный неофициальный обзор статьи: https://andlukyane.com/blog/paper-review-stablerep

Мы представляем новый метод оптимизации времени тестирования для оценки плотного и дальнего движения по видеоряду. Предыдущие алгоритмы отслеживания оптического потока или видеочастиц обычно работали в ограниченных временных окнах, изо всех сил пытаясь отслеживать окклюзии и поддерживать глобальную согласованность предполагаемых траекторий движения. Мы предлагаем полное и глобально согласованное представление движения, получившее название OmniMotion., что позволяет точно оценить движение каждого пикселя в видео во всю его длину.

https://omnimotion.github.io/

Google делает обучение ИИ доступным для всех бесплатно. Никаких предварительных условий или сборов не требуется. Вот 10 БЕСПЛАТНЫХ курсов, которые вы не захотите пропустить:
1. Introduction to Generative AI

Learn about Generative AI in a simple, short course.
Discover how to make your own AI apps with Google Tools.
https://cloudskillsboost.google/course_templates/536

2. Introduction to Large Language Models

Join this short course to understand big language models (LLMs).
Learn where LLMs are useful and how to improve them.
https://cloudskillsboost.google/course_templates/539

3. Introduction to Responsible AI

This is an introductory-level microlearning course on how Google implements responsible AI in their products.
It also introduces Google's 7 AI principles.
https://cloudskillsboost.google/course_templates/554

4. Generative AI Fundamentals
https://cloudskillsboost.google/course_templates/556

5. Introduction to Image Generation
https://cloudskillsboost.google/course_templates/541

6. Encoder-Decoder Architecture
https://cloudskillsboost.google/course_templates/543

7. Attention Mechanism
https://cloudskillsboost.google/course_templates/537

8. Transformer Models and BERT Model
https://cloudskillsboost.google/course_templates/538

9. Create Image Captioning Models
https://cloudskillsboost.google/course_templates/542

10. Introduction to Generative AI Studio
https://cloudskillsboost.google/course_templates/552

BiomedGPT: унифицированный и универсальный биомедицинский генеративный преобразователь с предварительным обучением для работы со зрением, языком и мультимодальными задачами

Представляя новаторскую модель биомедицинского генеративного предварительно обученного преобразователя (BiomedGPT), этот документ революционизирует область биомедицины, предлагая унифицированный и универсальный подход. BiomedGPT использует возможности самоконтроля обширных и разнообразных наборов данных, что позволяет ему легко обрабатывать мультимодальные входные данные и преуспевать в широком спектре последующих задач. В серии всесторонних экспериментов BiomedGPT поразительно превосходит своих предшественников, становясь непревзойденным лидером в пяти различных задачах и ошеломляющих 20 общедоступных наборах данных, охватывающих более 15 уникальных биомедицинских методов. Его способность предоставлять обширные и всеохватывающие представления биомедицинских данных знаменует собой значительный прогресс в этой области с многообещающими последствиями для улучшения результатов здравоохранения.

Благодаря тщательным исследованиям абляции наглядно продемонстрирована эффективность многомодального и многозадачного предтренировочного подхода BiomedGPT. Эта новаторская модель легко переносит свои обширные знания на ранее невиданные данные, демонстрируя свою универсальность и адаптируемость. Значение этого исследования глубокое, оно прокладывает путь к разработке унифицированных и всеобъемлющих моделей биомедицины.

Ссылка на статью: https://arxiv.org/abs/2305.17100

Ссылка на код: https://github.com/taokz/BiomedGPT

Подробный неофициальный обзор статьи: https://andlukyane.com/blog/paper-review-biomedgpt

Ознакомьтесь с нашей статьей #CVPR2023 Рекуррентные преобразователи зрения для обнаружения объектов с #eventcameras ! Мы достигли производительности sota (47,2% mAP), сократив время вывода в 6 раз (<12 мс) и повысив эффективность параметров в 5 раз! Бумага, Код, Видео https://github.com/uzh-rpg/RVT

Понимание алгоритма сортировки DeepMind

Google DeepMind сообщила, что благодаря использующей обучение с подкреплением, удалось разработать усовершенствованные алгоритмы сортировки. Они сделали это, используя свои глубокие знания, полученные при создании AlphaGo, и применив их к дисциплине супероптимизации. Это пробудило мой интерес, поскольку, как автор библиотеки C, я всегда ищу возможности курировать лучшие материалы. В некотором смысле, в этом действительно заключается вся цель библиотеки C. Существует так много функций, которые мы, программисты, считаем само собой разумеющимися, которые являются конечным продуктом десятилетий исследований, переработанным в простой и переносимый код.

DeepMind заслужила изрядное количество внимания за это открытие, но, к сожалению, они могли бы гораздо лучше объяснить его. Давайте начнем с опубликованного ими ассемблерного кода для сортировки массива из трех элементов, переведенного из псевдосборки в ассемблер: https://justine.lol/sorting/

Рендеринг видео: перевод видео в видео с текстовым сопровождением Zero-Shot

Большие модели диффузии текста в изображение продемонстрировали впечатляющее мастерство в создании высококачественных изображений. Однако при применении этих моделей к области видео обеспечение временной согласованности между видеокадрами остается серьезной проблемой. В этой статье предлагается новая фреймворк для преобразования видео в видео с текстовым управлением для адаптации моделей изображений к видео. https://huggingface.co/papers/2306.07954