ControlVideo: Генерация текста в видео с улучшенной последовательностью и качеством (GitHub Repo)

ControlVideo - это новая система, которая решает проблемы, связанные с созданием видео из текста, путем внедрения подхода, не требующего обучения. Используя структурную согласованность, улучшая связность внешнего вида, смягчая эффекты мерцания и применяя иерархическую выборку, ControlVideo превосходит существующие методы в генерации высококачественного видео, как короткого, так и длинного. Важно отметить, что ControlVideo достигает таких результатов эффективно, генерируя видео в течение нескольких минут с помощью одного графического процессора NVIDIA 2080Ti. https://github.com/YBYBZhang/ControlVideo

ChainForge (GitHub Repo)

Среда визуального программирования с открытым исходным кодом для тестирования подсказок для LLM. https://github.com/ianarawjo/ChainForge

LoopGPT (GitHub Repo)

LoopGPT - это повторная реализация популярного проекта Auto-GPT в виде соответствующего пакета python, написанного с учетом модульности и расширяемости. https://github.com/farizrahman4u/loopgpt

Распознавание эмоций ИИ с помощью компьютерного зрения

Компьютерное зрение — одна из наиболее широко используемых и развивающихся областей ИИ. Это дает компьютеру возможность наблюдать и учиться на визуальных данных так же, как люди. В этом процессе компьютер извлекает значимую информацию из цифровых изображений, видео и т. д. и применяет это обучение для решения проблем. https://heartbeat.comet.ml/ai-emotion-recognition-using-computer-vision-61fe49fc7c33

Миссия выполнима: как Smart Engines обучила нейросеть распознавать все страницы паспорта РФ и находить подделки

Восемь лет упорного труда, немного удачи и ... девять из тринадцати крупнейших банков России наши клиенты. В этой статье мы расскажем, как мы решили задачу распознавания (даже в темноте) и проверки подлинности паспорта и почему корпорации теперь отказываются от ручного ввода данных (спойлер: чтобы не утекли). https://habr.com/ru/companies/smartengines/articles/731230/

В этой статье мы демонстрируем мощный новый механизм запросов ( SQLAutoVectorQueryEngine) в LlamaIndex, который может использовать как базу данных SQL, так и векторное хранилище для выполнения сложных запросов на естественном языке по сочетанию структурированных и неструктурированных данных. Этот механизм запросов может использовать выразительность SQL для структурированных данных и объединять их с неструктурированным контекстом из векторной базы данных. Мы продемонстрируем этот механизм запросов на нескольких примерах и покажем, что он может обрабатывать запросы, использующие как структурированные, так и неструктурированные данные, или и то, и другое.
https://shly.link/mdmudhD

Создайте ChatGPT с вашими личными данными, используя LlamaIndex и MongoDB

Модели больших языков (LLM), такие как ChatGPT, произвели революцию в том, как пользователи могут получать ответы на свои вопросы. Однако «знания» LLM ограничены тем, чему они обучались, что для ChatGPT означает общедоступную информацию в Интернете до сентября 2021 года. Как LLM могут отвечать на вопросы, используя частные источники знаний, такие как данные вашей компании, и раскрывать ее истинную преобразующую силу. ? https://medium.com/llamaindex-blog/build-a-chatgpt-with-your-private-data-using-llamaindex-and-mongodb-b09850eb154c

Повышение производительности машинного обучения с помощью Rust

Rust + LibTorch = увеличение скорости обучения в 5,5 раз на Python + PyTorch https://shly.link/XVmNc

Лучшее описание обратного распространения, которое я когда-либо видел ))

Chain of Hidsight согласовывает языковые модели с обратной связью

Языковые модели ИИ становятся важной частью нашего цифрового мира. Однако проблема заключается в том, чтобы привести эти модели в соответствие с человеческими предпочтениями, чтобы они были действительно полезными и ценными. Современные методы, хотя и успешны во многих отношениях, имеют ограничения: они либо неэффективны в использовании данных, либо сильно зависят от сложных функций вознаграждения и обучения с подкреплением.

А вот и «Цепочка ретроспективного взгляда», захватывающая новая техника, вдохновленная механизмами человеческого обучения. Он может учиться на любой форме обратной связи, даже преобразовывая ее в язык для точной настройки модели. Этот подход обусловливает модель последовательностью поколений моделей в сочетании с обратной связью, помогая ей научиться исправлять отрицательные атрибуты или ошибки. Он значительно превосходит предыдущие методы, особенно демонстрируя большие успехи в задачах подведения итогов и диалога.
Ссылка на статью: https://arxiv.org/abs/2302.02676

Подробный неофициальный обзор статьи: https://andlukyane.com/blog/paper-review-coh

Первый дееспособный, коммерчески жизнеспособный LLM общего назначения с открытым исходным кодом, который превосходит все LLM Big Tech, появился в ОАЭ.

Доктор Эбтесам Алмазроуи, директор кросс-центрового подразделения искусственного интеллекта в TII, сказал: «Отказ от лицензионных платежей за Falcon 40B способствует инклюзивным технологическим достижениям для сплоченного общества. Мы стремимся использовать технологии для объединения человечества и обеспечения будущего нашего мира».

Для получения дополнительной информации о текущей модели искусственного интеллекта Falcon 40B с открытым исходным кодом и о регистрации посетите: FalconLLM.TII.ae

Чтобы узнать рейтинг Falcon 40B, посетите: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard

🔹Не дайте себя одурачить дрейфом данных.
Если вы ищете информацию о мониторинге машинного обучения в Интернете, есть большая вероятность, что вы столкнетесь с различными подходами к мониторингу, выступающими за то, чтобы сделать дрейф данных центральным элементом решений для мониторинга… Цель этого сообщение в блоге должно продемонстрировать, что не все смещения данных влияют на производительность модели. Затруднить доверие к методам дрейфа, поскольку они, как правило, вызывают большое количество ложных срабатываний. Чтобы проиллюстрировать этот момент, мы будем обучать модель машинного обучения с использованием реального набора данных, отслеживать распределение функций модели в производственной среде и сообщать о любом отклонении данных, которое может произойти… https://www.nannyml.com/blog/when-data-drift-does-not-affect-performance-machine-learning-models

🔹Изучение Джулии
Tidier.jl — это реализация {tidyverse} в Julia, и после 10 недель обработки данных и построения графика данных #TidyTuesday в Джулии я хотел поделиться тем, что я узнал о Джулии как Р пользователь… https://nrennie.rbind.io/blog/learning-julia-with-tidytuesday-tidier

🔹LanceDB
Современный формат данных столбцов для ML и LLM, реализованный в Rust. Преобразование из паркета в 2 строки кода для 100-кратного ускорения произвольного доступа, векторного индекса и управления версиями данных. Совместимость с Pandas, DuckDB, Polars, Pyarrow, с дальнейшими интеграциями…. https://github.com/lancedb/lance

🔹Все сложные вещи, о которых никто не говорит при создании продуктов с помощью LLM
Вокруг ИИ и, в частности, больших языковых моделей (LLM) много шумихи. Откровенно говоря, большая часть этой шумихи — просто какая-то демонстрационная чушь, которая рухнет, как только кто-нибудь попытается использовать ее для реальной задачи, от которой зависит их работа. Реальность гораздо менее гламурна: трудно создать настоящий продукт, поддерживаемый LLM… https://www.honeycomb.io/blog/hard-stuff-nobody-talks-about-llm

Революционизируя существующую парадигму компьютерного зрения "предварительная тренировка, а затем точная настройка", это исследование ввело инновационный этап предварительной подготовки. Используя метод маскированного автоэнкодера (MAE) для инициализации модели, эта стратегия предварительной подготовки масштабируется в зависимости от размера как модели, так и данных. Это делает его идеальным инструментом для обучения базовым моделям следующего поколения, даже в самых крупных масштабах.

Надежность нашей методики предварительной подготовки подтверждается последовательным улучшением сходимости моделей и производительности последующей передачи данных в различных масштабах модели и размерах наборов данных. Авторы измерили эффективность предварительной подготовки к широкому спектру задач визуального распознавания, и результаты оказались многообещающими. Модель ielargest достигла беспрецедентных результатов в iNaturalist-18 (91,3%), 1-shot ImageNet-1k (62,1%) и передаче с нулевым кадром в Food-101 (96,0%), подчеркивая огромный потенциал правильной инициализации модели даже при предварительной обработке миллиардов изображений в веб-масштабе.

Ссылка на документ: https://arxiv.org/abs/2303.13496

Подробный неофициальный обзор статьи: https://andlukyane.com/blog/paper-review-mae-pretrain

Создание продвинутого ИИ-рефери по баскетболу.

В этой версии 2.0 ИИ-рефери по баскетболу обучен моделью машинного обучения распознавать баскетбольные мячи с более чем 3000 помеченных изображений. Используя оценку позы вместе с этой баскетбольной моделью, AI Basketball Referee может обнаруживать перемещения и двойное ведение мяча.

Ссылка на GitHub: https://github.com/ayushpai/AI-Basketball-Referee
Полное видео: https://www.youtube.com/watch?v=VZgXUBi_wkM

Люди в Интернете не такие, какими кажутся 👀

Дикий проект, использующий Stable Diffusion, EbSynth и новый инструмент для создания дипфейков в один клик под названием roop.

Language Python
Stars 8.3k
Forks 932

https://github.com/s0md3v/roop

Было много обсуждений и комментариев по поводу моделей в ChatGPT, и за последние несколько недель результаты API стали намного хуже.

Evals — это платформа для оценки LLM (больших языковых моделей) или систем, построенных с использованием LLM в качестве компонентов. Он также включает реестр сложных оценок с открытым исходным кодом.

https://github.com/openai/evals

Добавление кого-либо в диффузионные модели через Celeb Basis

Hовый метод персонализации, который позволяет беспрепятственно интегрировать уникального человека в предварительно обученную диффузионную модель, используя только одно лицо.

https://github.com/ygtxr1997/CelebBasis

Точная настройка Falcon 40B на наборе данных инструкций Alpaca занимает 30 часов на 8 A100. Сократите его до 30 минут с помощью адаптера LLaMA. 🤯

https://github.com/Lightning-AI/lit-parrot

#Машинное обучение для ученых и инженеров: https://smlbook.org/book/sml-book-draft-latest.pdf

StableRep: Синтетические изображения, полученные с помощью моделей преобразования текста в изображение, способствуют обучению визуальным представлениям

В новаторском исследовании обучения визуальным представлениям ученые использовали синтетические изображения, полученные с помощью ведущих моделей преобразования текста в изображение, в частности Stable Diffusion, и получили многообещающие результаты. Исследование раскрывает два ключевых момента: во-первых, при правильной настройке методы самоконтроля, обученные на синтетических изображениях, могут соответствовать или даже превосходить методы, обученные на реальных изображениях. Это позволяет говорить о перспективности эффективного и действенного обучения представлениям, уменьшая потребность в обширных базах данных реальных изображений.

Во-вторых, исследователи разработали новый подход под названием StableRep - метод мультипозитивного контрастивного обучения, который рассматривает несколько изображений, созданных на основе одной и той же текстовой подсказки, как взаимно позитивные. Убедительным результатом стало то, что StableRep, обученный исключительно на синтетических изображениях, превосходит представления, полученные с помощью таких известных методов, как SimCLR и CLIP, даже если они использовали реальные изображения. Поразительная демонстрация: при добавлении языкового контроля StableRep, обученный на 20 млн синтетических изображений, превосходит CLIP, обученный на 50 млн реальных изображений. Эти результаты не только подчеркивают потенциал синтетических данных, но и прокладывают путь к более эффективному, крупномасштабному обучению визуальным представлениям.

Ссылка на статью: https://arxiv.org/abs/2306.00984

Подробный неофициальный обзор статьи: https://andlukyane.com/blog/paper-review-stablerep

Мы представляем новый метод оптимизации времени тестирования для оценки плотного и дальнего движения по видеоряду. Предыдущие алгоритмы отслеживания оптического потока или видеочастиц обычно работали в ограниченных временных окнах, изо всех сил пытаясь отслеживать окклюзии и поддерживать глобальную согласованность предполагаемых траекторий движения. Мы предлагаем полное и глобально согласованное представление движения, получившее название OmniMotion., что позволяет точно оценить движение каждого пикселя в видео во всю его длину.

https://omnimotion.github.io/