CS25: Transformers United V3

Новые лекции на курсе по Трансформерам от Стенфорда! На Stanford CS 25 "Transformers United" выступали такие звездные гости, как Андрей Карпаты, Ноам Браун, Лукас Бейер и сам Джефф Хинтон!

Вышел новый доклад, посвящённый созданию и рецептам создания универсальных ИИ-агентов в открытых мирах:

- MineDojo: открытый фреймворк и мультимодальная база данных для обучения агентов Minecraft.
- Voyager: агент для пожизненного обучения в Minecraft на базе LLM.
- Eureka: GPT-4 развивает функции вознаграждения, чтобы научить руку робота крутить ручку.
- VIMA: один из самых ранних мультимодальных LLM с.
- Взгляд в будущее: перспективные направления исследований.

☑️ Slides: https://drive.google.com/file/d/1lWIhijUaTZkkWOC_YwZHMoI0h7EAWVPL/view

📑 Lectures: https://web.stanford.edu/class/cs25

ai_machinelearning_big_data

Masked Space-Time Hash Encoding for Efficient Dynamic Scene Reconstruction

Masked Space-Time Hash (MSTH) - новый метод эффективного восстановления динамических 3D-сцен из многоракурсного видео.

🖥 Github: https://github.com/masked-spacetime-hashing/msth

🤗 HH: https://huggingface.co/datasets/masked-spacetime-hashing/Campus

📕 Paper: https://arxiv.org/abs/2310.17527v1

⏩ Dataset: https://paperswithcode.com/dataset/mip-nerf-360

ai_machinelearning_big_data

☑ PERF: Panoramic Neural Radiance Field from a Single Panorama

PERF - новая систему синтеза 360-градусного обзора, которая генерирует Nerf я на основе одной панорамы.

PERF позволяет осуществлять трехмерное перемещение по сложным сценам без затратного и утомительного сбора изображений.

Многочисленные эксперименты на Replica и новом датасете PERF-in-the-wild демонстрируют превосходство PERF над другими современными методами. Модель подходит для задач преобразование панорамы в 3D, текста в 3D и стилизации 3D-сцен.

🖥 Github: https://github.com/perf-project/PeRF

⚡️Project: https://perf-project.github.io/

📕 Paper: https://arxiv.org/abs/2310.16831v1

⏩ Dataset: https://paperswithcode.com/dataset/replica

https://t.iss.one/ai_machinelearning_big_data

🪄IC|TC: Image Clustering Conditioned on Text Criteria

New methodology for performing image clustering based on user-specified criteria in the form of text by leveraging modern Vision-Language Models and Large Language Models

В данной работе представлена новая методика кластеризации изображений на основе заданных пользователем текстовых описаний с использованием современных моделей "зрение-язык" и больших языковых моделей.

Метод Image Clustering Conditioned on Text Criteria (IC TC), представляет собой новую парадигму кластеризации изображений и требует минимального вмешательства человека и предоставляет пользователю полный контроль над результатами кластеризации. Эксперименты показали, что IC TC может эффективно кластеризовать изображения с различными критериями, такими как действия человека, его физическое местоположение или настроение, значительно превосходя при этом другие решения.

🖥 Github: https://github.com/sehyunkwon/ictc

📕 Paper: https://arxiv.org/pdf/2310.18297v2.pdf

⏩Tasks: https://paperswithcode.com/task/clustering

https://t.iss.one/ai_machinelearning_big_data

Три совета джунам от технических директоров и героев нового выпуска шоу «1х1» 🤓 Это Станислав Макеев и Никита Илясов, которые руководят разработкой в Лавке и Еде.

⬇️ «Образование нужно»
Да, знание уравнений в частных производных вряд ли пригодится на практике, но научит разбираться в сложных темах и строить конструкции в голове.

⬇️ «Слушайте фидбэк»
Для этого рядом нужны более опытные коллеги. В сообществе сильных специалистов вы будете расти быстрее.

⬇️ «Создайте систему знаний»
Она позволит легко вернуться к вещам, которые вам когда-то понравились, и не потерять полезную информацию.

Подписывайтесь 👉 @yandex

🔥 Learning From Mistakes Makes LLM Better Reasoner

LEMA fine-tunes LLMs on mistakecorrection data pairs generated by GPT-4.

Большие языковые модели недавно продемонстрировали замечательные способности к рассуждениям при решении математических задач. Для дальнейшего улучшения этих возможностей в данной работе предлагается метод обучения на ошибках (LeMa), аналогичный процессам обучения человека.

Если взять студента, который не смог решить математическую задачу, для достижения успеха, студент узнает, какую ошибку он допустил и как ее исправить. Имитируя этот процесс обучения, основанный на ошибках, LeMa производит тонкую настройку LLM на парах данных "ошибка-исправление", генерируемых GPT-4.

В частности, сначала собираются неточные пути рассуждений от различных ЛЛМ, а затем используется GPT-4 в качестве "корректора", чтобы (1) определить ошибочный шаг, (2) объяснить причину ошибки, (3) исправить ошибку и сформировать окончательный ответ.

LeMa стабильно улучшает производительность моделей по сравнению с тонкой настройкой и превосходит показатели SOTA, достигнутые другими моделями с открытым исходным кодом на различных сложных задачах.

🖥 Github: https://github.com/microsoft/codet

📕 Paper: https://arxiv.org/pdf/2310.20689v1.pdf

⏩ Dataset: https://paperswithcode.com/dataset/math

@ai_machinelearning_big_data

🔥 Learn from Andrew Ng! Generative AI for Everyone

Instructed by AI pioneer Andrew Ng, Generative AI for Everyone offers his unique perspective on empowering you and your work with generative AI.

Узнайте, как работает генеративный искусственный интеллект в новом бесплатном курсе от легендарного Эндрю Ына. Как использовать ИИ в профессиональной или личной жизни и как он повлияет на работу, бизнес и общество.

Вы познакомитесь с реальными примерами работы ии, изучите типичные кейсы использования, получите возможность практической работы с инструментами генеративного ИИ, чтобы применить полученные знания на практике и получить представление о влиянии ИИ на бизнес и общество.

Этот курс доступен для всех и не предполагает наличия опыта кодинга или работы с искусственным интеллектом.

https://www.deeplearning.ai/courses/generative-ai-for-everyone/

@ai_machinelearning_big_data

⚡️ LLMRec: Large Language Models with Graph Augmentation for Recommendation

LLMRec - это новый фреймворк и датасет, улучшающий рекомендательные системы путем применения простых, но эффективных стратегий дополнения графов на основе LLM.

🖥 Github: https://github.com/hkuds/llmrec

📕 Paper: https://arxiv.org/abs/2311.00423v1

⏩ Project: https://llmrec.github.io/

🌐 Dataset: https://llmrec.github.io/#

@ai_machinelearning_big_data

🖥 TORCH UNCERTAINTY

Comprehensive PyTorch Library for deep learning uncertainty quantification techniques.

TorchUncertainty - это, фреймворк для использования методов квантования неопределенности для повышения надежности глубоких нейронных сетей. Пакет предоставляет многоуровневый API, включая:

▪готовые к обучению базовые модели на исследовательских датасетах, таких как ImageNet и CIFAR
▪базовые системы глубокого обучения, доступные для обучения на ваших наборах данных
▪предварительно настроенные веса для этих базовых сетей на ImageNet и CIFAR
▪готовые слои, доступные для использования в ваших сетях
▪методы постобработки в стиле scikit-learn, такие как Temperature Scaling.
Более полный список реализованных методов в справке по API.

pip install torch-uncertainty

🖥 Github: https://github.com/ensta-u2is/torch-uncertainty

📕 Paper: https://arxiv.org/abs/2311.01434v1

⏩ Project: https://llmrec.github.io/

👣 Api: https://torch-uncertainty.github.io/api.html

🌐 Dataset: https://paperswithcode.com/dataset/cifar-10

@ai_machinelearning_big_data

🎧 Video2Music: Suitable Music Generation from Videos using an Affective Multimodal Transformer model

Video2Music: Suitable Music Generation from Videos using an Affective Multimodal Transformer model.

Многочисленные исследования в области генерации музыки продемонстрировали впечатляющую производительность, однако практически ни одна модель не способна напрямую генерировать музыку для сопровождения видео.

В данной работе представлен генеративный музыкальный ИИ-фреймворк Video2Music, который может генерировать музыку под предоставленное видео.

Сначала была собрана уникальная коллекцию музыкальных клипов. Затем проанализированы музыкальные видеоролики, чтобы получить семантические характеристики, характеристики смещения сцены, движения и эмоций.

Эти отличительные признаки используются в качестве исходных данных для модели генерации музыки.

Затем транскрибируются аудиофайлы в MIDI и аккорды, а также извлекаются такие характеристики, как плотность нот и громкость.

В результате был собран набор мультимодальных данных под названием MuVi-Sync, на котором обучена модель для генерации музыки на основе видео. Эта модель включает в себя новый механизм, обеспечивающий сходство между видео и музыкой. Наконец, выполняется постобработка на основе регрессионной модели на базе biGRU для оценки плотности и громкости нот на основе характеристик видео.

Это обеспечивает динамическую визуализацию генерируемых аккордов с изменяющимся ритмом и громкостью.

В ходе экспериментов показано, что фреймворк позволяет генерировать музыку, соответствующую видеоконтенту с точки зрения эмоций. Музыкальное качество, а также качество согласования музыки и видео подтверждается в ходе исследования.

Модель AMT, а также новый датасет MuVi-Sync представляют собой перспективный шаг для задачи генерации музыки для видео.

🖥 Github: https://github.com/amaai-lab/video2music

📕 Paper: https://arxiv.org/abs/2311.00968v1

⏩ Demo: https://llmrec.github.io/

🌐 Dataset: https://zenodo.org/records/10057093

@ai_machinelearning_big_data

⚡️ OpenAI DevDay, Opening Keynote

OpenAI DevDay сейчас идет онлайн конференции для разработчиков от OpenAI.

OpenAI выпустит GPT-5 GPT-4-Turbo, новая модель превосходит старую во всем:

— Можно писать промты длинной в 128 тысяч токенов — это 365 страниц примерно обычной книги!

— Поддерживает возможность загружать собственные документы (PDF и прочие форматы);
— Можно может писать ответы в JSON-формате;
— Обновили базу данных до апреля 2023 года;
— Цена будет дешевле, работа по API для разработчиков — в 3 раза меньше цена для промта и в 2 раза для генераций.
— Голоса ChatGPT теперь не отличить от человеческих.
— GPT-4 turbo стала намного умнее.
— В 3 раза меньше цена для промта и в 2 раза для генераций.

Выпущен: https://github.com/openai/whisper

https://www.youtube.com/watch?v=U9mJuUkhUzk

@ai_machinelearning_big_data

⚡️ EntitySeg Toolbox: Towards open-world and high-quality image segmentation

EntitySeg - это инструментарий с открытым исходным кодом, предназначенный для сегментации изображений с открытым миром и высоким качеством.

На сегодняшний день в EntitySeg реализованы следующие алгортмы:

▪Open-World Entity Segmentation (TPAMI2022)
▪High Quality Segmentation for Ultra High-resolution Images (CVPR2022)
▪CA-SSL: Class-Agnostic Semi-Supervised Learning for Detection and Segmentation (ECCV2022)
▪High-Quality Entity Segmentation (ICCV2023 Oral)
▪Rethinking Evaluation Metrics of Open-Vocabulary Segmentaion --- released

🖥 Github: https://github.com/qqlu/entity

📕 Paper: https://arxiv.org/abs/2311.03352v1

🌐 Dataset: https://paperswithcode.com/dataset/coco

@ai_machinelearning_big_data

🚀 Introducing YOLO-NAS Pose : A Game-Changer in Pose Estimation 🚀

This Model is a redefinition of pose estimation's potential.

Компьютерное зрение достигло значительных успехов, и последний скачок произошел благодаря модели YOLO-NAS Pose.

Эта модель открывает новые возможности обнаружения и оценки позы людей на видео.

- Ошеломляющее снижение задержки на 38,85% на мощных процессорах Intel Xeon.

-Модель поднимает YOLOv8 на новую высоту по качеству обнаружения.

-Ориентирована на работу в режиме реального времени, уникальное сочетание точности и скорости.

- Невероятное улучшение на 0,27 балла на [email protected]

Для решения различных задач модель выпускается в четырех вариантах, каждый из которых имеет свой размер и время задержки.

🖥 Github: https://github.com/Deci-AI/super-gradients

📕 Notebook: https://colab.research.google.com/drive/1O4N5Vbzv0rfkT81LQidPktX8RtoS5A40

🚀 Demo: https://huggingface.co/spaces/Deci/YOLO-NAS-Pose-Demo

🌐 Colab: https://colab.research.google.com/drive/1agLj0aGx48C_rZPrTkeA18kuncack6lF

@ai_machinelearning_big_data