🐾 Putting the Object Back into Video Object Segmentation (Cutie)

Cutie - это фреймворк для сегментации видеообъектов, обладающий большей высокой производительностью, устойчивостью и скоростью.

Cutie четко отделяет семантику объекта переднего плана от фона. На сложном наборе данных MOSE Cutie превосходит все предыдущие методы сегментации.

git clone https://github.com/hkchengrex/Cutie.git

🖥 Github: https://github.com/hkchengrex/Cutie

🖥 Colab: https://colab.research.google.com/drive/1yo43XTbjxuWA7XgCUO9qxAi7wBI6HzvP?usp=sharing

📕 Paper: https://arxiv.org/abs/2310.12982v1

🚀Project: https://hkchengrex.github.io/Cutie/

ai_machinelearning_big_data

🦙AgentTuning: Enabling Generalized Agent Abilities For LLMs.

AgentTuning - простой и эффективный метод расширения агентских возможностей для решения сложных задачи реального мира при сохранении всех возможностей ЛЛМ.

AgentTuning содержит датасет 1866 высококачественных взаимодействий, предназначенных для улучшения работы ИИ-агентов в 6 различных реальных задачах.

🖥 Github: https://github.com/THUDM/AgentTuning

📕 Paper: https://arxiv.org/abs/2310.12823

🤗 Model: https://huggingface.co/THUDM/agentlm-70b

🚀Dataset: https://huggingface.co/datasets/THUDM/AgentInstruct

⭐️ Project: https://thudm.github.io/AgentTuning/

ai_machinelearning_big_data

✅ Zero123++: a Single Image to Consistent Multi-view Diffusion Base Model

Новая модель диффузии для генерации многоракурсных 3D изображений из одного изображения. Фреймворк позволяет получать высококачественные изображения, решая такие распространенные проблемы, как деградация текстуры и геометрическое несоответствие генерации.

🖥 Github: https://github.com/sudo-ai-3d/zero123plus

📕 Paper: https://arxiv.org/abs/2310.15110v1

⭐️ Demo: https://huggingface.co/spaces/sudo-ai/zero123plus-demo-space

🚀Dataset: https://paperswithcode.com/dataset/shapenet

ai_machinelearning_big_data

🦩 Woodpecker: Hallucination Correction for Multimodal Large Language Models

Hallucination Correction for MLLMs. The first work to correct hallucination in multimodal large language models.

Большие языковые модели могут вызывать галлюцинации и генерировать ложную информацию, что приводит к потенциальной дезинформации и путанице.

Для борьбы с галлюцинациями в современных исследованиях в основном используется метод настройки по инструкции, требующий переобучения моделей на конкретных данных.

В данной работе предлагается иной подход, представляя метод не требующий переобучения модели, который называется Woodpecker.

Woodpecker работает в 5 этапов: извлечение ключевых понятий, формулировка вопроса, визуальная проверка знаний, формирование визуального утверждения и коррекция галлюцинаций. Реализованный по принципу постредактирования, Woodpecker может легко работать с различными МЛЛМ, оставаясь при этом эффективным за счет доступа к промежуточным результатам работы модели.

🖥 Github: https://github.com/bradyfu/woodpecker

📕 Paper: https://arxiv.org/abs/2310.15110v1

⏩ Demo: https://21527a47f03813481c.gradio.live/

ai_machinelearning_big_data

CS25: Transformers United V3

Новые лекции на курсе по Трансформерам от Стенфорда! На Stanford CS 25 "Transformers United" выступали такие звездные гости, как Андрей Карпаты, Ноам Браун, Лукас Бейер и сам Джефф Хинтон!

Вышел новый доклад, посвящённый созданию и рецептам создания универсальных ИИ-агентов в открытых мирах:

- MineDojo: открытый фреймворк и мультимодальная база данных для обучения агентов Minecraft.
- Voyager: агент для пожизненного обучения в Minecraft на базе LLM.
- Eureka: GPT-4 развивает функции вознаграждения, чтобы научить руку робота крутить ручку.
- VIMA: один из самых ранних мультимодальных LLM с.
- Взгляд в будущее: перспективные направления исследований.

☑️ Slides: https://drive.google.com/file/d/1lWIhijUaTZkkWOC_YwZHMoI0h7EAWVPL/view

📑 Lectures: https://web.stanford.edu/class/cs25

ai_machinelearning_big_data

Masked Space-Time Hash Encoding for Efficient Dynamic Scene Reconstruction

Masked Space-Time Hash (MSTH) - новый метод эффективного восстановления динамических 3D-сцен из многоракурсного видео.

🖥 Github: https://github.com/masked-spacetime-hashing/msth

🤗 HH: https://huggingface.co/datasets/masked-spacetime-hashing/Campus

📕 Paper: https://arxiv.org/abs/2310.17527v1

⏩ Dataset: https://paperswithcode.com/dataset/mip-nerf-360

ai_machinelearning_big_data

☑ PERF: Panoramic Neural Radiance Field from a Single Panorama

PERF - новая систему синтеза 360-градусного обзора, которая генерирует Nerf я на основе одной панорамы.

PERF позволяет осуществлять трехмерное перемещение по сложным сценам без затратного и утомительного сбора изображений.

Многочисленные эксперименты на Replica и новом датасете PERF-in-the-wild демонстрируют превосходство PERF над другими современными методами. Модель подходит для задач преобразование панорамы в 3D, текста в 3D и стилизации 3D-сцен.

🖥 Github: https://github.com/perf-project/PeRF

⚡️Project: https://perf-project.github.io/

📕 Paper: https://arxiv.org/abs/2310.16831v1

⏩ Dataset: https://paperswithcode.com/dataset/replica

https://t.iss.one/ai_machinelearning_big_data

🪄IC|TC: Image Clustering Conditioned on Text Criteria

New methodology for performing image clustering based on user-specified criteria in the form of text by leveraging modern Vision-Language Models and Large Language Models

В данной работе представлена новая методика кластеризации изображений на основе заданных пользователем текстовых описаний с использованием современных моделей "зрение-язык" и больших языковых моделей.

Метод Image Clustering Conditioned on Text Criteria (IC TC), представляет собой новую парадигму кластеризации изображений и требует минимального вмешательства человека и предоставляет пользователю полный контроль над результатами кластеризации. Эксперименты показали, что IC TC может эффективно кластеризовать изображения с различными критериями, такими как действия человека, его физическое местоположение или настроение, значительно превосходя при этом другие решения.

🖥 Github: https://github.com/sehyunkwon/ictc

📕 Paper: https://arxiv.org/pdf/2310.18297v2.pdf

⏩Tasks: https://paperswithcode.com/task/clustering

https://t.iss.one/ai_machinelearning_big_data

Три совета джунам от технических директоров и героев нового выпуска шоу «1х1» 🤓 Это Станислав Макеев и Никита Илясов, которые руководят разработкой в Лавке и Еде.

⬇️ «Образование нужно»
Да, знание уравнений в частных производных вряд ли пригодится на практике, но научит разбираться в сложных темах и строить конструкции в голове.

⬇️ «Слушайте фидбэк»
Для этого рядом нужны более опытные коллеги. В сообществе сильных специалистов вы будете расти быстрее.

⬇️ «Создайте систему знаний»
Она позволит легко вернуться к вещам, которые вам когда-то понравились, и не потерять полезную информацию.

Подписывайтесь 👉 @yandex

🔥 Learning From Mistakes Makes LLM Better Reasoner

LEMA fine-tunes LLMs on mistakecorrection data pairs generated by GPT-4.

Большие языковые модели недавно продемонстрировали замечательные способности к рассуждениям при решении математических задач. Для дальнейшего улучшения этих возможностей в данной работе предлагается метод обучения на ошибках (LeMa), аналогичный процессам обучения человека.

Если взять студента, который не смог решить математическую задачу, для достижения успеха, студент узнает, какую ошибку он допустил и как ее исправить. Имитируя этот процесс обучения, основанный на ошибках, LeMa производит тонкую настройку LLM на парах данных "ошибка-исправление", генерируемых GPT-4.

В частности, сначала собираются неточные пути рассуждений от различных ЛЛМ, а затем используется GPT-4 в качестве "корректора", чтобы (1) определить ошибочный шаг, (2) объяснить причину ошибки, (3) исправить ошибку и сформировать окончательный ответ.

LeMa стабильно улучшает производительность моделей по сравнению с тонкой настройкой и превосходит показатели SOTA, достигнутые другими моделями с открытым исходным кодом на различных сложных задачах.

🖥 Github: https://github.com/microsoft/codet

📕 Paper: https://arxiv.org/pdf/2310.20689v1.pdf

⏩ Dataset: https://paperswithcode.com/dataset/math

@ai_machinelearning_big_data

🔥 Learn from Andrew Ng! Generative AI for Everyone

Instructed by AI pioneer Andrew Ng, Generative AI for Everyone offers his unique perspective on empowering you and your work with generative AI.

Узнайте, как работает генеративный искусственный интеллект в новом бесплатном курсе от легендарного Эндрю Ына. Как использовать ИИ в профессиональной или личной жизни и как он повлияет на работу, бизнес и общество.

Вы познакомитесь с реальными примерами работы ии, изучите типичные кейсы использования, получите возможность практической работы с инструментами генеративного ИИ, чтобы применить полученные знания на практике и получить представление о влиянии ИИ на бизнес и общество.

Этот курс доступен для всех и не предполагает наличия опыта кодинга или работы с искусственным интеллектом.

https://www.deeplearning.ai/courses/generative-ai-for-everyone/

@ai_machinelearning_big_data