🔥 EfficientViT: Multi-Scale Linear Attention for High-Resolution Dense Prediction
EfficientViT-SAM - это новое семейство ускоренных моделей Segment Anything Models для задач компьютерного зрения с высоким разрешением. Скорость до 69 раз выше, чем у SAM.
🖥 Github: https://github.com/mit-han-lab/efficientvit
📚 Paper: https://arxiv.org/abs/2205.14756
⏩ Tutorial: https://www.jetson-ai-lab.com/vit/tutorial_efficientvit.html
ai_machinelearning_big_data
EfficientViT-SAM - это новое семейство ускоренных моделей Segment Anything Models для задач компьютерного зрения с высоким разрешением. Скорость до 69 раз выше, чем у SAM.
📚 Paper: https://arxiv.org/abs/2205.14756
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍25❤5🔥4
This media is not supported in your browser
VIEW IN TELEGRAM
⚡️ LGM: Large Multi-View Gaussian Model for High-Resolution 3D Content Creation
Новый фреймворк, предназначенный для создания 3D-моделей высокого разрешения из текстового описания или изображений с одним ракурсом.
🖥 Github: https://github.com/3DTopia/LGM
📚 Paper: https://arxiv.org/abs/2402.05054
🔗 Demo: https://huggingface.co/spaces/ashawkey/LGM
💻 Weights: https://huggingface.co/ashawkey/LGM
⏩ Project: https://me.kiui.moe/lgm/
ai_machinelearning_big_data
Новый фреймворк, предназначенный для создания 3D-моделей высокого разрешения из текстового описания или изображений с одним ракурсом.
📚 Paper: https://arxiv.org/abs/2402.05054
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍19🎉12❤4🔥3⚡1🥰1
🦾 Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models
Новый метод тонкой настройки, названный Self-Play fIne-tuNing (SPIN), в основе которого, лежит механизм самовоспроизведения, в котором LLM совершенствует свои возможности, взаимодейтсвия с экземплярами самого себя и самостоятельно генерирует данные для обучения.
🖥 Github: https://github.com/uclaml/SPIN
📚 Paper: https://arxiv.org/abs/2401.01335
⏩ Project: https://uclaml.github.io/SPIN/
💻 Model: https://huggingface.co/collections/UCLA-AGI/zephyr-7b-sft-full-spin-65c361dfca65637272a02c40
🛡 Dataset: https://huggingface.co/collections/UCLA-AGI/datasets-spin-65c3624e98d4b589bbc76f3a
ai_machinelearning_big_data
Новый метод тонкой настройки, названный Self-Play fIne-tuNing (SPIN), в основе которого, лежит механизм самовоспроизведения, в котором LLM совершенствует свои возможности, взаимодейтсвия с экземплярами самого себя и самостоятельно генерирует данные для обучения.
📚 Paper: https://arxiv.org/abs/2401.01335
💻 Model: https://huggingface.co/collections/UCLA-AGI/zephyr-7b-sft-full-spin-65c361dfca65637272a02c40
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
❤20🔥10👍9
This media is not supported in your browser
VIEW IN TELEGRAM
HASSOD - полностью самоконтролируемый подход для обнаружения и сегментации широкого спектра объектов.
HASSOD демонстрирует значительное преводходство по сравнению с предыдущими современными методами.
📚 Paper: https://arxiv.org/abs/2402.03311
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍14❤7🔥7
🧠 SELF-DISCOVER: Large Language Models Self-Compose Reasoning Structures
Новая стратегия
Уже ывпущено несколько первых реализаций в составе LangChain и LangGraph!
▪Paper: https://arxiv.org/pdf/2402.03620.pdf
▪LangChain example: https://github.com/langchain-ai/langchain/blob/master/cookbook/self-discover.ipynb
▪LangGraph example: https://github.com/langchain-ai/langgraph/blob/main/examples/self-discover/self-discover.ipynb
ai_machinelearning_big_data
Новая стратегия
prompt-flow от Google, которая позволяет LLM "самостоятельно обнаруживать присущие, описанной задаче, структуры рассуждений для решения сложных проблем".Уже ывпущено несколько первых реализаций в составе LangChain и LangGraph!
▪Paper: https://arxiv.org/pdf/2402.03620.pdf
▪LangChain example: https://github.com/langchain-ai/langchain/blob/master/cookbook/self-discover.ipynb
▪LangGraph example: https://github.com/langchain-ai/langgraph/blob/main/examples/self-discover/self-discover.ipynb
ai_machinelearning_big_data
🔥15👍7❤5🥰2
🔥 World Model on Million-Length Video And Language With RingAttention
Новая модель для обработки видео и текста длиной в миллион символов с помощью RingAttention.
В опенсорс выложены 7B-модели, которые способны обрабатывать длинные текстовые документы и видео длиной более 1 млн лексем.
▪Github: https://github.com/LargeWorldModel/LWM
▪Project: https://largeworldmodel.github.io
▪Paper: https://arxiv.org/abs/2402.08268
ai_machinelearning_big_data
Новая модель для обработки видео и текста длиной в миллион символов с помощью RingAttention.
В опенсорс выложены 7B-модели, которые способны обрабатывать длинные текстовые документы и видео длиной более 1 млн лексем.
▪Github: https://github.com/LargeWorldModel/LWM
▪Project: https://largeworldmodel.github.io
▪Paper: https://arxiv.org/abs/2402.08268
ai_machinelearning_big_data
👍27🔥7❤4
This media is not supported in your browser
VIEW IN TELEGRAM
⚡️ Magic-Me: Identity-Specific Video Customized Diffusion
Новый фреймворк для создания видео с конкретным человеком.
С помощью предварительно обученного ID-токена вы можете генерировать любые видеоклипы с заданным персонажем.
В работе представлены ряд управляемых методов генерации и редактирования видео.
▪Github: https://github.com/Zhen-Dong/Magic-Me
▪Colab: https://colab.research.google.com/drive/1gMialn4nkGeDZ72yx1Wob1E1QBgrqeGa
▪Project: https://magic-me-webpage.github.io
▪Paper: arxiv.org/abs/2402.09368
ai_machinelearning_big_data
Новый фреймворк для создания видео с конкретным человеком.
С помощью предварительно обученного ID-токена вы можете генерировать любые видеоклипы с заданным персонажем.
В работе представлены ряд управляемых методов генерации и редактирования видео.
▪Github: https://github.com/Zhen-Dong/Magic-Me
▪Colab: https://colab.research.google.com/drive/1gMialn4nkGeDZ72yx1Wob1E1QBgrqeGa
▪Project: https://magic-me-webpage.github.io
▪Paper: arxiv.org/abs/2402.09368
ai_machinelearning_big_data
👍22🔥8❤3
👨🦱 Awesome Face Recognition
Огромный кураторский список материалов: обнаружение лиц; распознавание; идентификация; верификация; реконструкция; отслеживание; сверхразрешение и размытие; генерация и синтез лиц; замена лиц; защита от подделки; поиск по лицу.
▪Github
ai_machinelearning_big_data
Огромный кураторский список материалов: обнаружение лиц; распознавание; идентификация; верификация; реконструкция; отслеживание; сверхразрешение и размытие; генерация и синтез лиц; замена лиц; защита от подделки; поиск по лицу.
▪Github
ai_machinelearning_big_data
🔥33👍18❤5🥰2🍌2
This media is not supported in your browser
VIEW IN TELEGRAM
⚡️ V-JEPA: The next step toward Yann LeCun’s vision of advanced machine intelligence (AMI)
V-JEPA (шутки в сторону) сегодня выпущен новый метод обучения машин пониманию и моделированию физического мира с помощью просмотра видео.
Эта работа - еще один важный шаг на пути к к видению моделей ИИ, которые используют изученное понимание мира для планирования, рассуждения и выполнения сложных задач.
Модели способны понимать и предсказывать, что происходит в видео, даже при ограниченном объеме информации.
Они обучаются, предсказывая недостающие или непонятные части видео в своем внутреннем пространстве признаков. В отличие от генеративных подходов, которые заполняют недостающие пиксели, этот гибкий подход позволяет до 6 раз повысить эффективность обучения и выборки.
Модели были предварительно обучены на полностью немаркированных данных.
Результаты показывают, что, лучшие модели V-
Эта работа является важной вехой на пути развития машинного интеллекта.
▪Github: https://github.com/facebookresearch/jepa
▪Paper: https://ai.meta.com/research/publications/revisiting-feature-prediction-for-learning-visual-representations-from-video/
▪Blog: https://ai.meta.com/blog/v-jepa-yann-lecun-ai-model-video-joint-embedding-predictive-architecture/
ai_machinelearning_big_data
V-JEPA (шутки в сторону) сегодня выпущен новый метод обучения машин пониманию и моделированию физического мира с помощью просмотра видео.
Эта работа - еще один важный шаг на пути к к видению моделей ИИ, которые используют изученное понимание мира для планирования, рассуждения и выполнения сложных задач.
Модели способны понимать и предсказывать, что происходит в видео, даже при ограниченном объеме информации.
Они обучаются, предсказывая недостающие или непонятные части видео в своем внутреннем пространстве признаков. В отличие от генеративных подходов, которые заполняют недостающие пиксели, этот гибкий подход позволяет до 6 раз повысить эффективность обучения и выборки.
Модели были предварительно обучены на полностью немаркированных данных.
Результаты показывают, что, лучшие модели V-
JEPA достигают 82,0 % на Kinetics-400, 72,2 % на Something-Something-v2 и 77,9 % на ImageNet1K.Эта работа является важной вехой на пути развития машинного интеллекта.
▪Github: https://github.com/facebookresearch/jepa
▪Paper: https://ai.meta.com/research/publications/revisiting-feature-prediction-for-learning-visual-representations-from-video/
▪Blog: https://ai.meta.com/blog/v-jepa-yann-lecun-ai-model-video-joint-embedding-predictive-architecture/
ai_machinelearning_big_data
😁31🔥16👍10❤3🥰1
This media is not supported in your browser
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
OpenAI выпустила технический отчет Sora!
Вот что вам нужно знать о лучшей архитектуре модели преобразования текста в видео.
𝟭. 𝗗𝗮𝘁𝗮 𝗥𝗲𝗽𝗿𝗲𝘀𝗲𝗻𝘁𝗮𝘁𝗶𝗼𝗻: Sora преобразует визуальные данные в пространственно-временные патчи (spacetime patches), подобно токенизации в больших языковых моделях (LLM). Это позволяет масштабировать обучение на разнообразном визуальном контенте.
𝟮. 𝗖𝗼𝗺𝗽𝗿𝗲𝘀𝘀𝗶𝗼𝗻 𝗮𝗻𝗱 𝗣𝗮𝘁𝗰𝗵 𝗘𝘅𝘁𝗿𝗮𝗰𝘁𝗶𝗼𝗻: Видео компрессор уменьшает визуальные данные до сжатого латентного пространства, а затем разбивает его на пространственно-временные патчи. Эти патчи являются строительными блоками для обучения и создания контента.
𝟯. 𝗧𝗿𝗮𝗻𝘀𝗳𝗼𝗿𝗺𝗲𝗿-𝗯𝗮𝘀𝗲𝗱 𝗟𝗲𝗮𝗿𝗻𝗶𝗻𝗴: Sora использует трансформеры для обработки пространственно-временных патчей, эффективно улавливая сложные паттерны и динамику генераций. Этот метод использует способность трансформеров обрабатывать большие наборы данных и различные зависимости.
𝟰. 𝗗𝗶𝗳𝗳𝘂𝘀𝗶𝗼𝗻 𝗣𝗿𝗼𝗰𝗲𝘀𝘀: Диффузия используеся для уточнения зашумленных входных данных в детальные видео. Предсказывая лучшие версии патчей с каждой итерацией, Sora генерирует высококачественные видео, руководствуясь текстовыми промптами.
𝟱. 𝗙𝗹𝗲𝘅𝗶𝗯𝗹𝗲 𝗢𝘂𝘁𝗽𝘂𝘁 𝗚𝗲𝗻𝗲𝗿𝗮𝘁𝗶𝗼𝗻: Благодаря патч-ориентированному подходу Sora генерирует видео различных размеров и форм. Она может настраивать выходной сигнал под конкретные разрешения, соотношения сторон и продолжительность, что делает ее очень адаптируемой.
𝟲. 𝗘𝗺𝗲𝗿𝗴𝗲𝗻𝘁 𝗖𝗮𝗽𝗮𝗯𝗶𝗹𝗶𝘁𝗶𝗲𝘀: Масштабные тренировки Sora привели к появлению свойств, необходимых для генерации качетсвенного 3D-контента и симуляция взаимодействий.
https://openai.com/research/video-generation-models-as-world-simulators
ai_machinelearning_big_data
Вот что вам нужно знать о лучшей архитектуре модели преобразования текста в видео.
𝟭. 𝗗𝗮𝘁𝗮 𝗥𝗲𝗽𝗿𝗲𝘀𝗲𝗻𝘁𝗮𝘁𝗶𝗼𝗻: Sora преобразует визуальные данные в пространственно-временные патчи (spacetime patches), подобно токенизации в больших языковых моделях (LLM). Это позволяет масштабировать обучение на разнообразном визуальном контенте.
𝟮. 𝗖𝗼𝗺𝗽𝗿𝗲𝘀𝘀𝗶𝗼𝗻 𝗮𝗻𝗱 𝗣𝗮𝘁𝗰𝗵 𝗘𝘅𝘁𝗿𝗮𝗰𝘁𝗶𝗼𝗻: Видео компрессор уменьшает визуальные данные до сжатого латентного пространства, а затем разбивает его на пространственно-временные патчи. Эти патчи являются строительными блоками для обучения и создания контента.
𝟯. 𝗧𝗿𝗮𝗻𝘀𝗳𝗼𝗿𝗺𝗲𝗿-𝗯𝗮𝘀𝗲𝗱 𝗟𝗲𝗮𝗿𝗻𝗶𝗻𝗴: Sora использует трансформеры для обработки пространственно-временных патчей, эффективно улавливая сложные паттерны и динамику генераций. Этот метод использует способность трансформеров обрабатывать большие наборы данных и различные зависимости.
𝟰. 𝗗𝗶𝗳𝗳𝘂𝘀𝗶𝗼𝗻 𝗣𝗿𝗼𝗰𝗲𝘀𝘀: Диффузия используеся для уточнения зашумленных входных данных в детальные видео. Предсказывая лучшие версии патчей с каждой итерацией, Sora генерирует высококачественные видео, руководствуясь текстовыми промптами.
𝟱. 𝗙𝗹𝗲𝘅𝗶𝗯𝗹𝗲 𝗢𝘂𝘁𝗽𝘂𝘁 𝗚𝗲𝗻𝗲𝗿𝗮𝘁𝗶𝗼𝗻: Благодаря патч-ориентированному подходу Sora генерирует видео различных размеров и форм. Она может настраивать выходной сигнал под конкретные разрешения, соотношения сторон и продолжительность, что делает ее очень адаптируемой.
𝟲. 𝗘𝗺𝗲𝗿𝗴𝗲𝗻𝘁 𝗖𝗮𝗽𝗮𝗯𝗶𝗹𝗶𝘁𝗶𝗲𝘀: Масштабные тренировки Sora привели к появлению свойств, необходимых для генерации качетсвенного 3D-контента и симуляция взаимодействий.
https://openai.com/research/video-generation-models-as-world-simulators
ai_machinelearning_big_data
🔥41👍18🤯12❤5❤🔥2🥰2👏1
This media is not supported in your browser
VIEW IN TELEGRAM
💃 MagicDance: Realistic Human Dance
Video Generation with Motions & Facial Expressions Transfer
MagicDance - новый эффективный подход к созданию реалистичных видео с движением человека. Инструмент позволяет передавать движения и выражения лица без файнтюнинга, обеспечивая высокое качество генерации🕺.
▪page: https://boese0601.github.io/magicdance/
▪paper: https://arxiv.org/abs/2311.12052
▪code: https://github.com/Boese0601/MagicDance
▪jupyter: https://github.com/camenduru/MagicDance-jupyter
ai_machinelearning_big_data
Video Generation with Motions & Facial Expressions Transfer
MagicDance - новый эффективный подход к созданию реалистичных видео с движением человека. Инструмент позволяет передавать движения и выражения лица без файнтюнинга, обеспечивая высокое качество генерации🕺.
▪page: https://boese0601.github.io/magicdance/
▪paper: https://arxiv.org/abs/2311.12052
▪code: https://github.com/Boese0601/MagicDance
▪jupyter: https://github.com/camenduru/MagicDance-jupyter
ai_machinelearning_big_data
🤣24👍14🔥5❤4
This media is not supported in your browser
VIEW IN TELEGRAM
🧮 OpenMathInstruct-1: A 1.8 Million Math Instruction Tuning Dataset
OpenMathInstruct-1 - это новый синтетический датасет от
> Используются обучающие датасеты
> Для создания ланных используется
> Модель использует текстовые рассуждения + интерпретатор кода при генерации.
> Выпущены
> Лицензия Apache 2.0!
Блестящая работа команды Nvidia AI - 2024 год станет годом синтетических данных и еще более мощных моделей! 🔥
▪Dataset: https://huggingface.co/datasets/nvidia/OpenMathInstruct-1
▪Paper: https://huggingface.co/papers/2402.10176
ai_machinelearning_big_data
OpenMathInstruct-1 - это новый синтетический датасет от
NVIDIA для настройки математических моделей, содержащий 1,8 млн пар "задача-решение".> Используются обучающие датасеты
GSM8K и MATH.> Для создания ланных используется
Mixtral 8x7B.> Модель использует текстовые рассуждения + интерпретатор кода при генерации.
> Выпущены
LLama, CodeLlama, Mistral, Mixtral fine-tunes.> Лицензия Apache 2.0!
Блестящая работа команды Nvidia AI - 2024 год станет годом синтетических данных и еще более мощных моделей! 🔥
▪Dataset: https://huggingface.co/datasets/nvidia/OpenMathInstruct-1
▪Paper: https://huggingface.co/papers/2402.10176
ai_machinelearning_big_data
👍28🔥15❤10
This media is not supported in your browser
VIEW IN TELEGRAM
🦾 Learning to Learn Faster from Human Feedback with Language Model Predictive Control
Новый фреймворк от
▪proj: https://robot-teaching.github.io
▪paper: https://arxiv.org/abs/2402.11450
▪code: https://colab.research.google.com/drive/1YcRN_kklw3cVVJNvgK_IEV6nDce9EJWK
ai_machinelearning_big_data
Новый фреймворк от
Google DeepMind для, управленияя роботомами, с помощью ествественного языка. ▪proj: https://robot-teaching.github.io
▪paper: https://arxiv.org/abs/2402.11450
▪code: https://colab.research.google.com/drive/1YcRN_kklw3cVVJNvgK_IEV6nDce9EJWK
ai_machinelearning_big_data
👍28🔥10❤6