⚡️ MotionCtrl: A Unified and Flexible Motion Controller for Video Generation

Новая модель-контроллер движения для генерации видео, который способен самостоятельно управлять сложным движением камеры и движением объектов в генерируемых видео.

🖥 Code: https://github.com/TencentARC/MotionCtrl

🎓 Colab: https://github.com/camenduru/MotionCtrl-colab

🔮 Project Page: https://openxlab.org.cn/apps/detail/camenduru/MotionCtrl

📚 ArXiv: https://arxiv.org/abs/2312.03641

@ai_machinelearning_big_data

🧍‍♂ Perpetual Humanoid Control for Real-time Simulated Avatars

Новая модель, которая позволяет добиться генерации текста в движение в режиме реального времени, используя симуляцию движения человека.

Контроллер, обеспечивает высокую точность имитации движений и восстановления положения при наличии помех и неожиданных падений.


🖥 Code: github.com/ZhengyiLuo/PerpetualHumanoidControl

🎓 Video: https://www.youtube.com/watch?v=zS6Y00EW37A

🔮 Project: https://zhengyiluo.github.io/PHC/

📚 ArXiv: https://arxiv.org/abs/2305.06456

@ai_machinelearning_big_data

🌹4DGen: Grounded 4D Content Generation with Spatial-temporal Consistency

Генерация 4D-контента с пространственно-временной согласованностью!

Пайплайн обеспечивает условное создание 4D, позволяя пользователям задавать геометрию генераци и движение (монокулярные видео), тем самым обеспечивая контроль над созданием контента. #GaussianSplatting #3DGS

🖥 Code: https://github.com/VITA-Group/4DGen

🔮 Project: https://vita-group.github.io/4DGen/

📚 ArXiv: https://arxiv.org/abs/2305.06456

@ai_machinelearning_big_data

✔️ AIJack: Security and Privacy Risk Simulator for Machine Learning

Security and Privacy Risk Simulator for Machine Learning.

AIJack - библиотека с открытым исходным кодом, предназначенная для оценки рисков безопасности и конфиденциальности, связанных с обучением и развертыванием моделей машинного обучения.

На фоне растущего интереса к большим данным и искусственному интеллекту ускоряется прогресс в исследованиях и применения в бизнесе инструментов машинного обучения. Однако недавние исследования выявили потенциальные угрозы, такие как кража обучающих данных и манипулирование моделями со стороны злоумышленников.

Поэтому полное понимание уязвимостей моделей машинного обучения в области безопасности и конфиденциальности имеет решающее значение для безопасной интеграции машинного обучения в реальные проекты.

AIJack призван решить эту задачу, предоставляя библиотеку с различными методами атак и защиты через единый API.

pip install git+https://github.com/Koukyosyumei/AIJack

🖥 Code: https://github.com/Koukyosyumei/AIJack

📚 Paper: https://arxiv.org/abs/2312.17667v1

⚡️ Docs: https://koukyosyumei.github.io/AIJack/

@ai_machinelearning_big_data

🎙OpenVoice: Versatile Instant Voice Cloning

OpenVoice: Универсальное мгновенное клонирование голоса ✨

1. Точное клонирование тональности голоса. OpenVoice может точно клонировать тон голоса и генерировать речь на нескольких языках и акцентах.

2. Гибкое управление стилем голоса. OpenVoice позволяет контролировать стили голоса, такие как эмоции и акцент, а также другие параметры стиля, включая ритм, паузы и интонацию.

3. Кросс-языковое клонирование голоса.

🖥 Code: https://github.com/myshell-ai/OpenVoice

📚 Paper: https://arxiv.org/abs/2312.01479

⚡️ Page: https://research.myshell.ai/open-voice

🌟 Colab: https://github.com/camenduru/OpenVoice-colab

@ai_machinelearning_big_data

🦜 DreamTalk: When Expressive Talking Head Generation Meets Diffusion Probabilistic Models

DreamTalk - это фреймворк для создания выразительных говорящих голов, который может создавать высококачественные видеоролики говорящих голов в различных стилях речи.

DreamTalk демонстрирует высокую производительность при работе с разнообразными исходными данными, включая песни, речь на нескольких языках, зашумленное аудио.

🖥 Code: https://github.com/ali-vilab/dreamtalk

📚 Paper: https://arxiv.org/abs/2312.09767

⚡️ Page: https://dreamtalk-project.github.io

🌟 Colab: https://github.com/camenduru/dreamtalk-colab

@ai_machinelearning_big_data

🦾 Free Course: The Hands-on Reinforcement Learning course 🚀

🔗 Для начинающих вот ссылка на обучаюущую платформу c ЗАДАЧАМИ С НУЛЯ - https://code-basics.com/ru

Обучение с подкреплением — один из способов машинного обучения, в ходе которого испытуемая система обучается, взаимодействуя с некоторой средой.

Это пошаговый практический курс, который поможет вам пройти изучить RL с сымых основ.

💻 Course

🖥 Github

#бесплаьныекурсы

@ai_machinelearning_big_data

🖥 Transformers From Scratch
PYTHON

In this notebook we have built a transformer model based on the Attention Is All You Need paper following along with Andrej Karpathy’s fantastic YouTube video: Let’s build GPT.

В этом блоге показн процесс создания и обучения трансформеров с нуля.

Шаг за шагом рассмотрен каждый основополагающий элемент с объяснением, что происходит на каждом этапе.

Этот блог написан в блокноте Jupyter, который вы можете скачать и использовать для самостоятельного выполнения кода по ходу работы.

📌 Notebook

@ai_machinelearning_big_data

🧠 BakedAvatar: Baking Neural Fields for Real-Time Head Avatar Synthesis

Рендеринг в реальном времени управляемых аватаров с 4D-головой на различных устройствах, включая мобильные.

BakedAvatar использует видеозаписи человека для создания качественных управляемых аватаров.

git clone https://github.com/buaavrcg/BakedAvatar
cd BakedAvatar


🖥 Code: https://github.com/buaavrcg/BakedAvatar

📚 Paper: https://dl.acm.org/doi/10.1145/3618399

⚡️ Page: https://buaavrcg.github.io/BakedAvatar/

@ai_machinelearning_big_data

⚡️ The SwiftInfer project combines StearmingLLM with TesorR-LLM to make the inference efficiency and productivity much higher.

Сегодня состоялся новый большой релиз от команды Colossal-AI!

Они выложили в открытый доступ новый алгоритм SwiftInfer.

Алгоритм позволяет на 46% улучшить производительность LLM!

Этот проект объединяет инновации из двух недавних проектов, таких как StreamingLLM и TensoRT-LLM, чтобы обеспечить лучшую производильность и низкую задержку при выводе LLM.

Как StreamingLLM решает эту проблему

📌 StreamingLLM решает проблему 'attentional sink' (поглощения внимания) , когда начальные лексемы в тексте получают непропорционально большое внимание алгоритма. В традиционных методах, производительность модели значительно снижается, как только эти начальные лексемы исключаются из окна внимания.

StreamingLLM решает эту проблему, обеспечивая постоянное включение этих важных начальных лексем в окно внимания, тем самым стабилизируя генерацию и поддерживая высокое качество без необходимости дополнительной тонкой настройки.

Очень интересный проект!

git clone https://github.com/hpcaitech/SwiftInfer.git
cd SwiftInfer
pip install.

🖥 Github

@ai_machinelearning_big_data

🔥Physics-based Text-to-Motion🔥

InsActor - генеративный фреймворк, использующий последние достижения в области диффузионных моделей движения человека для создания управляемых промптами анимаций персонажей, основанных на физике.

🖥 Code: github.com/jiawei-ren/insactor

📚 Paper: arxiv.org/abs/2312.17135

⚡️ Project: https://jiawei-ren.github.io/projects/insactor/

@ai_machinelearning_big_data

⚡️ SigLIP: a better CLIP model

SigLIP от Google теперь доступен в 🤗 Transformers!

Он улучшает CLIP с помощью функции сигмоидальной потери.

SOTA для пары изображение в текст и наоборот.

🖥 Github: https://github.com/NielsRogge/Transformers-Tutorials/blob/master/SigLIP/Inference_with_(multilingual)_SigLIP%2C_a_better_CLIP_model.ipynb

📚 Paper: https://arxiv.org/abs/2303.15343

⚡️HF: https://huggingface.co/docs/transformers/main/en/model_doc/siglip

@ai_machinelearning_big_data

💊 AMIE: A research AI system for diagnostic medical reasoning and conversations

149 актеров, играющих пациентов, общались в прямом эфире с одним из 20 врачей, отобранных для теста и новым медицинским LLM от Google, AMIE.

После врачи-специалисты и пациенты оценивали качество обслуживания. AMIE обошел врачей.

💡 Blog: https://blog.research.google/2024/01/amie-research-ai-system-for-diagnostic_12.html

📚 Paper: https://arxiv.org/abs/2401.05654

@ai_machinelearning_big_data

🖼️ DDColor: Towards Photo-Realistic Image Colorization via Dual Decoders 🔥

DDColor - инструмент для естественной колоризации изображений.

Обширные эксперименты показывают, что DDColor превосходит все существующие современные разработки на бенчмарках.

🖥 Code: github.com/piddnad/DDColor

📚 Paper: arxiv.org/abs/2212.11613

🌟 Colab: https://github.com/camenduru/DDColor-colab

@ai_machinelearning_big_data

🔉 MAGNeT: Masked Audio Generation using a Single Non-Autoregressive Transformer

Мощная система преобразования текста в звук от FAIR.

И да, она с открытым исходным кодом.

🖥 Code: https://github.com/facebookresearch/audiocraft/blob/main/docs/MAGNET.md#api

🚀 HF: https://huggingface.co/collections/facebook/magnet-659ef0ceb62804e6f41d1466

📚 Paper: https://arxiv.org/abs/2401.04577

🌟 Project: https://pages.cs.huji.ac.il/adiyoss-lab/MAGNeT/

⚛️ Datasets: https://github.com/facebookresearch/audiocraft/blob/main/docs/DATASETS.md

@ai_machinelearning_big_data

📐 AlphaGeometry: An Olympiad-level AI system for geometry

Deepmind представили AlphaGeometry: систему искусственного интеллекта, которая решает олимпиадные задачи по геометрии на уровне, приближающемся к уровню золотого медалиста.
Система была обучена исключительно на синтетических данных и знаменует собой прорыв ИИ в области математики.

🖥 Code: https://github.com/google-deepmind/alphageometry

🚀 Deepmind: https://deepmind.google/discover/blog/alphageometry-an-olympiad-level-ai-system-for-geometry/

📚 Paper: https://www.nature.com/articles/s41586-023-06747-5

@ai_machinelearning_big_data

💃 (Moore) Animate Anyone: Consistent and Controllable Image-to-Video Synthesis for Character Animation

Animate Anyone: новая модель синтеза изображения в видео для качественно анимации персонажей.

🖥 Code: https://github.com/MooreThreads/Moore-AnimateAnyone

🚀 Colab: github.com/camenduru/Moore-AnimateAnyone-colab

📚 Paper: arxiv.org/abs/2311.17117

🌟 Project: humanaigc.github.io/animate-anyone/

@ai_machinelearning_big_data

🖥 Introducing ASPIRE for selective prediction in LLMs

Google представили ASPIRE - фреймворк, который расширяет возможности предсказания больших языковых моделей, позволяя им выдавать ответ в паре с оценкой уверенности.

Узнайте, почему он превосходит современные методы на различных наборах данных QA.

https://blog.research.google/2024/01/introducing-aspire-for-selective.html

@ai_machinelearning_big_data