VASA-1: Прорыв в генерации реалистичных видео с виртуальными персонажами

Исследователи из Microsoft Research Asia представили новый фреймворк VASA-1 для генерации реалистичных говорящих лиц виртуальных персонажей на основе одного статического изображения и аудиозаписи речи.
Ключевые особенности VASA-1:
- Точная синхронизация движений губ с аудио
- Реалистичная мимика лица, отражающая широкий спектр эмоций и нюансов
- Естественные движения головы
- Генерация видео высокого качества (512x512) в режиме реального времени (до 40 кадров/с) с минимальной задержкой
Основные инновации включают целостную модель генерации динамики лица и движений головы в скрытом пространстве, а также разработку такого выразительного скрытого пространства с помощью обучения на видео.
Метод значительно превосходит предыдущие подходы по различным показателям и позволяет управлять направлением взгляда, расстоянием до головы и эмоциональной окраской.
VASA-1 демонстрирует хорошую работу на данных, выходящих за рамки обучающей выборки (художественные фото, пение, речь на других языках).
Разделение скрытого представления на внешность, 3D позу головы и динамику лица дает возможность раздельно редактировать эти атрибуты в сгенерированном видео.

#VASA1 #VirtualAvatars #VideoGeneration

Llama 3: передовая открытая языковая модель

Представлена Llama 3 - новое поколение мощных открытых языковых моделей с 8 и 70 миллиардами параметров.
Цель - создать лучшие открытые модели, сравнимые с ведущими проприетарными решениями.
Улучшения: усовершенствованный токенизатор, групповое внимание запросов (GQA), обучение на длинных последовательностях.
Обучение на более 15 триллионах токенов, включая данные на 30+ языках, с масштабированием на 24576 ГПУ H100.
Применена инструкционная настройка с управляемой тонкой настройкой и оптимизацией политики.
Внедрена система ответственного развертывания с инструментами безопасности и доверия.
Llama 3 доступна на всех основных платформах, включая облачных провайдеров и API.
Планируется выпуск более крупных моделей Llama 3 с мультимодальностью, мультиязычностью и длинным контекстным окном.

https://huggingface.co/collections/meta-llama/meta-llama-3-66214712577ca38149ebb2b6

https://llama3.replicate.dev/

Теперь нужно железо, которое это вытащит

#Llama3 #OpenSource #LLM
-------
@tsingular

24тысячи видеокарт по цене 3млн. р каждая примерно. это на круг порядка $1млрд за модель по мощности равной GPT4.
при этом сейчас инвестируют в модели по $100млрд.
пока построят, пока обучат, - пару лет пройдет и будут у нас модели в х100 мощнее.
за это время Альтман таки найдёт свои $7млрд и как раз к 2029му будет у нас ASI.

———
@tsingular

Клодопус умеет красивые штуки в пару запросов делать. :)

Исходник
↑↓ - скорость фона
←→ - скорость движения времени
space - управлять временем :)

#Matrix #Claude #Opus
———
@tsingular

llama-3 gguf
Затестил Meta-Llama-3-8B.Q5_0.gguf в кобольде - полет нормальный. Русский лучше чем в мистрале, но хуже чем в вихре. На интеллект на русском пока не оценивал. И пока не понял, там base или chat версия у llama-3-8b без пометки instruct.

llama-3-8b base or chat?: https://huggingface.co/QuantFactory/Meta-Llama-3-8B-GGUF/tree/main
llama-3-8b instruct: https://huggingface.co/QuantFactory/Meta-Llama-3-8B-Instruct-GGUF/tree/main
llama-3-70b instruct: https://huggingface.co/MaziyarPanahi/Meta-Llama-3-70B-Instruct-GGUF

Воспитание ребенка,- это 18 лет промпт инжиниринга :)

#Musk
------
@tsingular

Reka Core: еще одна мультимодальная модель

Компания Reka AI представила свою самую крупную и высокопроизводительную мультимодальную модель - Reka Core. 🚀
Ключевые характеристики Reka Core:
- Близка по уровню к: GPT-4, Claude-3 Opus и Gemini Ultra
- Превосходные возможности распознавания изображений, видео и аудио 📷🎥🎧
- Контекстное окно - 128K.
- Способности к рассуждению в том числе в математическом анализе и написании кода.
- Предобучена на 32 языках, свободно владеет английским и несколькими азиатскими и европейскими языками 🌍
Доступна по API или локально (через подтверждение у разработчиков в ручном режиме).

Пробовать можно тут без VPN:
https://chat.reka.ai/chat

+1 игрок в копилку.

#RekaAI #MultimodalAI #LanguageModel
-------
@tsingular

NVIDIA форсирует Llama 3

NVIDIA оптимизировала свои платформы для ускорения Llama 3.

Llama 3 обучалась на кластере с 24 576 GPU NVIDIA H100 Tensor Core. Планируется масштабирование до 350 000 GPU H100.

Новые версии Llama 3 доступны в облаке, ЦОД, на периферии и ПК.

Разработчики могут опробовать Llama 3 через ai.nvidia.com.
Бизнес может настраивать модель с помощью NVIDIA NeMo.

Llama 3 работает как на NVIDIA Jetson Orin для роботов и периферийных устройств, так и на GPU NVIDIA RTX.

Сервер NVIDIA HGX с 8 GPU H200 может обслуживать более 2400 пользователей одновременно.

Llama3 в Nvidia Orin - это значит можно уже делать очень разумных роботов самостоятельно.
(Llama 3 8B generated up to 40 tokens/second on Jetson AGX Orin)

#Llama3 #NVIDIA #acceleration
-------
@tsingular

Adobe Express с ИИ Firefly мобильный контент на ходу

Новое мобильное приложение Adobe Express с ИИ Firefly доступно миллионам пользователей.
Оно позволяет быстро создавать качественный контент: посты, видео, флаеры, логотипы и др.
Приложение объединяет инструменты Adobe для фото, дизайна, видео и ИИ в одном редакторе.
Firefly автоматизирует генерацию изображений по тексту, замену фонов, анимацию из аудио, создание субтитров.
Ускоряет публикацию благодаря функциям создания дизайнов, редактирования медиа, планирования постов.
Интегрировано с TikTok, ChatGPT, Kajabi. Синхронизирует рабочие процессы для подписчиков Creative Cloud.

Мобильное приложение «всё в одном» для создания контента. Маркетинг оценит :).

#AdobeExpress #Firefly #ContentCreation
-------
@tsingular

Новые "ИИ тигры" Китая

Группа китайских стартапов в области ИИ, включая Baichuan, Zhipu AI, Moonshot AI и MiniMax, выделяется как самые перспективные компании, работающие над технологиями, подобными ChatGPT. 🚀

Baichuan (百川智能):
- Разработала собственные ИИ-модели, последняя версия которых превзошла GPT-4 по возможностям работы с китайским языком.
- Привлекла инвестиции от Tencent, Xiaomi и Alibaba Group.
- Основана Ван Сяочуанем, бывшим главой Sogou.

Zhipu AI (智谱 AI):
- Создает фундаментальные модели на базе исследований Университета Цинхуа.
- Привлекла инвестиции от государственных фондов, Alibaba, Tencent, Meituan и венчурных инвесторов.
- Основана Чжан Пэном, выпускником факультета компьютерных наук Университета Цинхуа.

Moonshot AI (Пекин):
- Разработала чат-бот Kimi, способный обрабатывать до 2 млн китайских иероглифов в одном запросе.
- Привлекла инвестиции в размере $1 млрд.

MiniMax (Шанхай):
- Ожидает привлечения инвестиций в размере не менее $600 млн под руководством Alibaba.
- Оценочная стоимость компании превышает $2,5 млрд.

#China #AI #startups
-------
@tsingular

GPTshop.ai - конфигуратор настольного суперкомпьютера GH200

На сайте GPTshop.ai доступен конфигуратор для сборки настольного суперкомпьютера GH200.
Пользователи могут выбирать компоненты, такие как процессор, оперативную память, накопители и графические процессоры.
Цены указаны в долларах США.
Конфигуратор позволяет подобрать оптимальную конфигурацию под свои задачи и бюджет.

Если нужно запустить Llama3 405B локально.

#GPTshop #GH200 #supercomputer #ПК #компьютер

В общем, чтобы попробовать Llama 3 локально без регистрации, смс и VPN достаточно лишь...

обновить LM Studio или скачать, если вы ещё не.
https://lmstudio.ai/

дальше в поиске моделей забиваете
lmstudio llama 3
и качаете на что хватит видеокарты.

результаты вполне приличные для локальной модели.

#LMStuidio #Llama3
———
@tsingular