На конференции Unreal Fest Seattle 2024 NVIDIA представила новые плагины для Unreal Engine 5 на базе технологии NVIDIA Ace, облегчающие создание и развертывание персонажей MetaHuman с искусственным интеллектом на ПК с ОС Windows. Ace — это набор технологий для создания цифровых людей с речью, интеллектом и анимацией на основе генеративного ИИ.
Разработчики теперь имеют доступ к плагину Audio2Face-3D для создания лицевой анимации на базе ИИ, синхронизирующей движения губ и лица с речью. Плагин доступен в Autodesk Maya и имеет открытый исходный код для создания собственных расширений. Для работы с Maya разработчикам понадобится API-ключ или Audio2Face-3D NIM.
NVIDIA также выпустила пример проекта Unreal Engine 5 с использованием NVIDIA Ace, включающий плагины Audio2Face-3D, Nemotron-Mini 4B Instruct для генерации ответов и RAG для контекстной информации.
NVIDIA утверждает, что разработчики могут создавать базы данных с контекстной информацией для своих проектов, генерировать релевантные ответы с низкой задержкой и управлять лицевой анимацией MetaHuman в Unreal Engine 5.
venturebeat.com
FLUX1.1 [pro] — новая модель генерации изображений, в ней шестикратно ускорен инференс по сравнению с предыдущей FLUX [pro], она получила улучшенное качество генераций и более точное соответствие промптам.
Новая модель доступна в сервисах: Together.ai, Replicate, Fal.ai, Freepik.com
FLUX1.0 [pro] тоже был обновлен и получил с двукратным ускорение генерации.
Новый бета-интерфейс BFL API предоставляет разработчикам и компаниям возможности FLUX. API предлагает расширенные настройки для адаптации выходных данных к конкретным потребностям, включая выбор модели, разрешение изображения и модерацию контента. Документация API.
blackforestlabs.ai
Поскольку нехватка рабочей силы становится серьезной социальной проблемой во многих частях мира, использование промышленных роботов прогрессирует. Однако в сфере услуг, существует множество задач, которые связаны с контактом с людьми и объектами, но движения и силы, возникающие при контакте робота с человеком или объектом, чрезвычайно сложны и их трудно моделировать в среде симуляции.
Для достижения точной работы в этих ситуациях необходимо заранее провести множество пробных испытаний с использованием реальных действий. Для решения этой проблемы Panasonic HD разработала Diffusion Contact Model, которая использует "диффузионную модель", часто используемую при генерации изображений, для обучения роботов.
Diffusion Contact Model моделирует поэтапно усилие, прилагаемое при прикосновении робота к объекту, и может с высокой точностью предсказать усилие, прилагаемое при прикосновении робота к объекту.
Технология Diffusion Contact Model будет представлена на конференции в Абу-Даби 14 октября 2024 года.
Технический отчет на arxiv.
news.panasonic.com
Два студента из Гарварда разработали систему под названием I-XRAY, которая объединяет технологии распознавания лиц, LLM и общедоступные данные, чтобы автоматически получать информацию о людях: имя, профессию и адрес.
Facebook View, приложение, которое поставляется в комплекте с умными очками и подчеркивает ответственность пользователей за соблюдение законодательства о конфиденциальности является явно недостаточной мерой.
engadget.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤15🔥8👍7🤔2
NVLM-1.0-D-72B - первая модель семейства NVLM 1.0 производственного уровня, которое позиционируется как SOTA в задачах "vision-language".
Для достижения SOTA - цели в мультимодальное обучение был включен высококачественный набор данных, предназначенный только для текста, наряду со значительным объемом мультимодальных данных по математике и рассуждениям, что расширило математические и программные возможности во всех модальностях.
Архитектура NVLM 1.0 предполагает 3 варианта исполнения:
Все эти варианты NVLM используют общий визуальный кодер InternViT-6B-448px-V1-5.
Для обработки изображений с высоким разрешением используется динамический подход с высоким разрешением (DHR), при котором изображение разбивается на несколько плиток, каждая из которых кодируется отдельно.
Чтобы повысить эффективность обработки динамических изображений с высоким разрешением в NVLM-D и NVLM-X была разработана конструкция текстового тега плитки. Этот тег добавляется к входной последовательности, чтобы указать начало плитки и ее положение в структуре мозаики. Так генеративные модели лучше понимают структуру изображения.
Эксперименты показали, что добавление тегов плитки значительно улучшает производительность как в задачах, связанных с мультимодальным мышлением (например, MMMU и MathVista), так и в задачах, связанных с распознаванием текста (ChartQA, DocVQA и OCRBench).
Для оценки NVLM 1.0 использовались 9 эталонных тестов Vision language и четыре текстовых теста. Результаты NVLM 1.0 оказались сопоставимыми с результатами ведущих проприетарных и общедоступных моделей, как в задачах на взаимодействие зрения и языка, так и в задачах, ориентированных только на текст.
Разработчики подготовили файл сборки необходимого окружения в Dockerfile для запуска и примеры кода для инференса, использования нескольких GPU и загрузки модели.
@ai_machinelearning_big_data
#AI #ML #MMLM #NVLM #NVIDIA
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥20👍12❤7😁1
RevAI, лидер в области профессиональной транскрипции английской речи выпустила в открытый доступ фреймdорк Reverb и набор моделей для построения конвейера speech-to-text.
Reverb включает в себя: модель ASR на базе WeNet и 2 версии модели диаризации речи. Весь паплайн Reverb можно запускать как на CPU, так и на GPU.
Reverb ASR обучалась на 200 000 часов английской речи, профессионально транскрибированной людьми — это самый большой корпус транскрибированной человеком речи, когда-либо использовавшийся для обучения модели с открытым исходным кодом.
Она позволяет контролировать уровень дословности выходного транскрипта для создания чистого, удобочитаемого текста и справляется с обработкой аудио, требующего транскрипции каждого произнесенного слова, включая запинания и перефразирования.
Reverb ASR использует совместную архитектуру CTC/attention и поддерживает несколько режимов декодирования. Указать один или несколько режимов можно в
recognize_wav.py. Для каждого режима будут созданы отдельные выходные каталоги. Варианты декодирования: В оценке Reverb ASR использовались три корпуса длинных аудиозаписей: Rev16 (подкасты), Earnings21 и Earnings22 (телефонные разговоры).
Reverb ASR значительно превосходит конкурентов в тестовых наборах ASR для длинных форм, особенно в Earnings22, где в основном речь носителей английского языка не как родного.
Для традиционного бенчмаркинга использовался GigaSpeech, Reverb ASR запускался в дословном режиме на скриптах оценки Hugging Face Open ASR Leaderboard. По их результатам Reverb ASR значительно превосходит конкурентов в тестовых наборах ASR для длинных форм.
Reverb diarization v1 использует архитектуру pyannote 3.0 и имеет 2 слоя LSTM со скрытым размером 256, всего около 2,2 млн параметров, а Reverb diarization v2 использует WavLM вместо функций SincNet в базовой модели pyannote 3.0.
Обе модели диаризации прошли донастройку на 26 000 часах данных с экспертной разметкой.
⚠️ Для локальной установки понадобится Huggingface API KEY
@ai_machinelearning_big_data
#AI #ML #ASR #Diarization #REVAI
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥19👍8❤6
Проект на Github, который предлагает запуск LLM на графических ускорителях AMD с помощью Docker-контейнера. Образ разработан для работы с моделями из Hugging Face, в первую очередь с семейством моделей LLama.
Для запуска необходимо иметь GPU AMD с поддержкой ROCm (версии 5.4.2 и выше) и установленный Docker.
Для адаптации логики инференса под свои нужды, внесите соответствующие изменения в файл
run_inference.py с последующей пересборкой Docker-образа.В проекте предусмотрен файл
Aptfile, содержащий список необходимых пакетов ROCm (rocm-dev, rocm-libs, rocm-cmake, miopen-hip и rocblas) , устанавливаемых в Docker-контейнере.# Clone repo:
git clone https://github.com/yourusername/amd-gpu-inference.git
cd amd-gpu-inference
# Make the run script executable:
chmod +x run-docker-amd.sh
# Run the inference engine with a specified model and prompt:
# Replace "meta-llama/Llama-2-7b-chat-hf" with the HF model you want to use, and provide your own prompt
./run-docker-amd.sh "meta-llama/Llama-2-7b-chat-hf" "Prompt"
@ai_machinelearning_big_data
#AI #ML #LLM #ROCm #AMD
Please open Telegram to view this post
VIEW IN TELEGRAM
👍24❤10🔥10
BrainChip анонсировала Akida Pico — нейроморфный процессор с энергопотреблением всего 1 мВт, предназначенный для устройств с ограниченным питанием: смартфоны, носимая электроника и умные устройства.
Akida Pico имитирует работу мозга, обмениваясь электрическими импульсами (спайками) вместо традиционных логических цепей. Чип включает нейронный процессор, блоки обработки событий, SRAM для хранения весов модели, блоки прямого доступа к памяти и дополнительные периферийные устройства. В некоторых случаях он может работать автономно.
BrainChip разработала архитектуры моделей ИИ, оптимизированные для минимального энергопотребления, снижая потребление энергии в пять раз по сравнению с традиционными моделями на обычных микропроцессорах. Akida Pico может использоваться для голосовой активации, шумоподавления в наушниках, AR-очках и слуховых аппаратах.
spectrum.ieee.org
Gemini Live запускает поддержку генеративного ИИ-помощника на более чем 40 языках. Инструмент позволит общаться на двух языках на одном устройстве, и в разработке находится дальнейшее расширение одновременно поддерживаемых языков.
Многоязычная поддержка также будет работать с интеграцией Gemini для других приложений и сервисов Google: Google Календарь, Задачи, Keep и Утилиты.
Установить предпочитаемые языки в приложении Android: «Настройки» > «Google Ассистент» > «Языки» и выберите первый предпочитаемый язык. Для второго языка есть опция «Добавить язык».
О планах по выпуску Gemini Live для iPhone не сообщалось.
engadget.com
В MIT CSAIL разработали метод Message-Passing Monte Carlo (MPMC), основанный на GNN, которые позволяют точкам самооптимизироваться и достигать лучшей равномерности для решения сложных многомерных задач. GNN преобразуют случайные выборки, минимизируя L2-расхождение, что позволяет MPMC создавать наборы точек, подходящие для конкретных приложений.
В вычислительных финансах MPMC может улучшить результаты в задачах ценообразования опционов и оценки рисков, а в робототехнике - помочь в планировании пути и движении для оптимальной навигации роботов.
news.mit.edu
CharacterAi решила отказаться от разработки больших языковых моделей и сосредоточиться на улучшении потребительской платформы. Это решение было принято после сделки с Google, в рамках которой интернет-гигант приобрел единовременную лицензию на технологию CharacterAi.
Рост затрат на обучение моделей усложнил конкуренцию с Google, Microsoft, OpenAI и Amazon. Компания решила сконцентрироваться на создании масштабируемой платформы чат-ботов, аудитория которой, по оценкам, насчитывает более 20 миллионов активных пользователей в месяц.
Несмотря на уход основателей и сокращение амбиций в области разработки моделей, компания с оптимизмом смотрит в будущее благодаря финансированию от Google.
btimesonline.com
BM Research и NASA совместно разработали Prithvi WxC – модель глубокого обучения для прогнозирования погоды и моделирования климата с 2,3 млрд. параметров и 160 переменными из набора данных MERRA-2.
Модель использует трансформерную архитектуру для обработки долгосрочных зависимостей, комбинацию локальных и глобальных механизмов внимания для обработки больших объемов данных и эффективного захвата пространственно-временных закономерностей.
Prithvi WxC обучается с помощью комбинированной функции цели, которая объединяет задачи маскированной реконструкции и прогнозирования, что повышает ее универсальность в различных приложениях, включая прогнозирование с авторегрессионным развертыванием и оценку экстремальных погодных явлений.
Arxiv | Модель на HF | Проект на Github
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍39❤7🔥2🥱1
Depth Pro - базовая модель для метрической монокулярной оценки глубины по по одному изображению в режиме zero-shot. Она позволяет синтезировать Hi-Res карты глубины с высокой точностью определения границ объектов, воспроизводя их форму, расположение и абсолютный масштаб без использования метаданных камеры.
Архитектура модели основана на применении энкодеров ViT к фрагментам изображения, извлеченным в нескольких масштабах.
Используются два кодировщика ViT: фрагментный энкодер, обрабатывающий блоки изображения для изучения масштабно-инвариантных представлений и энкодер изображения, фиксирующий предсказания в глобальном контексте.
Модель работает с фиксированным разрешением 1536x1536 пикселей, а каждый из модулей ViT - 384x384 пикселей.
Для обучения используются 5 целевых функций (LMAE, LMSE, LMAGE, LMALE и LMSGE ) на основе канонической обратной глубины и применяется двухэтапный план обучения. Набор данных состоит из 43 датасетов.
Первый этап учит обобщающим признакам, основанным на смеси реальных и синтетических данных, а второй — повышению резкости границ на синтетических данных с точной информацией о глубине.
Модель показала высокую точность на различных наборах данных (Booster, ETH3D, Middlebury, nuScenes, Sintel и Sun-RGBD91011) .
Depth Pro превзошла другие методы по точности оценки фокусного расстояния на наборах данных DDDP, FiveK, PPR10K, RAISE, SPAQ и ZOOM.
Скорость инференса, замеренная в тестировании - 0,3 секунды на генерацию карты глубины 2,25-мегапиксельного изображения.
# setting up a venv:
conda create -n depth-pro -y python=3.9
conda activate depth-pro
pip install -e .
# Download pretrained checkpoints:
source get_pretrained_models.sh
# Run the inference from CLI on a single image:
depth-pro-run -i ./data/example.jpg
# Running from python
from PIL import Image
import depth_pro
model, transform = depth_pro.create_model_and_transforms()
model.eval()
image, _, f_px = depth_pro.load_rgb(image_path)
image = transform(image)
prediction = model.infer(image, f_px=f_px)
depth = prediction["depth"] # Depth in [m].
focallength_px = prediction["focallength_px"] # Focal length in pixels.
@ai_machinelearning_big_data
#AI #ML #ViT #Depth #Apple
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥39👍18❤7🥰1
Платформа с открытым исходным кодом, предназначенная для бенчмаркинга геномных фундаментальных моделей.
PocketDTA - модель для предсказания drag-target affinity (DTA), использующая трехмерную структурную информацию о лекарстве и целевом материале.
ZODIAC разработан для помощи кардиологам в диагностике клинически значимых аритмий с использованием данных пациентов, собранных в реальных условиях.
PROEDIT - методика обучения с техникой с "забыванием знаний" (knowledge unlearning) для выборочного удаления информации из предварительно обученной языковой модели белка для прогнозирования эффекта мутации.
ReXplain (Radiology eXplanation) - система на основе ИИ, которая генерирует понятные для пациентов видеоотчеты по результатам рентгенологических исследований.
Методология оценки медицинских аргументов, сгенерированных LLM, основанная на прокси-задачах и ранжировании. Позволяет точнее сопоставить результаты с критериями оценки человека и преодолеть типичные галлюцинации в LLM, используемых в качестве оценщиков.
MVSF-AB - метод, основанный на машинном обучении, который использует информацию о последовательности антитела и антигена для точного предсказания аффинности связывания.
Метод построения математических моделей биологических систем с использованием данных и нейронных сетей.
@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
❤20🔥8👍5😁2
trl-X - метод, который позволяет управлять структурой и внешним видом изображений, создаваемых диффузионными моделями без необходимости дополнительного обучения или использования инструкций.
Ctrl-X предлагает управляемую генерацию, разделяя ее на две основные составляющие: сохранение пространственной структуры и семантически-осведомленный перенос стиля.
Для управления структурой используется прямая инъекция признаков сверточных слоев и карт внимания из входного изображения, который задает структуру.
Для переноса внешнего вида c входного источника применяется метод, основанный на статистике признаков, который учитывает пространственное соответствие между исходным и генерируемым изображениями.
Анализ карт внимания позволяет выявить семантические соответствия между ними и перенести стилистические характеристики с учетом их пространственного расположения.
Метод Ctrl-X не привязан к конкретным моделям и может применяться к любым диффузионным моделям T2I (текст-изображение) и T2V (текст-видео).
Программная реализация Ctrl-X на модели Stable Diffusion XL 1.0 поддерживает запуск с Gradio UI и инференс в CLI.
В обоих типах запуска Ctrl-X (Gradio и CLI) предусмотрена возможность оптимизации потребления VRAM : ключи запуска
cpu_offload и disable_refiner.Примерная утилизация VRAM для Gradio с использованием оптимизации выглядит следующим образом:
# Clone the repository
git clone https://github.com/genforce/ctrl-x.git
# Create Conda environment
conda env create -f environment.yaml
conda activate ctrlx
# Run Gradio Demo
python app_ctrlx.py
# or run CLI inference
python run_ctrlx.py \
--structure_image assets/images/horse__point_cloud.jpg \
--appearance_image assets/images/horse.jpg \
--prompt "a photo of a horse standing on grass" \
--structure_prompt "a 3D point cloud of a horse"
@ai_machinelearning_big_data
#AI #ML #Diffusers #CtrlX
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍34❤9🔥9🥱2