🌟 ShowUI-2B: VLM для взаимодействия с графическими интерфейсами.

ShowUI-2B - VLM на базе Qwen2-VL-2B, которая оптимизирована для взаимодействия с GUI. Она обладает глубоким пониманием пользовательских интерфейсов и навигации по ним на веб- и мобильных платформах.

Модель обрабатывает комбинацию визуальных и текстовых данных для создания соответствующих действий GUI. Она интерпретирует скриншоты и текстовые инструкции для определения точек и последовательности взаимодействия.

В качестве входных данных ShowUI-2B может принимать: скриншоты интерфейсов,
текстовые инструкции (или запросы), системные промпты, определяющие области действия и
последовательности действий.

Результат инференса модели: координаты расположения элементов пользовательского интерфейса [x,y], действия (щелчок, ввод, выбор и т.д.), значения для ввода текста и
целевые позиции для взаимодействия.

Для мобильных интерфейсов ShowUI-2B обрабатывает касания, свайпы и ввод текста.

Прикладные сферы применения :

🟢Автоматизированное тестирование интерфейса;
🟢Агенты автоматизации задач;
🟢Интерактивные учебные пособия и системы рекомендаций;
🟢UX\UI-задачи приложений и веб-сайтов.

ShowUI-2B продемонстрировала высокую эффективность в задачах zero-shot grounding (75.1% точности) и навигации по GUI на различных платформах (Web, Mobile, Online).

⚠️ Модель поддерживает интеграцию с Computer Use OOTB, проектом Desktop GUI Agent, который позволяет управлять действиями на PC с помощью LLM, запущенной локально или через API.

▶️Установка и запуск с GradioUI:

# Clone the Repository
git clone https://github.com/showlab/ShowUI.git
cd ShowUI

# Install Dependencies
pip install -r requirements.txt

# Start the GradioUI
python app.py

# Go to local URL:  https://127.0.0.1:7860

📌Лицензирование: MIT License.


🟡Модель
🟡Demo
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #VLM #ShowUI

👩‍💻 Kanji Dojo — это приложение с открытым исходным кодом, предназначенное для изучения японского языка!

💡 Оно помогает пользователям запоминать написание и чтение символов хираганы, катаканы и кандзи, а также изучать их значения и связанные слова. Приложение поддерживает обучение в соответствии с уровнями JLPT или школьными классами, предоставляет возможность создавать собственные наборы для изучения и использовать систему повторения на основе интервалов (SRS) для эффективного запоминания. Кроме того, Kanji Dojo включает встроенный словарь для поиска символов и слов, а также режимы обучения с помощью карточек и написания слов. Приложение работает в офлайн-режиме, что позволяет использовать его без постоянного подключения к интернету.

🔐 Лицензия: GPL-3.0

🖥 Github

@mobdevelop