Можно управлять телефоном через обычный текст: пусть AI сам смотрит на экран, нажимает кнопки и выполняет задачи. Но текущие инструменты автоматизации либо требуют писать скрипты, либо умеют только жёстко заданные сценарии.

Один разработчик выложил в open source проект PhoneDriver. Он работает на визуальной модели Qwen3-VL, умеет понимать, что на экране телефона, и имитировать действия человека.

Достаточно просто описать задачу, например: "Открой настройки и включи Wi-Fi". Модель сама анализирует элементы интерфейса и через команды ADB выполняет клики, свайпы или ввод текста.

Есть визуальный веб-интерфейс: можно в реальном времени смотреть скриншоты с телефона и логи выполнения.

Также поддерживается автоопределение разрешения экрана, плюс можно настраивать параметры модели, задержку действий, число ретраев и т.д.

Для деплоя в основном нужны Python и окружение ADB. Ещё нужна видеокарта с достаточным объёмом VRAM, чтобы тянуть 4B или 8B визуальную модель, а на телефоне должен быть включён USB Debugging.

Если хочется пощупать, как AI-агент реально рулит физическим устройством, или есть задачи по автотестам, проект точно стоит попробовать.

📁 Language: #Python100.0%

⭐️ Stars: 840

➡️ Cсылка на GitHub

📱 @git_developer