
Vision Test - MCP Server for Mobile Automation

2025.05.02
0
Kotlin移动自动化设备管理应用管理浏览器自动化
Vision Test 是一个平台无关的移动自动化接口,使大型语言模型(LLMs)和代理能够与原生移动应用程序和设备进行交互。目前支持 Android 设备(模拟器和物理设备),并计划支持 iOS 设备。
View on GitHub
Overview
产品定位
Vision Test 是一个 MCP(模型上下文协议)服务器,为 AI 代理和大型语言模型提供与移动设备交互的标准化方式。
核心功能
- 设备管理:检测和与连接的 Android 设备交互
- 应用管理:列出已安装的应用、获取详细的应用信息并启动应用
- 健壮的错误处理:全面的异常框架,带有描述性错误消息和代码
- 性能优化:设备列表缓存以减少 ADB 命令开销
- 重试逻辑:对不稳定的设备操作进行指数退避的自动重试
- 结构化响应:格式化的、人类可读的设备和应用信息输出
适用场景
- 移动设备自动化测试
- AI 代理与移动设备的交互
- 多设备管理和应用部署
工具列表
- available_device:返回第一个可用 Android 设备的详细信息
- list_apps:列出连接设备上所有已安装的应用程序
- info_app:返回特定应用程序的格式化信息
- launch_app:在设备上启动一个应用
常见问题解答
- ERR_NO_DEVICE:没有可用的 Android 设备
- ERR_CMD_FAILED:命令执行失败
- ERR_PKG_NOT_FOUND:设备上未找到包
- ERR_APP_INFO:检索应用信息时出错
- ERR_APP_LIST:列出应用时出错
- ERR_TIMEOUT:操作超时
- ERR_INVALID_ARG:提供了无效的参数
- ERR_ADB_INIT:ADB 初始化失败
- ERR_UNKNOWN:未知错误
使用教程
使用依赖
- JDK 11 或更高版本
- Kotlin 1.6+
- Android 平台工具:包含用于设备通信的 Android 调试桥(ADB)
- 下载 Android 平台工具
- 将 platform-tools 目录添加到系统 PATH 中
- 连接的 Android 设备或模拟器:启用开发者选项和 USB 调试
- 支持 MCP 的基础模型或代理:
- Claude MCP
- OpenAI Agent SDK
- Copilot Studio
- 任何实现模型上下文协议的 LLM 或代理
安装教程
- 设置 Android 平台工具
- 下载 Android 平台工具
- 解压下载的 zip 文件
- 将
platform-tools
目录添加到系统 PATH 中 -
在终端中运行
adb version
验证安装 -
配置 Android 设备
- 启用开发者选项(在设置 > 关于手机中点击版本号 7 次)
- 在开发者选项中启用 USB 调试
-
通过 USB 连接设备并在设备上接受调试提示
-
设置 Vision Test 项目
bash git clone https://github.com/yourusername/vision-test.git cd vision-test ./gradlew build
-
设置 MCP Claude Desktop
- 下载并安装支持 MCP 的 Claude Desktop
- 在 Claude Desktop 设置中启用 "External MCP Tools"
- 添加 Vision Test 服务器作为工具提供者
- 设置连接参数以使用 Vision Test 服务器
调试方式
-
运行服务器
bash ./gradlew run
-
连接 Claude Desktop
- 启动 Vision Test 服务器
- 打开 Claude Desktop
- 在对话中访问 Android 设备工具
- Claude 将能够使用
available_device
、list_apps
等命令