Vision Test - MCP Server for Mobile Automation

Vision Test - MCP Server for Mobile Automation

site icon
2025.05.02 0
Kotlin移动自动化设备管理应用管理浏览器自动化
Vision Test 是一个平台无关的移动自动化接口,使大型语言模型(LLMs)和代理能够与原生移动应用程序和设备进行交互。目前支持 Android 设备(模拟器和物理设备),并计划支持 iOS 设备。
View on GitHub

Overview

产品定位

Vision Test 是一个 MCP(模型上下文协议)服务器,为 AI 代理和大型语言模型提供与移动设备交互的标准化方式。

核心功能

  • 设备管理:检测和与连接的 Android 设备交互
  • 应用管理:列出已安装的应用、获取详细的应用信息并启动应用
  • 健壮的错误处理:全面的异常框架,带有描述性错误消息和代码
  • 性能优化:设备列表缓存以减少 ADB 命令开销
  • 重试逻辑:对不稳定的设备操作进行指数退避的自动重试
  • 结构化响应:格式化的、人类可读的设备和应用信息输出

适用场景

  • 移动设备自动化测试
  • AI 代理与移动设备的交互
  • 多设备管理和应用部署

工具列表

  • available_device:返回第一个可用 Android 设备的详细信息
  • list_apps:列出连接设备上所有已安装的应用程序
  • info_app:返回特定应用程序的格式化信息
  • launch_app:在设备上启动一个应用

常见问题解答

  • ERR_NO_DEVICE:没有可用的 Android 设备
  • ERR_CMD_FAILED:命令执行失败
  • ERR_PKG_NOT_FOUND:设备上未找到包
  • ERR_APP_INFO:检索应用信息时出错
  • ERR_APP_LIST:列出应用时出错
  • ERR_TIMEOUT:操作超时
  • ERR_INVALID_ARG:提供了无效的参数
  • ERR_ADB_INIT:ADB 初始化失败
  • ERR_UNKNOWN:未知错误

使用教程

使用依赖

  1. JDK 11 或更高版本
  2. Kotlin 1.6+
  3. Android 平台工具:包含用于设备通信的 Android 调试桥(ADB)
  4. 下载 Android 平台工具
  5. 将 platform-tools 目录添加到系统 PATH 中
  6. 连接的 Android 设备或模拟器:启用开发者选项和 USB 调试
  7. 支持 MCP 的基础模型或代理
  8. Claude MCP
  9. OpenAI Agent SDK
  10. Copilot Studio
  11. 任何实现模型上下文协议的 LLM 或代理

安装教程

  1. 设置 Android 平台工具
  2. 下载 Android 平台工具
  3. 解压下载的 zip 文件
  4. platform-tools 目录添加到系统 PATH 中
  5. 在终端中运行 adb version 验证安装

  6. 配置 Android 设备

  7. 启用开发者选项(在设置 > 关于手机中点击版本号 7 次)
  8. 在开发者选项中启用 USB 调试
  9. 通过 USB 连接设备并在设备上接受调试提示

  10. 设置 Vision Test 项目 bash git clone https://github.com/yourusername/vision-test.git cd vision-test ./gradlew build

  11. 设置 MCP Claude Desktop

  12. 下载并安装支持 MCP 的 Claude Desktop
  13. 在 Claude Desktop 设置中启用 "External MCP Tools"
  14. 添加 Vision Test 服务器作为工具提供者
  15. 设置连接参数以使用 Vision Test 服务器

调试方式

  1. 运行服务器 bash ./gradlew run

  2. 连接 Claude Desktop

  3. 启动 Vision Test 服务器
  4. 打开 Claude Desktop
  5. 在对话中访问 Android 设备工具
  6. Claude 将能够使用 available_devicelist_apps 等命令

许可证

该项目遵循 MIT 开源许可条款,请参阅 MIT 了解完整条款。