UI Explorer MCP Server

基本能力

产品定位

mcp-ui-explorer 是一个用于 UI 元素探索和交互的 MCP 服务器，旨在帮助开发者分析和自动化 UI 操作。

核心功能

• UI 层次结构探索：扫描和分析屏幕上的所有 UI 元素。
• UI 截图与高亮：可视化 UI 元素的边界和层次结构。
• 鼠标点击控制：基于坐标点击 UI 元素。
• 特定区域探索：聚焦于屏幕的特定部分，如左上角、中心等。

适用场景

• UI 自动化测试：自动化点击和输入操作。
• UI 分析：分析应用程序的 UI 结构和元素属性。
• 屏幕截图与标注：生成带有高亮 UI 元素的截图。

工具列表

• UI Hierarchy Explorer：探索 UI 元素并导出为 JSON/XML 文件。
• UI Element Clicker：从导出的 JSON 层次结构中点击 UI 元素。

常见问题解答

• 操作系统要求：仅支持 Windows 操作系统。
• Python 版本要求：需要 Python 3.10 或更高版本。
• 依赖库：需要 PyAutoGUI、PyWinAuto、Pillow 和 Pydantic 2.0+。

使用教程

使用依赖

确保已安装以下依赖库：

pip install pyautogui pywinauto pillow pydantic

安装教程

选项 1：使用 pip（推荐）

pip install mcp-ui-explorer

选项 2：使用 git clone

1. 克隆仓库：

git clone https://github.com/modularflow/mcp-ui-explorer
cd mcp-ui-explorer

1. 安装包：
2. 使用 pip 开发模式： bash pip install -e .
3. 或使用 uv（推荐开发）： bash uv venv source .venv/bin/activate # Windows: .venv\Scripts\activate uv pip install -e .

调试方式

运行 MCP 服务器：

uvx mcp-ui-explorer

使用命令行工具探索 UI 元素：

python -m mcp_ui_explorer.hierarchical_ui_explorer --region "screen" --control-type "Button" --highlight-levels

点击 UI 元素：

python -m mcp_ui_explorer.ui_hierarchy_click --json "ui_hierarchy_20240501_123456.json" --type "Button" --text "Submit"

许可证

该项目遵循 MIT 开源许可条款，请参阅 MIT 了解完整条款。