MCP Server for PyAutoGUI
2025.03.29
3
Python桌面自动化AI 交互浏览器自动化
mcp-pyautogui 是一个基于 Model Context Protocol (MCP) 的服务，专门为 PyAutoGUI 提供支持。它允许用户通过 AI 系统或自定义脚本控制鼠标、键盘和屏幕交互，实现桌面自动化任务。该服务通过 stdio 传输运行，提供点击、打字、截图等功能，适用于开发者和 AI 爱好者。
View on GitHub
Overview
基本能力
产品定位
mcp-pyautogui 是一个桌面自动化工具，通过 MCP 协议提供对 PyAutoGUI 的控制，适用于需要自动化鼠标、键盘和屏幕交互的场景。
核心功能
- 控制鼠标移动、点击和拖动
- 模拟键盘输入（单键、文本、快捷键）
- 捕获屏幕截图和获取鼠标位置
- 获取当前操作系统信息
- 一致的错误处理（返回布尔值表示操作是否成功）
适用场景
- 自动化测试
- 桌面任务自动化
- AI 系统与桌面交互
- 开发效率工具
工具列表
click(x, y): 在坐标 (x, y) 处左键点击right_click(x, y): 在坐标 (x, y) 处右键点击move_to(x, y): 在 3 秒内将鼠标移动到坐标 (x, y)drag_to(x, y, duration): 在指定时间内拖动鼠标到 (x, y)type_text(text): 输入指定文本press_key(key): 按下并释放单个键hotkey(keys): 同时按下多个键scroll(amount): 向上或向下滚动指定量take_screenshot(filename): 保存截图到指定文件get_mouse_position(): 获取当前鼠标坐标get_os(): 获取当前操作系统名称double_click(x, y): 在坐标 (x, y) 处双击get_screen_size(): 获取屏幕分辨率pixel_color(x, y): 获取坐标 (x, y) 处的像素颜色
常见问题解答
- 如何安装？ 使用
pip install mcp-pyautogui安装。 - 如何配置？ 在
claude_desktop_config.json文件中添加mcp-pyautogui的路径和参数。 - 如何测试？ 使用类似 "can you click at (200,200) ?" 的命令测试。
使用教程
使用依赖
- Python 3.11+
- 需要授予相关权限
安装教程
pip install mcp-pyautogui
调试方式
运行以下命令确定服务器安装位置：
which mcp-pyautogui
在 claude_desktop_config.json 文件中配置服务器路径和参数：
{
"mcpServers": {
"mcp-pyautogui": {
"command": "/Users/bob/miniconda3/envs/desk/bin/mcp-pyautogui",
"args": [
""
]
}
}
}
测试命令示例：
- 点击 (100, 200):
click(100, 200) - 输入 "hello":
type_text("hello") - 截图:
take_screenshot("screenshot.png") - 获取鼠标位置:
get_mouse_position() - 复制文本:
hotkey("ctrl c") - 获取操作系统:
get_os()