
Model Context Protocol (MCP) MSPaint App Automation

2025.04.04
0
Python自动化控制AI 代理绘图工具浏览器自动化开发效率
MSPaint-MCP-Server 是一个基于 Model Context Protocol (MCP) 的项目,旨在通过 AI 代理自动化控制 Windows 应用程序 MSPaint。该项目利用 `pywinauto` 控制 Paint 应用程序,并通过 `fastmcp` 定义工具,供 AI 代理调用。AI 代理(基于 Google 的 Gemini 模型)可以使用这些工具执行诸如绘制矩形和在画布上添加文本等任务。
View on GitHub
Overview
基本能力
产品定位
MSPaint-MCP-Server 是一个用于自动化控制 MSPaint 的工具,通过 AI 代理实现自然语言驱动的交互。
核心功能
- 自动化控制 MSPaint 应用程序
- 提供工具如
open_paint
、draw_rectangle
和add_text_in_paint
- 通过 MCP 框架与 AI 代理交互
适用场景
- 自动化绘图任务
- AI 驱动的交互式应用
- 开发效率工具
工具列表
open_paint
: 打开 MSPaint 应用程序draw_rectangle
: 在画布上绘制矩形add_text_in_paint
: 在画布上添加文本
常见问题解答
- Permission Issues: 尝试以管理员身份运行脚本
- Coordinate Issues: 根据屏幕分辨率和窗口大小调整坐标
- Tool Selection Issues: 检查系统提示和工具描述
- API Key Issues: 确保
.env
文件中的 Gemini API 密钥正确
使用教程
使用依赖
- Python 3.11+
- Conda
- Google Gemini API key
- pywin32
- pywinauto
- fastmcp
- python-dotenv
- google-genai
安装教程
- 创建 Conda 环境:
bash conda create -n eagenv python=3.11 conda activate eagenv
- 安装依赖:
bash pip install -r requirements.txt
- 设置 Gemini API 密钥:
- 创建
.env
文件并添加:GEMINI_API_KEY=YOUR_API_KEY
- 创建
调试方式
- 运行 MCP 客户端:
bash python mcp_paint_app/mcp_client.py
- 检查调试输出以确认工具调用和坐标是否正确。