Model Context Protocol (MCP) MSPaint App Automation

Model Context Protocol (MCP) MSPaint App Automation

site icon
2025.04.04 0
Python自动化控制AI 代理绘图工具浏览器自动化开发效率
MSPaint-MCP-Server 是一个基于 Model Context Protocol (MCP) 的项目,旨在通过 AI 代理自动化控制 Windows 应用程序 MSPaint。该项目利用 `pywinauto` 控制 Paint 应用程序,并通过 `fastmcp` 定义工具,供 AI 代理调用。AI 代理(基于 Google 的 Gemini 模型)可以使用这些工具执行诸如绘制矩形和在画布上添加文本等任务。
View on GitHub

Overview

基本能力

产品定位

MSPaint-MCP-Server 是一个用于自动化控制 MSPaint 的工具,通过 AI 代理实现自然语言驱动的交互。

核心功能

  • 自动化控制 MSPaint 应用程序
  • 提供工具如 open_paintdraw_rectangleadd_text_in_paint
  • 通过 MCP 框架与 AI 代理交互

适用场景

  • 自动化绘图任务
  • AI 驱动的交互式应用
  • 开发效率工具

工具列表

  • open_paint: 打开 MSPaint 应用程序
  • draw_rectangle: 在画布上绘制矩形
  • add_text_in_paint: 在画布上添加文本

常见问题解答

  • Permission Issues: 尝试以管理员身份运行脚本
  • Coordinate Issues: 根据屏幕分辨率和窗口大小调整坐标
  • Tool Selection Issues: 检查系统提示和工具描述
  • API Key Issues: 确保 .env 文件中的 Gemini API 密钥正确

使用教程

使用依赖

  • Python 3.11+
  • Conda
  • Google Gemini API key
  • pywin32
  • pywinauto
  • fastmcp
  • python-dotenv
  • google-genai

安装教程

  1. 创建 Conda 环境: bash conda create -n eagenv python=3.11 conda activate eagenv
  2. 安装依赖: bash pip install -r requirements.txt
  3. 设置 Gemini API 密钥:
    • 创建 .env 文件并添加: GEMINI_API_KEY=YOUR_API_KEY

调试方式

  1. 运行 MCP 客户端: bash python mcp_paint_app/mcp_client.py
  2. 检查调试输出以确认工具调用和坐标是否正确。

许可证

该项目遵循 MIT 开源许可条款。