
Computer Use AI SDK

2025.04.04
157
Rust计算机控制自动化工具AI代理浏览器自动化开发效率
MCP-server-client-computer-use-ai-sdk 是一个开源的计算机控制SDK,旨在通过AI代理自动化控制计算机操作。它提供了原生macOS支持,无需虚拟机,可以直接与任何应用程序或网站交互。该SDK基于桌面渲染元素而非像素识别,因此速度更快、可靠性更高。核心功能包括启动应用、读取内容、点击、输入文本和按键操作等。适用于构建自定义工作流、自动化计算机任务以及开发用户友好的自动化界面。
View on GitHub
Overview
基本能力
产品定位
MCP-server-client-computer-use-ai-sdk 是一个用于自动化控制计算机的开源SDK,特别适合构建AI代理和工作流自动化工具。
核心功能
- 启动应用程序
- 读取屏幕内容
- 模拟鼠标点击
- 输入文本
- 模拟按键操作
适用场景
- 构建自定义工作流自动化
- 开发用户友好的计算机自动化界面
- 创建定时运行的自动化任务
- 与其他MCP服务器结合实现复杂功能
工具列表
- CLI接口:用于调试和直接控制
- Web应用接口:提供更友好的用户界面
- 后端服务器:处理核心自动化逻辑
常见问题解答
- 需要设置ANTHROPIC_API_KEY环境变量
- 需要安装Rust和Node.js环境
- 目前仅原生支持macOS系统
使用教程
使用依赖
# Install Rust (if not already installed)
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
# Install Node.js and npm (if not already installed)
# Visit https://nodejs.org/ or use nvm
安装教程
git clone https://github.com/m13v/computer-use-ai-sdk.git
cd MCP-server-client-computer-use-ai-sdk
# 运行后端服务器
cd mcp-server-os-level
cargo run --bin server
调试方式
CLI接口调试
cd mcp-client-cli-interface
npm install
export ANTHROPIC_API_KEY=sk-ant-xxxx
npx tsx main.ts
Web应用调试
cd mcp-client-nextjs
npm install
echo "ANTHROPIC_API_KEY=sk-ant-XXXXXXXX" > .env
npm run dev
许可证
None