Computer Use AI SDK

Computer Use AI SDK

site icon
2025.04.04 157
Rust计算机控制自动化工具AI代理浏览器自动化开发效率
MCP-server-client-computer-use-ai-sdk 是一个开源的计算机控制SDK,旨在通过AI代理自动化控制计算机操作。它提供了原生macOS支持,无需虚拟机,可以直接与任何应用程序或网站交互。该SDK基于桌面渲染元素而非像素识别,因此速度更快、可靠性更高。核心功能包括启动应用、读取内容、点击、输入文本和按键操作等。适用于构建自定义工作流、自动化计算机任务以及开发用户友好的自动化界面。
View on GitHub

Overview

基本能力

产品定位

MCP-server-client-computer-use-ai-sdk 是一个用于自动化控制计算机的开源SDK,特别适合构建AI代理和工作流自动化工具。

核心功能

  • 启动应用程序
  • 读取屏幕内容
  • 模拟鼠标点击
  • 输入文本
  • 模拟按键操作

适用场景

  • 构建自定义工作流自动化
  • 开发用户友好的计算机自动化界面
  • 创建定时运行的自动化任务
  • 与其他MCP服务器结合实现复杂功能

工具列表

  1. CLI接口:用于调试和直接控制
  2. Web应用接口:提供更友好的用户界面
  3. 后端服务器:处理核心自动化逻辑

常见问题解答

  • 需要设置ANTHROPIC_API_KEY环境变量
  • 需要安装Rust和Node.js环境
  • 目前仅原生支持macOS系统

使用教程

使用依赖

# Install Rust (if not already installed)
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
# Install Node.js and npm (if not already installed)
# Visit https://nodejs.org/ or use nvm

安装教程

git clone https://github.com/m13v/computer-use-ai-sdk.git
cd MCP-server-client-computer-use-ai-sdk

# 运行后端服务器
cd mcp-server-os-level
cargo run --bin server

调试方式

CLI接口调试

cd mcp-client-cli-interface
npm install
export ANTHROPIC_API_KEY=sk-ant-xxxx
npx tsx main.ts

Web应用调试

cd mcp-client-nextjs
npm install
echo "ANTHROPIC_API_KEY=sk-ant-XXXXXXXX" > .env
npm run dev

许可证

None