Scrappey MCP Server

基本能力

产品定位

Scrappey MCP Server 是一个用于网页自动化和数据抓取的中间件服务，旨在简化与 Scrappey.com 平台的交互过程。

核心功能

• 会话管理：创建和销毁浏览器会话，支持会话持久化以维护状态。
• HTTP 请求：通过 Scrappey 基础设施发送各种 HTTP 请求（GET、POST、PUT、DELETE、PATCH）。
• 浏览器自动化：执行点击、悬停、输入文本、滚动和等待等浏览器操作。
• 反机器人保护处理：自动处理网站的反机器人保护机制。
• 代理支持：支持使用自定义代理服务器。
• 自定义头信息：允许设置自定义 HTTP 头信息。

适用场景

• 网页数据抓取和爬虫开发
• 自动化测试
• 网页交互自动化
• 需要绕过反机器人保护的场景

工具列表

1. scrappey_create_session：创建新的浏览器会话
2. 能力：初始化一个持久化的浏览器会话，可选使用自定义代理
3. scrappey_destroy_session：销毁浏览器会话
4. 能力：正确关闭指定的浏览器会话
5. scrappey_request：发送 HTTP 请求
6. 能力：通过 Scrappey 发送各种 HTTP 请求，支持自定义头信息和 POST 数据
7. scrappey_browser_action：执行浏览器操作
8. 能力：在指定会话中执行一系列浏览器自动化操作

常见问题解答

• 无效会话 ID：确保使用正确的会话 ID 或先创建会话
• 网络超时：检查网络连接或增加超时设置
• 无效选择器：验证 CSS 选择器是否正确
• 反机器人保护失败：可能需要调整请求参数或使用更高级的规避技术

使用教程

使用依赖

1. 从 Scrappey.com 获取 API 密钥
2. 设置环境变量：

export SCRAPPEY_API_KEY=your_api_key_here

安装教程

无需特殊安装步骤，直接通过 API 调用即可使用。

调试方式

1. 创建会话并检查返回的会话 ID

{
  "name": "scrappey_create_session"
}

1. 使用会话 ID 发送测试请求

{
  "name": "scrappey_request",
  "cmd": "request.get",
  "url": "https://example.com",
  "session": "returned_session_id"
}

1. 检查响应状态和数据是否符合预期
2. 执行浏览器操作测试

{
  "name": "scrappey_browser_action",
  "session": "returned_session_id",
  "browserActions": [
    {
      "type": "click",
      "cssSelector": "#test-button"
    }
  ]
}

1. 验证操作是否成功执行

许可证

该项目遵循 MIT 开源许可条款。