UseScraper MCP Server

基本能力

产品定位

UseScraper MCP Server 是一个专注于网页内容抓取的服务，旨在帮助用户从网页中提取结构化数据。

核心功能

• 提供 scrape 工具，用于从网页提取内容
• 支持参数：
  • url（必填）：要抓取的网页 URL
  • format（可选）：保存内容的格式（text、html、markdown），默认为 markdown
  • advanced_proxy（可选）：使用高级代理绕过机器人检测，默认为 false
  • extract_object（可选）：指定要提取的数据对象

适用场景

• 网页内容抓取和分析
• 数据采集和整理
• 自动化测试和监控

工具列表

• scrape：从网页提取内容，支持多种输出格式

常见问题解答

• 调试建议：由于 MCP 服务器通过 stdio 通信，调试可能具有挑战性，推荐使用 MCP Inspector 进行调试

使用教程

使用依赖

• Node.js 环境

安装教程

通过 Smithery 自动安装

npx -y @smithery/cli install usescraper-server --client claude

手动安装

1. 克隆仓库： bash git clone https://github.com/your-repo/usescraper-server.git cd usescraper-server

2. 安装依赖： bash npm install

3. 构建服务器： bash npm run build

配置

在 Claude Desktop 配置文件中添加服务器配置（路径因操作系统而异）：

{
  "mcpServers": {
    "usescraper-server": {
      "command": "node",
      "args": ["/path/to/usescraper-server/build/index.js"],
      "env": {
        "USESCRAPER_API_KEY": "your-api-key-here"
      }
    }
  }
}

调试方式

使用 MCP Inspector 进行调试：

npm run inspector

许可证

该项目遵循 MIT 开源许可条款，请参阅 MIT 了解完整条款。