Skrape MCP Server

基本能力

产品定位

Skrape MCP Server 是一个专为LLM（大型语言模型）设计的网页内容转换工具，能够将任何网页转换为干净、结构化的Markdown格式，便于LLM直接使用。

核心功能

• 清洁、结构化输出：生成适合LLM使用的格式良好的Markdown。
• 噪音消除：自动去除广告、导航菜单等无关内容。
• 一致格式：确保无论来源如何，网页内容都能统一结构化。
• JavaScript支持：通过渲染JavaScript处理动态内容。
• LLM优化：专为向Claude、GPT等LLM模型提供网页内容设计。

适用场景

• 将网页内容转换为LLM可处理的格式。
• 需要去除网页中无关内容，提取核心信息的场景。
• 处理动态生成的网页内容。

工具列表

• get_markdown：将任何网页转换为LLM就绪的Markdown。
• 功能：接受任何输入URL和可选参数，返回清洁、结构化的Markdown，支持JavaScript渲染，可选JSON响应格式用于高级集成。

常见问题解答

• 如何调试MCP服务器？推荐使用MCP Inspector进行调试。

使用教程

使用依赖

• 需要安装Node.js环境。

安装教程

通过Smithery安装

npx -y @smithery/cli install @skrapeai/skrape-mcp --client claude

手动安装

1. 从skrape.ai获取API密钥。
2. 安装依赖：

npm install

1. 构建服务器：

npm run build

1. 将服务器配置添加到Claude Desktop：
2. MacOS:

nano ~/Library/Application\ Support/Claude/claude_desktop_config.json

• Windows:

notepad %APPDATA%/Claude/claude_desktop_config.json

添加配置（替换路径和API密钥）：

{
  "mcpServers": {
    "skrape": {
      "command": "node",
      "args": ["path/to/skrape-mcp/build/index.js"],
      "env": {
        "SKRAPE_API_KEY": "your-key-here"
      },
    }
  }
}

调试方式

使用MCP Inspector进行调试：

npm run inspector

Inspector将提供一个URL以在浏览器中访问调试工具。

许可证

该项目遵循 MIT 开源许可条款，请参阅 MIT 了解完整条款。