ScrapeGraph MCP Server

基本能力

产品定位

ScrapeGraph MCP Server 是一个专为语言模型设计的网页抓取和内容提取工具，通过AI技术提供结构化的网页数据提取和转换服务。

核心功能

• markdownify(website_url: str): 将任何网页转换为干净、结构化的Markdown格式
• smartscraper(user_prompt: str, website_url: str): 利用AI从任何网页提取结构化数据
• searchscraper(user_prompt: str): 执行AI驱动的网络搜索，返回结构化的、可操作的结果

适用场景

• 分析和提取ScapeGraph API的主要特性
• 生成ScapeGraph主页的结构化Markdown版本
• 从ScapeGraph网站提取和分析定价信息
• 研究和总结AI驱动的网页抓取的最新发展
• 创建Python文档网站的综合摘要

工具列表

1. markdownify: 将网页转换为Markdown格式
2. smartscraper: 基于用户提示从网页提取结构化数据
3. searchscraper: 执行AI驱动的网络搜索并返回结构化结果

常见问题解答

• Windows系统连接问题：需要使用特定命令格式
• API认证问题：确保使用正确的API密钥
• URL格式错误：检查URL是否正确
• 网络连接失败：检查网络连接
• 速率限制和配额管理：注意API调用限制

使用教程

使用依赖

需要Python 3.10环境和ScapeGraph API密钥

安装教程

通过Smithery自动安装：

npx -y @smithery/cli install @ScrapeGraphAI/scrapegraph-mcp --client claude

调试方式

更新Claude Desktop配置文件：

{
    "mcpServers": {
        "@ScrapeGraphAI-scrapegraph-mcp": {
            "command": "npx",
            "args": [
                "-y",
                "@smithery/cli@latest",
                "run",
                "@ScrapeGraphAI/scrapegraph-mcp",
                "--config",
                "\"{\\\"scrapegraphApiKey\\\":\\\"YOUR-SGAI-API-KEY\\\"}\""
            ]
        }
    }
}

Windows系统调试命令：

C:\Windows\System32\cmd.exe /c npx -y @smithery/cli@latest run @ScrapeGraphAI/scrapegraph-mcp --config "{\"scrapegraphApiKey\":\"YOUR-SGAI-API-KEY\"}"

许可证

该项目遵循 MIT 开源许可条款，请参阅 MIT 了解完整条款。