Scraper.is MCP
2025.03.14
5
TypeScript网页抓取AI 助手集成搜索工具浏览器自动化
Scraper.is MCP 是一个基于 Model Context Protocol (MCP) 的集成工具，专为 Scraper.is 设计，Scraper.is 是一个强大的网页抓取工具，用于 AI 助手。该工具允许 AI 助手通过 MCP 协议抓取网页内容，从而获取最新的网络信息。
View on GitHub
Overview
基本能力
产品定位
Scraper.is MCP 是一个网页抓取工具，专为 AI 助手设计，通过 MCP 协议实现网页内容的抓取和解析。
核心功能
- 🌐 网页抓取：从任何网站提取内容
- 📸 截图功能：捕获网页的视觉表示
- 📄 多格式支持：支持 markdown、HTML 或 JSON 格式的内容获取
- 🔄 进度更新：在抓取操作期间实时报告进度
- 🔌 MCP 集成：与支持 MCP 的 AI 助手无缝集成
适用场景
- AI 助手需要获取最新的网页内容
- 需要从网页中提取结构化数据
- 需要网页截图或特定格式的内容
工具列表
- scrape 工具：允许 AI 从网页中提取内容，支持多种格式（markdown、HTML、screenshot、json、quick）。
常见问题解答
- 需要 Scraper.is API 密钥才能使用该工具。
- 可以通过
.env文件或直接配置 API 密钥。
使用教程
使用依赖
- 需要安装 Node.js 和 npm/yarn。
- 需要 Scraper.is API 密钥。
安装教程
npm install -g scraperis-mcp
或
yarn global add scraperis-mcp
调试方式
npx @modelcontextprotocol/inspector scraperis-mcp
环境设置
创建 .env 文件并添加 API 密钥：
SCRAPERIS_API_KEY=your_api_key_here
Claude Desktop 集成
- 全局安装包。
- 在
claude_desktop_config.json中添加配置。 - 替换 API 密钥并重启 Claude Desktop。
API 参考
scrape 工具
参数：
- prompt (string)：描述要抓取的内容，包括 URL
- format (string)：返回内容的格式（markdown, html, screenshot, json, quick）
示例：
{
"prompt": "Get me the top 10 products from producthunt.com",
"format": "markdown"
}