Web Scout MCP Server
2025.05.11
1
JavaScript网页搜索内容提取隐私保护并行处理搜索工具浏览器自动化
Web Scout MCP Server 是一个基于 DuckDuckGo 搜索引擎的 MCP 服务，专注于网页搜索和内容提取。它提供了快速、隐私保护的网页搜索能力，并能从网页中提取干净、可读的文本内容。该服务支持并行处理多个 URL，具有智能内存管理和请求限速功能，确保稳定运行。
View on GitHub
Overview
基本能力
产品定位
Web Scout MCP Server 是一个专注于网页搜索和内容提取的 MCP 服务，旨在提供高效、隐私保护的网页信息获取工具。
核心功能
- DuckDuckGo 搜索：快速且隐私保护的网页搜索能力
- 内容提取：从网页中提取干净、可读的文本内容
- 并行处理：支持同时从多个 URL 提取内容
- 内存优化：智能内存管理，防止应用崩溃
- 请求限速：智能请求限速，避免 API 被封锁
- 错误处理：健壮的错误处理，确保可靠运行
适用场景
- 快速获取网页搜索结果
- 从多个网页中提取文本内容
- 需要隐私保护的网页搜索
- 批量处理网页内容
工具列表
- DuckDuckGoWebSearch：使用 DuckDuckGo 搜索引擎进行网页搜索，返回结构化的搜索结果列表。
- 输入：
query（搜索查询字符串），maxResults（可选，默认 10） -
输出：格式化搜索结果，包含标题、URL 和摘要
-
UrlContentExtractor：从网页中提取干净、可读的内容，去除脚本、样式和导航等不必要元素。
- 输入：单个 URL 或 URL 数组
- 输出：指定 URL 的提取文本内容
常见问题解答
- Node.js 版本要求：需要 Node.js >= 18.0.0
- 许可证：MIT 许可证
使用教程
使用依赖
- Node.js >= 18.0.0
- npm 或 yarn
安装教程
全局安装
npm install -g @pinkpixel/web-scout-mcp
本地安装
npm install @pinkpixel/web-scout-mcp
使用方式
命令行
全局安装后运行：
web-scout-mcp
与 MCP 客户端一起使用
在 MCP 客户端的 config.json 中添加：
{
"mcpServers": {
"web-scout": {
"command": "npx",
"args": [
"-y",
"@pinkpixel/web-scout-mcp"
]
}
}
}
调试方式
开发模式
# 克隆仓库
git clone https://github.com/pinkpixel-dev/web-scout-mcp.git
cd web-scout-mcp
# 安装依赖
npm install
# 构建
npm run build
# 运行
npm start