MCP Deep Web Research Server (v0.3.0)

MCP Deep Web Research Server (v0.3.0)

site icon
2025.03.06 52
TypeScript网络研究内容提取智能搜索浏览器自动化开发效率
MCP Deep Web Research Server 是一个基于 Model Context Protocol (MCP) 的高级网络研究服务器,旨在通过智能搜索队列、增强内容提取和深度研究能力,将实时信息整合到 Claude 中。它提供了强大的网络研究工具,包括并行搜索、网页内容提取和深度研究功能,适用于需要进行复杂网络研究的场景。
View on GitHub

Overview

基本能力

产品定位

MCP Deep Web Research Server 是一个高级网络研究工具,旨在通过智能搜索队列、增强内容提取和深度研究能力,将实时信息整合到 Claude 中。

核心功能

  1. 智能搜索队列系统
  2. 批量搜索操作与速率限制
  3. 队列管理与进度跟踪
  4. 错误恢复和自动重试
  5. 搜索结果去重

  6. 增强内容提取

  7. 基于 TF-IDF 的相关性评分
  8. 关键词邻近分析
  9. 内容部分加权
  10. 可读性评分
  11. 改进的 HTML 结构解析
  12. 结构化数据提取
  13. 更好的内容清理和格式化

  14. 核心功能

  15. Google 搜索集成
  16. 网页内容提取
  17. 研究会话跟踪
  18. 改进格式的 Markdown 转换

适用场景

  • 复杂网络研究
  • 实时信息整合
  • 内容分析和提取
  • 批量搜索操作

工具列表

  1. deep_research
  2. 执行全面的内容分析研究
  3. 参数包括主题、最大深度、最大分支、超时和最小相关性分数
  4. 返回主要主题、关键见解和来源

  5. parallel_search

  6. 并行执行多个 Google 搜索
  7. 参数包括查询和最大并行数

  8. visit_page

  9. 访问网页并提取其内容
  10. 返回 URL、标题和 Markdown 格式的内容

常见问题解答

  1. 速率限制
  2. 症状:"Too many requests" 错误
  3. 解决方案:增加 SEARCH_DELAY_MS 或减少 MAX_PARALLEL_SEARCHES

  4. 网络超时

  5. 症状:"Request timed out" 错误
  6. 解决方案:确保请求在 60 秒的 MCP 超时内完成

  7. 浏览器问题

  8. 症状:"Browser failed to launch" 错误
  9. 解决方案:确保 Playwright 正确安装 (npx playwright install)

使用教程

使用依赖

  • Node.js >= 18 (包括 npmnpx)
  • Claude Desktop 应用

安装教程

全局安装(推荐)

# 使用 npm 全局安装
npm install -g mcp-deepwebresearch

# 或使用 yarn
yarn global add mcp-deepwebresearch

# 或使用 pnpm
pnpm add -g mcp-deepwebresearch

本地项目安装

# 使用 npm
npm install mcp-deepwebresearch

# 使用 yarn
yarn add mcp-deepwebresearch

# 使用 pnpm
pnpm add mcp-deepwebresearch

Claude Desktop 集成

在安装包后,将以下条目添加到 claude_desktop_config.json 中:

Windows
{
  "mcpServers": {
    "deepwebresearch": {
      "command": "mcp-deepwebresearch",
      "args": []
    }
  }
}

位置:%APPDATA%\Claude\claude_desktop_config.json

macOS
{
  "mcpServers": {
    "deepwebresearch": {
      "command": "mcp-deepwebresearch",
      "args": []
    }
  }
}

位置:~/Library/Application Support/Claude/claude_desktop_config.json

首次设置

安装后,运行以下命令安装所需的浏览器依赖项:

npx playwright install chromium

调试方式

  1. 检查 Claude Desktop 的 MCP 日志: ```bash # 在 macOS 上 tail -n 20 -f ~/Library/Logs/Claude/mcp*.log

# 在 Windows 上 Get-Content -Path "$env:APPDATA\Claude\logs\mcp*.log" -Tail 20 -Wait ```

  1. 启用调试日志: bash export LOG_LEVEL=debug

许可证

该项目遵循 MIT 开源许可条款,请参阅 MIT 了解完整条款。