Data MCP Server
2025.04.24
0
TypeScript网页抓取结构化数据提取浏览器代理浏览器自动化开发效率
Data MCP Server 是一个基于 Model Context Protocol (MCP) 的服务，主要用于网页抓取、结构化数据提取和网页爬取。它还提供了对通用浏览器代理（如 OpenAI 的 CUA、Anthropic 的 Claude Computer Use 和 Browser Use）的便捷访问。该服务适用于需要自动化网页操作、数据提取和浏览器代理集成的场景。
View on GitHub
Overview
基本能力
产品定位
Data MCP Server 是一个用于网页抓取、结构化数据提取和浏览器代理集成的服务。
核心功能
- 网页抓取：提取格式化内容（如 Markdown、截图等）。
- 网页爬取：通过多个链接页面导航并提取适合 LLM 的格式化内容。
- 结构化数据提取：将混乱的 HTML 转换为结构化的 JSON。
- 搜索功能：使用 Bing 搜索查询网络并获取结果。
- 浏览器代理：支持多种浏览器代理，包括 Browser Use 代理、OpenAI 的 CUA 模型和 Claude Computer Use。
- 配置文件管理：创建、删除和列出持久性 Data 配置文件。
适用场景
- 自动化网页数据提取和爬取。
- 浏览器自动化任务。
- 结构化数据转换和处理。
- 集成多种浏览器代理进行复杂任务。
工具列表
scrape_webpage：从任何网页提取格式化内容。crawl_webpages：通过多个链接页面导航并提取内容。extract_structured_data：将 HTML 转换为结构化 JSON。search_with_bing：使用 Bing 搜索查询网络。browser_use_agent：轻量级浏览器自动化。openai_computer_use_agent：使用 OpenAI 的 CUA 模型进行通用自动化。claude_computer_use_agent：使用 Claude Computer Use 进行复杂浏览器任务。create_profile：创建新的持久性 Data 配置文件。delete_profile：删除现有的持久性 Data 配置文件。list_profiles：列出现有的持久性 Data 配置文件。
常见问题解答
- 如何安装 Data MCP Server？
- 可以通过
npx data-mcp <YOUR-DATA-API-KEY>安装。 - 如何配置 Cursor 或 Windsurf？
- 在
~/.cursor/mcp.json或./codeium/windsurf/model_config.json中添加相应的配置。 - 如何开发？
- 克隆仓库、安装依赖、构建并运行
node dist/server.js。
使用教程
使用依赖
- 需要安装 Node.js 和 npm/yarn。
安装教程
- 手动安装：
bash npx data-mcp <YOUR-DATA-API-KEY> - 开发安装：
sh git clone [email protected]:NexusX-MCP/data-mcp-server.git data-mcp cd data-mcp npm install npm run build node dist/server.js - 通过 Smithery 安装：
bash npx -y @smithery/cli install @data-mcp --client claude
调试方式
- 运行服务器后，可以通过客户端工具（如 Claude Desktop）进行调试。
- 检查日志和配置文件是否正确。