Firecrawl MCP Server
2025.02.13
2
TypeScript网页抓取内容搜索站点爬取数据提取搜索工具开发效率
Firecrawl MCP Server 是一个基于 Model Context Protocol (MCP) 的服务，专注于网页抓取、内容搜索、站点爬取和数据提取。它利用 Firecrawl API 提供强大的网络内容处理能力，适用于需要从网页中提取结构化数据的各种场景。
View on GitHub
Overview
基本能力
产品定位
Firecrawl MCP Server 是一个专业的网页内容抓取和处理工具，旨在帮助开发者高效地从网页中提取、搜索和处理数据。
核心功能
- 网页抓取：支持从任何网页提取内容，包括移动设备模拟、广告拦截、内容过滤和结构化数据提取。
- 内容搜索：提供智能搜索功能，支持多语言和基于位置的结果。
- 站点爬取：高级爬取功能，包括深度控制、路径过滤和速率限制。
- 站点地图生成：生成站点结构地图，支持子域和链接分析。
- 数据提取：从多个 URL 提取结构化数据，支持批量处理和自定义提取提示。
适用场景
- 数据挖掘和分析
- 内容聚合和监控
- 站点结构分析和优化
- 自动化测试和开发
工具列表
- npm：用于安装和管理依赖。
- Firecrawl API：提供网页抓取和数据处理的核心能力。
- dotenv：用于环境变量管理。
常见问题解答
- 如何获取 API Key：从 Firecrawl 开发者门户获取。
- 如何设置环境变量：支持多种操作系统和开发环境。
- 错误处理：提供详细的错误消息和调试日志。
使用教程
使用依赖
确保已安装 Node.js 和 npm。
安装教程
# 全局安装
npm install -g @modelcontextprotocol/mcp-server-firecrawl
# 本地项目安装
npm install @modelcontextprotocol/mcp-server-firecrawl
调试方式
- 设置 API Key：
bash export FIRECRAWL_API_KEY=your-api-key - 运行服务器：
bash mcp-server-firecrawl - 使用开发模式：
bash npm run dev