Firecrawl MCP Server

基本能力

产品定位

Firecrawl MCP Server 是一个专注于网页抓取和内容提取的服务，旨在为开发者提供强大的网页数据处理能力。

核心功能

• 网页抓取与爬取
• 内容提取与搜索
• 批量处理与速率限制
• JavaScript 渲染支持
• URL 发现与爬取
• 自动重试与指数退避
• 信用使用监控
• 全面的日志系统
• 支持云和自托管实例
• 移动/桌面视口支持
• 智能内容过滤

适用场景

• 数据分析和挖掘
• 内容聚合和生成
• 市场研究和竞争分析
• 自动化测试和监控
• 学术研究和信息收集

工具列表

1. Scrape Tool (firecrawl_scrape): 从单个 URL 抓取内容，支持多种选项。
2. Batch Scrape Tool (firecrawl_batch_scrape): 高效抓取多个 URL，内置速率限制和并行处理。
3. Check Batch Status (firecrawl_check_batch_status): 检查批量操作的状态。
4. Search Tool (firecrawl_search): 搜索网络并提取搜索结果内容。
5. Crawl Tool (firecrawl_crawl): 启动异步爬取，支持高级选项。
6. Extract Tool (firecrawl_extract): 使用 LLM 能力从网页提取结构化信息。

常见问题解答

• 如何配置自托管实例？ 使用 FIRECRAWL_API_URL 环境变量指定自定义 API 端点。
• 如何处理速率限制？ 服务自动处理速率限制，支持配置重试策略。
• 如何监控信用使用？ 通过 FIRECRAWL_CREDIT_WARNING_THRESHOLD 和 FIRECRAWL_CREDIT_CRITICAL_THRESHOLD 设置警告和关键阈值。

使用教程

使用依赖

• Node.js 环境
• npm 或 npx

安装教程

使用 npx 运行

env FIRECRAWL_API_KEY=fc-YOUR_API_KEY npx -y firecrawl-mcp

手动安装

npm install -g firecrawl-mcp

在 Cursor 中运行

1. 打开 Cursor 设置
2. 转到 Features > MCP Servers
3. 点击 "+ Add New MCP Server"
4. 输入以下信息：
5. Name: "firecrawl-mcp"
6. Type: "command"
7. Command: env FIRECRAWL_API_KEY=your-api-key npx -y firecrawl-mcp

在 Windsurf 中运行

在 ./codeium/windsurf/model_config.json 中添加：

{
  "mcpServers": {
    "mcp-server-firecrawl": {
      "command": "npx",
      "args": ["-y", "firecrawl-mcp"],
      "env": {
        "FIRECRAWL_API_KEY": "YOUR_API_KEY_HERE"
      }
    }
  }
}

调试方式

• 检查日志输出以了解操作状态和错误
• 使用 npm test 运行测试
• 确保环境变量正确设置

配置

必需环境变量

• FIRECRAWL_API_KEY: Firecrawl API 密钥

可选配置

• FIRECRAWL_API_URL: 自托管实例的自定义 API 端点
• FIRECRAWL_RETRY_MAX_ATTEMPTS: 最大重试次数
• FIRECRAWL_RETRY_INITIAL_DELAY: 初始重试延迟
• FIRECRAWL_RETRY_MAX_DELAY: 最大重试延迟
• FIRECRAWL_RETRY_BACKOFF_FACTOR: 指数退避因子
• FIRECRAWL_CREDIT_WARNING_THRESHOLD: 信用警告阈值
• FIRECRAWL_CREDIT_CRITICAL_THRESHOLD: 信用关键阈值

许可证

该项目遵循 MIT 开源许可条款，请参阅 MIT 了解完整条款。