Firecrawl MCP Server
2025.04.16
82000
JavaScript网页抓取数据处理自动化工具开发效率内容生成
Firecrawl MCP Server 集成了 Firecrawl 的网页抓取能力。它提供了丰富的网页抓取、爬取、搜索、提取和深度研究功能，支持批量处理和自动重试机制，适用于需要从网页中提取和处理数据的场景
View on GitHub
Overview
基本能力
产品定位
Firecrawl MCP Server 是一个专注于网页抓取和数据处理的服务，通过集成 Firecrawl 的能力，提供高效的网页内容提取和分析功能。
核心功能
- 网页抓取与 JS 渲染
- URL 发现与爬取
- 网页搜索与内容提取
- 批量抓取与自动重试（指数退避）
- 信用额度监控
- 全面的日志系统
- 支持云和自托管实例
- 移动/桌面视口支持
- 智能内容过滤
适用场景
- 数据采集与分析
- 网页内容提取
- 批量网页处理
- 深度网页研究
- 自动化测试与监控
工具列表
- Scrape Tool (
firecrawl_scrape): 从单个 URL 抓取内容，支持高级选项。 - Batch Scrape Tool (
firecrawl_batch_scrape): 高效抓取多个 URL，内置速率限制和并行处理。 - Check Batch Status (
firecrawl_check_batch_status): 检查批量操作的状态。 - Search Tool (
firecrawl_search): 搜索网页并提取内容。 - Crawl Tool (
firecrawl_crawl): 启动异步爬取，支持高级选项。 - Extract Tool (
firecrawl_extract): 使用 LLM 能力从网页中提取结构化信息。 - Deep Research Tool (
firecrawl_deep_research): 进行深度网页研究，结合爬取、搜索和 LLM 分析。 - Generate LLMs.txt Tool (
firecrawl_generate_llmstxt): 为给定域名生成标准化的 llms.txt 文件。
常见问题解答
- 如何获取 API Key? 可以在 https://www.firecrawl.dev/app/api-keys 创建账户并获取 API Key。
- 如何配置自托管实例? 设置
FIRECRAWL_API_URL环境变量为自托管实例的端点。 - 如何处理速率限制? 服务内置自动重试和指数退避机制。
使用教程
使用依赖
确保已安装 Node.js 和 npm。
安装教程
通过 npx 运行
env FIRECRAWL_API_KEY=fc-YOUR_API_KEY npx -y firecrawl-mcp
手动安装
npm install -g firecrawl-mcp
在 Cursor 中运行
- 打开 Cursor 设置
- 转到 Features > MCP Servers
- 添加新的 MCP Server
- 输入名称和命令
在 Windsurf 中运行
在 ./codeium/windsurf/model_config.json 中添加配置。
调试方式
运行服务后，可以通过日志查看操作状态和错误信息。
npx -y firecrawl-mcp
检查日志输出以确认服务正常运行。