Fetch MCP Server

Fetch MCP Server

site icon
2025.04.20 92000
JavaScript网页内容抓取HTML转markdown内容生成开发效率
Fetch MCP Server 提供网页内容抓取功能。该服务器使LLMs能够从网页中检索和处理内容,将HTML转换为markdown以便更容易地使用。通过使用`start_index`参数,可以指定从何处开始提取内容,允许模型分块读取网页,直到找到所需的信息。
View on GitHub

Overview

基本能力

产品定位

Fetch MCP Server 是一个专注于网页内容抓取和转换的工具,旨在帮助LLMs更高效地获取和处理网页信息。

核心功能

  • 从互联网抓取URL并将其内容提取为markdown格式。
  • 支持分块读取网页内容,通过start_index参数指定起始位置。
  • 可配置的最大返回字符数、是否获取原始内容等选项。

适用场景

  • LLMs需要从网页中获取信息时。
  • 需要将HTML内容转换为markdown以便于处理时。
  • 需要分块读取大型网页内容时。

工具列表

  • fetch:从互联网抓取URL并将其内容提取为markdown。
  • url(字符串,必需):要抓取的URL。
  • max_length(整数,可选):返回的最大字符数(默认:5000)。
  • start_index(整数,可选):从该字符索引开始内容(默认:0)。
  • raw(布尔值,可选):获取原始内容而不进行markdown转换(默认:false)。

常见问题解答

  • 默认情况下,服务器会遵守网站的robots.txt文件,但可以通过--ignore-robots-txt参数禁用。
  • 用户代理可以根据请求来源进行自定义。
  • 可以通过--proxy-url参数配置代理。

使用教程

使用依赖

可选:安装node.js,这将使fetch服务器使用更健壮的HTML简化器。

安装教程

使用uv(推荐)

无需特定安装,使用uvx直接运行mcp-server-fetch

使用PIP

通过pip安装mcp-server-fetch

pip install mcp-server-fetch

安装后,可以通过以下命令运行:

python -m mcp_server_fetch

调试方式

使用MCP检查器调试服务器。对于uvx安装:

npx @modelcontextprotocol/inspector uvx mcp-server-fetch

或如果已安装特定目录或正在开发:

cd path/to/servers/src/fetch
npx @modelcontextprotocol/inspector uv run mcp-server-fetch

许可证

该项目遵循 MIT 开源许可条款,请参阅 MIT 了解完整条款。