Fetch MCP Server

Fetch MCP Server

site icon
2025.02.14 1
Python网页抓取内容转换LLMs 支持开发效率内容生成
Fetch MCP Server 是一个基于 Model Context Protocol 的服务,专门用于从网页获取内容并将其转换为易于处理的 Markdown 格式。该服务使 LLMs(大型语言模型)能够高效地检索和处理网页内容,支持分块读取以优化信息提取。
View on GitHub

Overview

基本能力

产品定位

Fetch MCP Server 是一个专注于网页内容抓取和转换的服务,旨在为 LLMs 提供高效的内容获取和处理能力。

核心功能

  1. 网页内容抓取:从指定 URL 获取网页内容。
  2. 内容转换:将 HTML 转换为 Markdown 格式,便于后续处理。
  3. 分块读取:支持通过 start_index 参数分块读取内容,优化信息提取效率。
  4. 自定义长度:通过 max_length 参数控制返回内容的长度。
  5. 原始内容获取:支持获取未经转换的原始内容(通过 raw 参数)。

适用场景

  1. LLMs 内容处理:为大型语言模型提供网页内容抓取和转换服务。
  2. 信息提取:从网页中提取特定信息,支持分块读取以提高效率。
  3. 内容生成:将网页内容转换为 Markdown 格式,便于后续生成任务。

工具列表

  • fetch:从网页抓取内容并转换为 Markdown 格式。
  • 参数:
    • url(必填):要抓取的 URL。
    • max_length(可选):返回内容的最大长度(默认:5000)。
    • start_index(可选):从指定字符索引开始提取内容(默认:0)。
    • raw(可选):获取未经转换的原始内容(默认:false)。

常见问题解答

  1. 如何分块读取网页内容?
  2. 使用 start_index 参数指定起始位置,分块读取内容。
  3. 如何获取原始内容?
  4. 设置 raw=true 以获取未经转换的原始内容。

使用教程

使用依赖

  1. 可选依赖:安装 Node.js 以使用更强大的 HTML 简化工具。

安装教程

使用 uv(推荐)

无需单独安装,直接通过 uvx 运行 mcp-server-fetch

使用 PIP

通过 pip 安装 mcp-server-fetch

pip install mcp-server-fetch

调试方式

安装完成后,可通过以下命令测试服务是否正常运行:

mcp-server-fetch --help

许可证

该项目遵循 MIT 开源许可条款,请参阅 MIT 了解完整条款。