
Fetch MCP Server

2025.02.14
1
Python网页抓取内容转换LLMs 支持开发效率内容生成
Fetch MCP Server 是一个基于 Model Context Protocol 的服务,专门用于从网页获取内容并将其转换为易于处理的 Markdown 格式。该服务使 LLMs(大型语言模型)能够高效地检索和处理网页内容,支持分块读取以优化信息提取。
View on GitHub
Overview
基本能力
产品定位
Fetch MCP Server 是一个专注于网页内容抓取和转换的服务,旨在为 LLMs 提供高效的内容获取和处理能力。
核心功能
- 网页内容抓取:从指定 URL 获取网页内容。
- 内容转换:将 HTML 转换为 Markdown 格式,便于后续处理。
- 分块读取:支持通过
start_index
参数分块读取内容,优化信息提取效率。 - 自定义长度:通过
max_length
参数控制返回内容的长度。 - 原始内容获取:支持获取未经转换的原始内容(通过
raw
参数)。
适用场景
- LLMs 内容处理:为大型语言模型提供网页内容抓取和转换服务。
- 信息提取:从网页中提取特定信息,支持分块读取以提高效率。
- 内容生成:将网页内容转换为 Markdown 格式,便于后续生成任务。
工具列表
- fetch:从网页抓取内容并转换为 Markdown 格式。
- 参数:
url
(必填):要抓取的 URL。max_length
(可选):返回内容的最大长度(默认:5000)。start_index
(可选):从指定字符索引开始提取内容(默认:0)。raw
(可选):获取未经转换的原始内容(默认:false)。
常见问题解答
- 如何分块读取网页内容?
- 使用
start_index
参数指定起始位置,分块读取内容。 - 如何获取原始内容?
- 设置
raw=true
以获取未经转换的原始内容。
使用教程
使用依赖
- 可选依赖:安装 Node.js 以使用更强大的 HTML 简化工具。
安装教程
使用 uv(推荐)
无需单独安装,直接通过 uvx
运行 mcp-server-fetch
。
使用 PIP
通过 pip 安装 mcp-server-fetch
:
pip install mcp-server-fetch
调试方式
安装完成后,可通过以下命令测试服务是否正常运行:
mcp-server-fetch --help