URL Fetch MCP

URL Fetch MCP

site icon
2025.03.19 0
PythonURL 获取网络内容访问开发效率
URL Fetch MCP 是一个基于 Model Context Protocol (MCP) 的实现,允许 Claude 或任何大型语言模型 (LLM) 从 URL 获取内容。它支持多种内容类型(HTML、JSON、文本、图像),并提供了对请求参数(如头部、超时)的控制,以及清晰的错误处理机制。该服务适用于需要从网络获取内容的各种场景,如数据抓取、API 调用、图像获取等。
View on GitHub

Overview

基本能力

产品定位

URL Fetch MCP 是一个用于从 URL 获取内容的工具,旨在为大型语言模型提供网络内容访问能力。

核心功能

  • 从任何 URL 获取内容
  • 支持多种内容类型(HTML、JSON、文本、图像)
  • 控制请求参数(头部、超时)
  • 清晰的错误处理
  • 兼容 Claude Code 和 Claude Desktop

适用场景

  • 数据抓取和分析
  • API 调用和数据获取
  • 图像获取和处理
  • 网络内容检索和格式化

工具列表

  1. fetch_url: 从 URL 获取内容并返回为文本
  2. 参数: url (必需), headers (可选), timeout (可选)
  3. fetch_image: 从 URL 获取图像并返回为图像
  4. 参数: url (必需), timeout (可选)
  5. fetch_json: 从 URL 获取 JSON 数据并格式化返回
  6. 参数: url (必需), headers (可选), timeout (可选)

常见问题解答

  • 如何安装?
  • 提供多种安装方法,包括直接安装、使用安装脚本和 CLI 命令
  • 如何运行?
  • 支持 stdio 和 HTTP+SSE 两种传输方式
  • 如何测试?
  • 提供直接测试和简化测试脚本

使用教程

使用依赖

# 确保已安装 Python 和 pip
python --version
pip --version

安装教程

# 从源代码安装
pip install -e .

# 安装开发依赖
pip install -e ".[dev]"

运行服务器

# 使用 stdio 传输(适用于 Claude Code)
python -m url_fetch_mcp run

# 使用 HTTP+SSE 传输(适用于远程连接)
python -m url_fetch_mcp run --transport sse --port 8000

在 Claude Desktop 中安装

方法 1: 直接安装

# 安装包
pip install -e .

# 使用包含的脚本在 Claude Desktop 中安装
mcp install url_fetcher.py -n "URL Fetcher"

方法 2: 使用安装脚本

# 安装包
pip install -e .

# 运行安装脚本
python scripts/install_desktop.py

方法 3: 使用 CLI 命令

# 安装包
pip install -e .

# 使用内置 CLI 命令安装
python -m url_fetch_mcp install-desktop

调试方式

# 直接测试 URL 获取
python direct_test.py

# 使用简化测试脚本测试 MCP 服务器
python examples/quick_test.py

许可证

该项目遵循 MIT 开源许可条款,请参阅 MIT 了解完整条款。