Website Downloader MCP Server

Website Downloader MCP Server

site icon
2024.12.25 88
JavaScript网站下载离线浏览网站备份其它
Website Downloader MCP Server 是一个用于下载整个网站的工具,使用 wget 实现。它能够保留网站结构并将链接转换为本地可用的形式。
View on GitHub

Overview

基本能力

产品定位

Website Downloader MCP Server 是一个用于下载整个网站的工具,适用于需要离线浏览或备份网站内容的场景。

核心功能

  • 递归下载整个网站(无限深度)
  • 包含所有页面所需的资源(CSS、图片等)
  • 将链接转换为本地可用形式
  • 为文件添加适当的扩展名
  • 限制下载到同一域名
  • 保留网站结构

适用场景

  • 离线浏览网站
  • 网站备份
  • 网站内容分析
  • 网站迁移

工具列表

  • download_website:下载网站的工具,支持以下参数:
  • url(必填):要下载的网站URL
  • outputPath(可选):下载目录,默认为当前目录
  • depth(可选):递归下载的最大深度,默认为无限

常见问题解答

  • 需要安装 wget 作为前置依赖

使用教程

使用依赖

安装 wget

macOS

使用 Homebrew:

brew install wget

Linux (Debian/Ubuntu)

sudo apt-get update
sudo apt-get install wget

Linux (Red Hat/Fedora)

sudo dnf install wget

Windows

  1. 使用 Chocolatey:
choco install wget
  1. 或从以下网址下载二进制文件:https://eternallybored.org/misc/wget/
  2. 下载最新的 wget.exe
  3. 将其放在 PATH 中的目录(例如 C:\Windows\System32)

安装教程

  1. 构建服务器:
npm install
npm run build
  1. 添加到 MCP 设置:
{
  "mcpServers": {
    "website-downloader": {
      "command": "node",
      "args": ["/path/to/website-downloader/build/index.js"]
    }
  }
}

调试方式

使用 download_website 工具下载网站:

{
  "url": "https://example.com",
  "outputPath": "/path/to/output",
  "depth": 2  // 可选:下载最多2层深度
}

许可证

None