Site Cloner MCP Server
2025.04.19
0
Python网站克隆网站分析资源下载搜索工具开发效率
Site Cloner MCP Server 是一个基于 Model Context Protocol (MCP) 的服务，旨在帮助大型语言模型（如 Claude）克隆网站。它提供了多种工具来获取、分析和下载网站资源，包括 HTML 内容、CSS、JavaScript、图片、字体等。
View on GitHub
Overview
基本能力
产品定位
Site Cloner MCP Server 是一个用于克隆网站的工具，帮助用户快速获取和分析网站内容。
核心功能
- 从任何 URL 获取 HTML 内容
- 从 HTML 内容中提取资源（CSS、JavaScript、图片、字体等）
- 下载单个资源到本地目录
- 解析 CSS 文件以提取链接资源（字体、图片）
- 创建网站的地图
- 分析页面结构和布局
适用场景
- 网站克隆和分析
- 网站内容备份
- 网站结构研究
工具列表
- fetch_page: 获取网页的 HTML 内容
- extract_assets: 从 HTML 内容中提取资源链接
- download_asset: 从 URL 下载资源并保存到指定目录
- parse_css_for_assets: 解析 CSS 内容以提取引用的资源（如字体和图片）
- create_site_map: 从给定 URL 开始创建网站的站点地图
- analyze_page_structure: 分析 HTML 页面的结构并提取关键组件
常见问题解答
- 服务器未在 Cursor 中显示: 重启 Cursor，检查配置文件语法，确保 Docker 已正确安装并运行。
- 模块未找到错误: 检查 pyproject.toml 中的包名是否正确，确保 Python 文件中的导入语句不包含 "src." 前缀。
- 检查 Docker 日志: 使用
docker logs命令查看错误日志。
使用教程
使用依赖
- 需要安装 Docker
安装教程
- 构建 Docker 镜像：
bash docker build -t site-cloner-mcp . - 运行容器：
bash docker run -i --rm site-cloner-mcp - 如需持久存储下载的文件，可以挂载卷：
bash docker run -i --rm -v $(pwd)/downloaded_sites:/app/downloaded_site site-cloner-mcp
调试方式
- 检查 Docker 日志：
bash docker logs $(docker ps -q --filter ancestor=site-cloner-mcp) - 手动运行服务器以查看错误：
bash docker run -i --rm site-cloner-mcp