MCP Webscan Server

基本能力

产品定位

MCP Webscan Server 是一个专门用于网页内容扫描和分析的工具，旨在帮助用户高效地获取和处理网页信息。

核心功能

• 页面抓取：将网页转换为 Markdown 格式，便于分析
• 链接提取：从网页中提取并分析链接
• 站点爬取：递归爬取网站内容
• 链接检查：识别网页中的失效链接
• 模式匹配：查找符合特定模式的 URL
• 站点地图生成：为网站生成 XML 站点地图

适用场景

• 网页内容分析
• 网站链接检查
• 网站内容爬取
• 站点地图生成
• 网页数据提取

工具列表

1. fetch_page：抓取网页并转换为 Markdown
2. extract_links：提取网页中的所有链接及其文本
3. crawl_site：递归爬取网站内容
4. check_links：检查网页中的失效链接
5. find_patterns：查找符合特定模式的 URL
6. generate_sitemap：生成 XML 站点地图

常见问题解答

• 错误处理：服务器实现了全面的错误处理，包括无效参数、网络错误、内容解析错误和 URL 验证
• 开发模式：支持开发模式，便于调试

使用教程

使用依赖

• Node.js >= 18
• npm

安装教程

# 克隆仓库
git clone <repository-url>
cd mcp-server-webscan

# 安装依赖
npm install

# 构建项目
npm run build

调试方式

# 启动服务器
npm start

# 开发模式
npm run dev

许可证

该项目遵循 MIT 开源许可条款。