✨ Features

✨ Features

site icon
2025.03.06 25
Python网页浏览内容提取浏览器自动化
Web Browser MCP Server 是一个基于 Message Control Protocol (MCP) 的服务,旨在为 AI 助手提供浏览网页、提取内容以及理解网页的能力。它通过简单的 MCP 接口,使 AI 模型能够智能地提取网页内容,支持 CSS 选择器,并具备强大的错误处理能力。
View on GitHub

Overview

✨ 产品定位

Web Browser MCP Server 是一个专为 AI 助手设计的网页浏览和内容提取服务,通过 MCP 协议提供高效的网页内容提取能力。

✨ 核心功能

  • 🎯 智能内容提取:使用 CSS 选择器精确提取目标内容
  • 高性能:基于异步处理,优化性能
  • 📊 丰富的元数据:捕获标题、链接和结构化内容
  • 🛡️ 健壮可靠:内置错误处理和超时管理
  • 🌍 跨平台:支持所有 Python 运行环境

🚀 适用场景

  • AI 助手需要浏览网页并提取特定内容
  • 自动化测试或数据抓取任务
  • 需要结构化网页内容的应用程序

💡 工具列表

browse_webpage

浏览并提取网页内容,支持 CSS 选择器:

# 基本网页抓取
result = await call_tool("browse_webpage", {
    "url": "https://example.com"
})

# 使用 CSS 选择器提取特定内容
result = await call_tool("browse_webpage", {
    "url": "https://example.com",
    "selectors": {
        "headlines": "h1, h2",
        "main_content": "article.content",
        "navigation": "nav a"
    }
})

⚙️ 常见问题解答

  • 如何设置请求超时?:通过环境变量 REQUEST_TIMEOUT 设置,默认为 30 秒。
  • 是否支持跨平台?:是的,支持所有 Python 运行环境。

🛠️ 使用教程

使用依赖

  • Python 3.11+

安装教程

通过 Smithery 安装

npx -y @smithery/cli install web-browser-mcp-server --client claude

手动安装

uv tool install web-browser-mcp-server

开发环境安装

git clone https://github.com/blazickjp/web-browser-mcp-server.git
cd web-browser-mcp-server
uv venv
source .venv/bin/activate
uv pip install -e ".[test]"

调试方式

运行测试套件:

python -m pytest

🔌 MCP 集成

在 MCP 客户端配置文件中添加以下配置:

{
    "mcpServers": {
        "web-browser-mcp-server": {
            "command": "uv",
            "args": [
                "tool",
                "run",
                "web-browser-mcp-server"
            ],
            "env": {
                "REQUEST_TIMEOUT": "30"
            }
        }
    }
}

开发环境配置:

{
    "mcpServers": {
        "web-browser-mcp-server": {
            "command": "uv",
            "args": [
                "--directory",
                "path/to/cloned/web-browser-mcp-server",
                "run",
                "web-browser-mcp-server"
            ],
            "env": {
                "REQUEST_TIMEOUT": "30"
            }
        }
    }
}

许可证

该项目遵循 MIT 开源许可条款,请参阅 MIT 了解完整条款。