
✨ Features

2025.03.06
25
Python网页浏览内容提取浏览器自动化
Web Browser MCP Server 是一个基于 Message Control Protocol (MCP) 的服务,旨在为 AI 助手提供浏览网页、提取内容以及理解网页的能力。它通过简单的 MCP 接口,使 AI 模型能够智能地提取网页内容,支持 CSS 选择器,并具备强大的错误处理能力。
View on GitHub
Overview
✨ 产品定位
Web Browser MCP Server 是一个专为 AI 助手设计的网页浏览和内容提取服务,通过 MCP 协议提供高效的网页内容提取能力。
✨ 核心功能
- 🎯 智能内容提取:使用 CSS 选择器精确提取目标内容
- ⚡ 高性能:基于异步处理,优化性能
- 📊 丰富的元数据:捕获标题、链接和结构化内容
- 🛡️ 健壮可靠:内置错误处理和超时管理
- 🌍 跨平台:支持所有 Python 运行环境
🚀 适用场景
- AI 助手需要浏览网页并提取特定内容
- 自动化测试或数据抓取任务
- 需要结构化网页内容的应用程序
💡 工具列表
browse_webpage
浏览并提取网页内容,支持 CSS 选择器:
# 基本网页抓取
result = await call_tool("browse_webpage", {
"url": "https://example.com"
})
# 使用 CSS 选择器提取特定内容
result = await call_tool("browse_webpage", {
"url": "https://example.com",
"selectors": {
"headlines": "h1, h2",
"main_content": "article.content",
"navigation": "nav a"
}
})
⚙️ 常见问题解答
- 如何设置请求超时?:通过环境变量
REQUEST_TIMEOUT
设置,默认为 30 秒。 - 是否支持跨平台?:是的,支持所有 Python 运行环境。
🛠️ 使用教程
使用依赖
- Python 3.11+
安装教程
通过 Smithery 安装
npx -y @smithery/cli install web-browser-mcp-server --client claude
手动安装
uv tool install web-browser-mcp-server
开发环境安装
git clone https://github.com/blazickjp/web-browser-mcp-server.git
cd web-browser-mcp-server
uv venv
source .venv/bin/activate
uv pip install -e ".[test]"
调试方式
运行测试套件:
python -m pytest
🔌 MCP 集成
在 MCP 客户端配置文件中添加以下配置:
{
"mcpServers": {
"web-browser-mcp-server": {
"command": "uv",
"args": [
"tool",
"run",
"web-browser-mcp-server"
],
"env": {
"REQUEST_TIMEOUT": "30"
}
}
}
}
开发环境配置:
{
"mcpServers": {
"web-browser-mcp-server": {
"command": "uv",
"args": [
"--directory",
"path/to/cloned/web-browser-mcp-server",
"run",
"web-browser-mcp-server"
],
"env": {
"REQUEST_TIMEOUT": "30"
}
}
}
}