Cloudflare Browser Rendering Experiments & MCP Server

基本能力

产品定位

该项目旨在通过Cloudflare的浏览器渲染技术，提取和处理网页内容，为大型语言模型（LLM）提供丰富的上下文信息。

核心功能

1. 网页内容提取：使用Cloudflare Browser Rendering技术抓取和处理网页内容。
2. REST API和Workers Binding API实验：展示如何通过不同API与浏览器渲染交互。
3. MCP服务器：提供工具集，用于为LLM获取和处理网页内容。

适用场景

1. LLM上下文增强：为LLM提供实时网页内容作为上下文。
2. 网页内容自动化处理：自动抓取和处理网页内容。
3. 文档搜索和摘要：搜索文档并生成摘要。

工具列表

1. fetch_page - 抓取并处理网页内容供LLM使用。
2. search_documentation - 搜索Cloudflare文档并返回相关内容。
3. extract_structured_content - 使用CSS选择器从网页提取结构化内容。
4. summarize_content - 摘要网页内容供LLM使用。

常见问题解答

1. 浏览器渲染绑定：需要使用@cloudflare/puppeteer包与浏览器绑定交互。
2. 资源管理：使用后需关闭浏览器以避免资源泄漏。
3. 部署要求：部署Worker时需要启用nodejs_compat兼容性标志。

使用教程

使用依赖

1. Node.js (v16或更高版本)
2. 启用了Browser Rendering的Cloudflare账户
3. TypeScript
4. Wrangler CLI (用于部署Worker)

安装教程

1. 克隆仓库：

git clone https://github.com/yourusername/cloudflare-browser-rendering.git
cd cloudflare-browser-rendering

1. 安装依赖：

npm install

1. 安装Cloudflare Puppeteer包：

npm install @cloudflare/puppeteer

调试方式

1. 部署Worker：

npx wrangler deploy

1. 测试Worker：

node test-puppeteer.js

1. 运行实验：

npm run experiment:rest
npm run experiment:puppeteer
npm run experiment:content

1. 运行MCP服务器：

npm start
# 或开发模式
npm run dev

许可证

该项目遵循 MIT 开源许可条款，请参阅 MIT 了解完整条款。