MCP Server
2025.04.07
0
Python学习路径生成内容聚合多语言支持内容生成
MCP Server 是一个基于主题生成主内容计划（MCP）的服务器。它从网络聚合资源，并将其组织成结构化的学习路径。该服务器支持多种语言，特别关注葡萄牙语，并提供了多种性能优化和缓存机制，以提高响应速度和用户体验。
View on GitHub
Overview
基本能力
产品定位
MCP Server 是一个用于生成结构化学习路径的服务，适用于教育、自学和内容聚合场景。
核心功能
- 生成任意主题的学习路径
- 通过网络搜索和爬取获取相关资源
- 将资源组织成逻辑序列，支持自定义节点数量
- 多语言支持（特别关注葡萄牙语）
- 性能优化，适用于 Render 免费层
- 缓存系统加速响应
- 返回标准化的 JSON 结构供客户端应用使用
- TF-IDF 资源相关性过滤
- 战略性的测验分布
- YouTube 视频集成
- 分类系统生成特定内容
- 异步任务系统提供实时进度反馈
- 增强的缓存系统
- 优化的网页爬取技术
- 自适应爬取系统
- Puppeteer 实例池
适用场景
- 教育平台的内容生成
- 自学路径的创建
- 多语言学习资源的组织
- 大规模内容聚合
工具列表
- Pyppeteer：用于 JavaScript 密集的网页爬取
- Pyppeteer-stealth：避免爬取时被检测
- DuckDuckGo Search API：网络搜索
- BeautifulSoup：HTML 解析
- scikit-learn：TF-IDF 资源过滤
- yt-dlp：YouTube 视频搜索和元数据提取
- Redis：分布式缓存（可选）
- msgpack：高效数据序列化
- cachetools：高级内存缓存
常见问题解答
- 如何提高响应速度？使用缓存系统和异步任务系统。
- 如何优化爬取效率？使用自适应爬取系统和 Puppeteer 实例池。
- 如何支持多语言？通过语言参数指定资源语言。
使用教程
使用依赖
- 安装 Python 3.9+ 和 Node.js
- 安装 Chrome/Chromium 以支持 Pyppeteer
安装教程
- 克隆仓库：
git clone https://github.com/yourusername/mcp_server.git cd mcp_server - 创建虚拟环境：
python -m venv venv source venv/bin/activate # Windows: venv\Scripts\activate - 安装 Python 依赖：
pip install -r requirements.txt - 安装 Node.js 依赖：
npm install
调试方式
- 启动服务器：
uvicorn main:app --reload --host 0.0.0.0 --port 8000 - 访问 API：
http://localhost:8000 - 生成 MCP：
GET /generate_mcp?topic=your_topic - 检查 API 文档：
http://localhost:8000/docs