DevDocs by CyberAGI 🚀
2025.04.15
1273
TypeScript智能文档爬取开发加速器开发效率
DevDocs 是一个智能文档爬取和处理工具，旨在帮助开发者快速理解和实现各种技术文档。通过智能爬取、内容提取和组织，DevDocs 能够将文档研究时间从数周缩短到数小时，显著提升开发效率。
View on GitHub
Overview
产品定位
DevDocs 是一个智能文档爬取和处理工具，旨在帮助开发者快速理解和实现各种技术文档。通过智能爬取、内容提取和组织，DevDocs 能够将文档研究时间从数周缩短到数小时，显著提升开发效率。
核心功能
- 智能爬取
- 智能深度控制（1-5级）
- 自动链接发现
- 选择性爬取
-
子URL检测
-
性能与速度
- 并行处理
- 智能缓存
- 懒加载支持
-
速率限制
-
内容处理
- 干净的内容提取
- 多格式导出（MD、JSON）
- 结构化输出
-
MCP服务器集成
-
企业功能
- 错误恢复
- 完整日志记录
- API访问
- 团队管理
适用场景
- 企业软件开发：快速理解和实现技术文档，减少技术债务。
- 网页爬虫：智能爬取内部和外部网站文档。
- 开发团队：利用内部文档和MCP服务器进行智能数据查询。
- 独立开发者：快速构建产品，避免陷入文档困境。
工具列表
- 启动脚本：
start.sh、start.bat、start.ps1- 启动所有服务。 - MCP服务器脚本：
check_mcp_health.sh、restart_and_test_mcp.sh- 管理和测试MCP服务器。 - 爬虫脚本：
check_crawl4ai.sh、debug_crawl4ai.sh- 管理和调试爬虫服务。 - 实用脚本：
view_result.sh、find_empty_folders.sh- 查看结果和分析项目结构。
常见问题解答
- Windows权限问题：可能需要以管理员身份运行脚本或手动设置权限。
- docker-compose.yml问题：脚本会自动修复格式和编码问题。
- 日志查看：使用
docker logs命令查看特定容器的日志。
使用教程
使用依赖
- Docker：https://docs.docker.com/get-docker/
- Git
安装教程
# 克隆仓库
git clone https://github.com/cyberagiinc/DevDocs.git
# 进入项目目录
cd DevDocs
# 启动所有服务（Mac/Linux）
./docker-start.sh
# 启动所有服务（Windows）
docker-start.bat
调试方式
# 查看特定容器的日志
docker logs devdocs-frontend
docker logs devdocs-backend
docker logs devdocs-mcp
docker logs devdocs-crawl4ai
# 实时查看日志
docker logs -f devdocs-backend