Crawlab MCP Server

基本能力

产品定位

Crawlab MCP Server 是一个桥梁服务，连接 AI 应用与 Crawlab 系统，使得通过自然语言即可操作 Crawlab 的各项功能，如蜘蛛管理、任务执行等。

核心功能

• 蜘蛛管理：创建、读取、更新、删除蜘蛛。
• 任务管理：运行、取消、重启任务。
• 文件管理：读取、写入蜘蛛文件。
• 资源访问：访问蜘蛛和任务资源。

适用场景

• 需要通过自然语言命令管理爬虫任务的场景。
• 需要将爬虫管理集成到 AI 应用中的场景。
• 需要自动化执行爬虫任务的场景。

工具列表

• 蜘蛛管理工具：get_spider, create_spider, update_spider, delete_spider。
• 任务管理工具：get_task, run_spider, cancel_task, restart_task, get_task_logs。
• 文件管理工具：get_spider_files, get_spider_file, save_spider_file。

常见问题解答

• 如何配置 Crawlab API 连接？ 编辑 .env 文件，设置 CRAWLAB_API_BASE_URL 和 CRAWLAB_API_TOKEN。
• 如何启动 MCP 服务器？ 使用命令 python server.py 或通过 Docker 运行。

使用教程

使用依赖

• Python 3.8+
• 运行中的 Crawlab 实例
• Crawlab API 令牌

安装教程

1. 从源代码安装 bash pip install -e .
2. 从 GitHub 安装 bash pip install git+https://github.com/crawlab-team/crawlab-mcp-server.git
3. 运行 MCP 服务器 bash crawlab_mcp-mcp server [--spec PATH_TO_SPEC] [--host HOST] [--port PORT]
4. 运行 MCP 客户端 bash crawlab_mcp-mcp client SERVER_URL

调试方式

1. 本地运行 bash python server.py
2. Docker 运行 bash docker build -t crawlab-mcp-server . docker run -p 8000:8000 --env-file .env crawlab-mcp-server
3. 集成到 Docker Compose 在 docker-compose.yml 中添加 MCP 服务器服务配置。

与 AI 应用集成

1. 启动 MCP 服务器
2. 配置 AI 客户端 连接到 MCP 服务器。
3. 使用自然语言命令 如“列出所有蜘蛛”或“运行蜘蛛 X”。

许可证

None