MCP Waifu Queue

基本能力

产品定位

MCP Waifu Queue 是一个专为对话式 AI "waifu" 角色设计的 MCP 服务器，通过 Redis 队列和 GPU 加速实现高效的文本生成。

核心功能

• 使用 distilgpt2 语言模型进行文本生成。
• 通过 Redis 队列处理并发请求。
• 支持 GPU 加速以提升推理速度。
• 使用 FastMCP 实现 MCP 兼容的 API。
• 任务状态跟踪功能。

适用场景

• 对话式 AI 角色开发。
• 需要处理高并发文本生成请求的应用。
• 需要 GPU 加速的文本生成服务。

工具列表

• generate_text：发送文本生成请求并返回任务 ID。
• job://{job_id}：获取任务状态，包括状态（如 "queued"、"processing"、"completed"、"failed"）和生成结果（如果完成）。

常见问题解答

• 错误："Missing 'prompt' parameter"：确保向 generate_text 工具发送了提示字符串。
• 错误："Error calling GPU service"：确保 respond.py 服务正在运行，并且可以通过配置的 GPU_SERVICE_URL 访问。
• 错误："Service unavailable"：检查 Redis 服务器、工作进程、队列和响应服务是否正在运行。
• 遇到 CUDA 错误：确保 CUDA 驱动程序和工具包已正确安装，并且与 PyTorch 版本兼容。

使用教程

使用依赖

• Python 3.7+
• pip
• Redis 服务器（已安装并运行）
• 支持 CUDA 的 GPU（可选，但推荐用于性能提升）

安装 Redis 的官方指南：https://redis.io/docs/getting-started/

安装教程

1. 克隆仓库： bash git clone <YOUR_REPOSITORY_URL> cd mcp-waifu-queue
2. 创建并激活虚拟环境： bash python3 -m venv venv source venv/bin/activate # Linux/macOS venv\Scripts\activate # Windows
3. 安装依赖： bash pip install --user -r requirements.txt 或 bash pip install --user -e .

配置

1. 复制 .env.example 文件到 .env： bash cp .env.example .env
2. 修改 .env 文件以设置环境变量，如 MODEL_PATH、GPU_SERVICE_URL、REDIS_URL 等。

运行服务

启动服务：

./scripts/start-services.sh

调试方式

运行测试：

pytest tests

许可证

该项目遵循 MIT-0 开源许可条款，请参阅 MIT-0 了解完整条款。