MCP vLLM Benchmarking Tool

基本能力

产品定位

MCP vLLM Benchmarking Tool 是一个用于交互式基准测试 vLLM 的工具，旨在帮助开发者和研究人员评估和优化 vLLM 的性能。

核心功能

1. 交互式基准测试 vLLM。
2. 支持多次运行测试并比较结果。
3. 支持忽略首次迭代（预热阶段）。

适用场景

1. 开发者需要对 vLLM 进行性能测试。
2. 研究人员需要比较不同配置或环境下的 vLLM 性能。

工具列表

1. mcp-vllm-benchmarking-tool/server.py：主服务脚本，用于启动基准测试服务。

常见问题解答

1. 由于 vLLM 的随机输出，可能会显示找到无效的 JSON，目前尚未深入调查此问题。

使用教程

使用依赖

1. 确保已安装 Python 和 uv 工具。

安装教程

1. 克隆仓库。
2. 将以下配置添加到 MCP 服务器配置中：

{
    "mcpServers": {
        "mcp-vllm": {
            "command": "uv",
            "args": [
                "run",
                "/Path/TO/mcp-vllm-benchmarking-tool/server.py"
            ]
        }
    }
}

调试方式

1. 启动服务后，可以通过以下命令进行基准测试：

Do a vllm benchmark for this endpoint: http://10.0.101.39:8888 
benchmark the following model: deepseek-ai/DeepSeek-R1-Distill-Llama-8B 
run the benchmark 3 times with each 32 num prompts, then compare the results, but ignore the first iteration as that is just a warmup.

许可证

None