MCP Telemetry
2025.04.08
0
Python聊天系统遥测LLM 交互分析开发效率
MCP Telemetry 是一个基于 Model Context Protocol (MCP) 的服务，专为聊天系统中的遥测数据设计，利用 Weights & Biases Weave 进行数据可视化和分析。它提供了一个简单的接口来记录和跟踪用户与大型语言模型（LLM）之间的对话，支持会话数据的全面记录和分析。
View on GitHub
Overview
基本能力
产品定位
MCP Telemetry 是一个专注于聊天系统遥测数据的服务，旨在通过 MCP 协议提供对话跟踪和分析功能，帮助开发者优化和监控 LLM 交互。
核心功能
- 会话跟踪：启动带有自定义标识符的跟踪会话。
- 数据记录：全面记录对话数据，包括用户输入、LLM 响应、LLM 动作、工具调用及其结果。
- 集成 Weave：无缝集成 Weights & Biases Weave，用于数据可视化和分析。
- 实时监控：实时监控对话流程。
- 数据分析：导出和分享对话分析报告。
适用场景
- LLM 交互优化：监控和分析用户与 LLM 的交互，优化响应质量。
- 工具使用分析：跟踪工具调用模式，评估工具使用效率。
- 性能监控：测量响应时间和错误率，提升系统性能。
工具列表
- Weights & Biases Weave：用于数据可视化和分析的工具。
- MCP 协议：提供标准化的遥测数据接口。
常见问题解答
- 如何获取 WandB API Key：从 https://wandb.ai/settings#api 获取。
- 如何配置服务器：通过环境变量
WANDB_API_KEY配置。
使用教程
使用依赖
- 获取 WandB API Key：访问 https://wandb.ai/settings#api。
安装教程
- 将以下 JSON 配置添加到 Claude 桌面配置中：
{
"mcpServers": {
"MCP Telemetry": {
"command": "uv",
"args": [
"run",
"--with",
"mcp[cli]",
"--with",
"weave",
"mcp",
"run",
"~/mcp-telemetry/server.py"
],
"env": {
"WANDB_API_KEY": "..."
}
}
}
}
调试方式
- 启动 Claude，服务器将自动开始收集遥测数据。
- 登录 Weights & Biases 账户，查看项目中的可视化数据。
- 检查环境变量
WANDB_API_KEY是否正确配置。