Atla MCP Server

基本能力

产品定位

Atla MCP Server 是一个为大型语言模型 (LLMs) 提供评估服务的工具，通过标准化的 MCP 接口与 Atla API 交互，实现高效的模型响应评估。

核心功能

1. 评估 LLM 响应：使用给定的评估标准对 LLM 的响应进行评估，返回包含分数和文本反馈的字典。
2. 多标准评估：对 LLM 的响应进行多标准评估，返回每个标准的分数和反馈列表。

适用场景

1. 模型开发：在开发过程中评估 LLM 的响应质量。
2. 模型优化：通过反馈优化模型的输出。
3. 多标准评估：需要同时评估多个标准时的场景。

工具列表

1. evaluate_llm_response：评估 LLM 的单个响应。
2. evaluate_llm_response_on_multiple_criteria：评估 LLM 的多个标准响应。

常见问题解答

1. 如何获取 Atla API Key：可以在 Atla 官网 获取或创建新的 API Key。
2. 如何连接服务器：提供了与 OpenAI Agents SDK、Claude Desktop 和 Cursor 的连接方式。

使用教程

使用依赖

1. 需要安装 uv 来管理 Python 环境。
2. 需要 Atla API Key。

安装教程

1. 安装 uv：参考 官方文档。
2. 运行 MCP 服务器：

ATLA_API_KEY=<your-api-key> uvx atla-mcp-server

调试方式

1. OpenAI Agents SDK：

import os
from agents import Agent
from agents.mcp import MCPServerStdio

async with MCPServerStdio(
        params={
            "command": "uvx",
            "args": ["atla-mcp-server"],
            "env": {"ATLA_API_KEY": os.environ.get("ATLA_API_KEY")}
        }
    ) as atla_mcp_server:
    ...

1. Claude Desktop：

{
  "mcpServers": {
    "atla-mcp-server": {
      "command": "uvx",
      "args": ["atla-mcp-server"],
      "env": {
        "ATLA_API_KEY": "<your-atla-api-key>"
      }
    }
  }
}

1. Cursor：

{
  "mcpServers": {
    "atla-mcp-server": {
      "command": "uvx",
      "args": ["atla-mcp-server"],
      "env": {
        "ATLA_API_KEY": "<your-atla-api-key>"
      }
    }
  }
}

许可证

该项目遵循 MIT 开源许可条款，请参阅 MIT 了解完整条款。