LocaLLama MCP Server

基本能力

产品定位

LocaLLama MCP Server 是一个智能路由服务，用于在本地 LLM 和付费 API 之间动态分配编码任务，以优化成本和性能。

核心功能

1. 成本与令牌监控模块：实时监控 API 服务的上下文使用情况、累计成本、API 令牌价格和可用信用。
2. 决策引擎：根据配置的阈值（如令牌数、成本和质量）决定是否将任务路由到本地 LLM 或付费 API。
3. API 集成与配置：支持配置本地 LLM 实例（如 LM Studio、Ollama）和 OpenRouter 集成，提供标准化 API 调用。
4. 回退与错误处理：在付费 API 数据不可用或本地服务失败时实现回退机制，并提供健壮的日志记录和错误处理。
5. 基准测试系统：比较本地 LLM 和付费 API 模型的性能，生成详细报告以支持决策。

适用场景

1. 开发者在需要平衡成本与性能时使用本地 LLM 和付费 API。
2. 需要动态路由任务以优化令牌使用和成本的编码任务。
3. 需要基准测试不同模型性能以做出更明智决策的场景。

工具列表

1. clear_openrouter_tracking：清除 OpenRouter 跟踪数据并强制更新。
2. benchmark_free_models：对 OpenRouter 的免费模型进行性能基准测试。
3. get_free_models：从 OpenRouter 检索免费模型列表。

常见问题解答

1. 如何强制更新 OpenRouter 模型列表？ 使用 clear_openrouter_tracking 工具清除跟踪数据并强制更新。
2. 如何运行基准测试？ 使用 node run-benchmarks.js 命令运行基准测试。
3. 如何配置本地 LLM 端点？ 在 .env 文件中设置 LM_STUDIO_ENDPOINT 和 OLLAMA_ENDPOINT。

使用教程

使用依赖

1. 确保已安装 Node.js 和 npm。
2. 克隆仓库并安装依赖： bash git clone https://github.com/yourusername/locallama-mcp.git cd locallama-mcp npm install

安装教程

1. 构建项目： bash npm run build
2. 复制并配置 .env 文件： bash cp .env.example .env 编辑 .env 文件以设置本地 LLM 端点、API 密钥和其他配置。

调试方式

1. 启动服务器： bash npm start
2. 运行测试： bash npm test
3. 开发模式： bash npm run dev
4. 运行基准测试： bash node run-benchmarks.js

许可证

该项目遵循 ISC 开源许可条款。