MCP (Model Context Protocol) 서버

基本能力

产品定位

MCP 서버는 다양한 LLM(Large Language Model)을 통합 관리하고 표준화된 인터페이스를 제공하는 서비스입니다. DeepSeek와 Llama 모델을 통합하여 모델 간 전환이 용이하고, 컨텍스트 관리가 가능한 API를 제공합니다.

核心功能

• 다양한 LLM 모델(DeepSeek, Llama) 통합 관리
• 모델 간 쉬운 전환 및 라우팅
• 대화 컨텍스트 관리
• 표준화된 API 인터페이스
• 다양한 스토리지 백엔드 지원(메모리, Redis, SQLite)

适用场景

• 다양한 LLM 모델을 통합하여 사용하는 애플리케이션 개발
• 대화 컨텍스트 관리가 필요한 챗봇 서비스
• 모델 간 전환이 필요한 AI 서비스

工具列表

• 채팅 API: 대화 컨텍스트 관리 및 모델 응답 생성
• 모델 목록 API: 사용 가능한 모델 목록 조회
• 세션 삭제 API: 세션 데이터 삭제

常见问题解答

• 모델 추가 방법: app/models 디렉토리에 새 모델 클래스 파일을 생성하고 BaseModel 클래스를 상속받아 구현합니다.
• 기여 방법: 저장소를 포크하고 기능 브랜치를 생성하여 변경사항을 커밋한 후 Pull Request를 생성합니다.

使用教程

使用依赖

• Python 3.8 이상
• CUDA 지원 GPU (권장, CPU에서도 실행 가능)
• Docker & Docker Compose (선택 사항)

安装教程

手动安装

1. 克隆存储库: bash git clone https://github.com/yourusername/mcp-server.git cd mcp-server
2. 运行设置脚本: bash python setup.py (下载模型): bash python setup.py --download-models (下载特定模型): bash python setup.py --download-models --model deepseek
3. 启动服务器: bash source venv/bin/activate # Windows: venv\Scripts\activate uvicorn app.main:app --reload

使用Docker安装

1. 克隆存储库: bash git clone https://github.com/yourusername/mcp-server.git cd mcp-server
2. 使用Docker Compose启动: bash docker-compose up -d

调试方式

• API测试: 使用POST /api/chat接口测试聊天功能
• 模型列表: 使用GET /api/models接口获取可用模型列表
• 会话管理: 使用DELETE /api/sessions/{session_id}接口删除会话

许可证

None