Multimodal Model Context Protocol Server

Multimodal Model Context Protocol Server

site icon
2025.04.02 1
Python多模态数据处理索引服务语义搜索内容生成开发效率
pixeltable-mcp-server 是一个多模态模型上下文协议服务器,专门用于处理多模态数据(音频、视频、图像和文档)的索引和查询。它通过 Docker 进行本地开发和管理,提供多种服务器实现,包括音频索引、视频索引、图像索引和文档索引服务。
View on GitHub

Overview

基本能力

产品定位

pixeltable-mcp-server 是一个多模态数据索引和查询的服务器,支持音频、视频、图像和文档等多种数据类型。

核心功能

  1. 音频索引服务:提供音频文件索引、转录功能和语义搜索能力。
  2. 视频索引服务:支持视频文件索引、帧提取和内容搜索。
  3. 图像索引服务:提供图像索引、对象检测和相似性搜索。
  4. 文档索引服务:支持文档索引、文本提取和检索增强生成(RAG)。
  5. 基础 SDK 服务:提供核心功能,支持 Pixeltable 集成和专用服务器构建。

适用场景

  1. 多媒体内容管理:适用于需要管理大量音频、视频、图像和文档的场景。
  2. 语义搜索:支持基于内容的搜索,适用于需要快速检索多媒体内容的场景。
  3. 开发集成:适用于开发人员构建多模态数据处理的专用服务器。

工具列表

  1. 音频索引服务器:位于 servers/audio-index/,提供音频文件索引和语义搜索功能。
  2. 视频索引服务器:位于 servers/video-index/,提供视频文件索引和内容搜索功能。
  3. 图像索引服务器:位于 servers/image-index/,提供图像索引和相似性搜索功能。
  4. 文档索引服务器:位于 servers/doc-index/,提供文档索引和检索增强生成功能。
  5. 基础 SDK 服务器:位于 servers/base-sdk/,提供核心功能和集成支持。

常见问题解答

  1. 如何报告问题或请求功能:通过 GitHub Issues 提交问题或功能请求。
  2. 如何获取支持:加入 Discord 社区获取支持。
  3. 许可证信息:项目采用 Apache 2.0 许可证。

使用教程

使用依赖

  1. 确保已安装 Python 3.9+。
  2. 确保已安装 Docker 和 docker-compose。

安装教程

pip install pixeltable
git clone https://github.com/pixeltable/mcp-server-pixeltable.git

cd mcp-server-pixeltable/servers

docker-compose up --build                 # 运行本地开发环境
docker-compose down                       # 关闭资源

调试方式

  1. 检查各服务是否正常运行,默认端口如下:
  2. 音频服务:8080
  3. 视频服务:8081
  4. 图像服务:8082
  5. 文档服务:8083
  6. 通过日志查看服务运行状态: bash docker-compose logs

许可证

该项目遵循 Apache-2.0 开源许可条款,请参阅 Apache-2.0 了解完整条款。