Market Insights Server

基本能力

产品定位

Market Insights Server 是一个实时商品追踪系统，旨在通过多源数据收集和 AI 分析生成市场洞察，帮助用户理解商品市场的动态和趋势。

核心功能

• 实时数据收集：从 Reddit、新闻 API 和 Yahoo Finance 获取实时数据。
• 可扩展处理：使用 Apache Spark (PySpark 3.5.0) 进行大规模数据处理。
• 自然语言洞察：通过 GPT-4 生成市场洞察报告。
• 动态配置生成：自动识别与商品相关的子版块和关键词。
• 错误处理和异步收集：内置错误处理、重试机制和异步数据收集功能。

适用场景

• 商品市场分析：适用于能源、金属、农业等商品市场的实时追踪和分析。
• 投资决策支持：为投资者提供基于多源数据的市场洞察，辅助投资决策。
• 舆情监控：监控 Reddit 和新闻中的舆情变化，及时捕捉市场情绪。

使用教程

使用依赖

安装前置依赖：

pip install -r requirements.txt

安装教程

1. 确保已安装 Python 3.x 和 PySpark 3.5.0。
2. 克隆项目仓库并安装依赖：

git clone <repository_url>
cd <repository_directory>
pip install -r requirements.txt

调试方式

运行服务并指定商品：

python spark_market_insights_server.py --commodity "nickel"

输出包括： - 从 Reddit 和新闻源清理的文本数据 - TF-IDF 特征 - GPT-4 生成的洞察报告 - JSON 格式的洞察数据

常见问题解答

许可证

该项目遵循 MIT License 开源许可条款。