Spark ML 管道模型在线预测服务

项目进度

• predict-service-publish：完成
• predict-spark-stream：完成
• predict-service-web-ui：进行中
• predict-service-web：进行中
• predict-service-scheduler：未开始
• predict-spark-batch：未开始
• training-spark-batch：未开始

1.项目结构

本地服务：

• predict-service-web：提供模型管理、执行计划、模型发布、服务检测等功能
• predict-service-runner：模型算法执行类，包含以下三个子类模块
• predict-spark-batch：进行pipeline模型文件的批处理预测，使用scala编写
• predict-spark-stream：进行pipeline模型文件的流处理预测，使用scala编写
• training-spark-batch：进行spark的模型训练模板模块，使用scala编写
• predict-service-commons：提供各种公共方法
• predict-service-scheduler：定时任务调度服务
• predict-service-publish: 为流式等预测服务提供restAPI接口
• predict-service-api: 分布式服务网关
• predict-service-web-ui：Web服务的前端项目
• docs：包含测试模型的数据格式文件，图片等
• model：测试使用的逻辑回归模型等

第三方服务：

• apache livy 服务：使用Rest方式进行Spark任务的远程提交等操作

2. 服务设计原理

模型发布预测原理：