客户模型上线应用的现状

模型上线与模型生产对应的数据源不一样；

模型开发交付的变量加工逻辑到模型上线实现的变量加工逻辑还存在一段距离：数据源统一、加工逻辑重构、数据核验；

模型开发交付的模型到模型上线发布的模型存在一段距离：运行环境准备、环境变量设置、模型部署、上线测试等；

模型上线之后的几种管理难度大，需要有效管理手段：模型服务科石化运维管理、模型服务统计分析等。

模型发布管理的痛点分析

模型上线发布管理依赖人工处理，缺少有效管理工具

生产环境与开发环境使用的数据源不统一，模型上线需要对数据处理逻辑进行重构、数据变量加工结果的核查周期长，制约模型的快速发布上线。

模型发布管理的解决路径与建设目标

模型发布管理解决方案

Docker Engine引擎运行在操作系统上，是基于内核的LXC、Chroot等技术实现容器的环境隔离和资源控制，在容器启动后，容器里的进程直接与内核交互，无需经过Docke引擎中转，因此几乎没有性能损耗，能发挥出裸机的全部性能。

统一模型格式标准，实现不同开发工具生产模型的集中管理，建议统一成标准模型PMML格；

灵活模型格式支撑：

• 天云AI平台生产Mojo、jar格式模型
• TensorFlow SaveMldel保存的格式模型
• TensorFlow、Scikit-learn等框架保存的PMML格式模型
• Ckpt、pb等格式模型

构建开发环境镜像，实现容器镜像统一管理

• 通过容器化组件，构建模型开发团队的开发工具环境镜像，不同模型上传到模型管理发布平台后，可以根据模型开发环境选择对应容器，实现模型快速发布；
• 支持主流建模工具的镜像管理，包括Python镜像、CNTK镜像、TensorFlow镜像、Spark Mlib镜像等；
• 对其他建模工具的开发环境，可以通过定制化方式建立相应的镜像；
• 不同的开发工具版本需要建立不同的镜像。

模型推理服务的容器化模式实现模型快速发布

• 外部环境开发的PMML可利用JPMML插件上线，Mleap bundle利用MLEap runtime上线；
• TensorFlow模型可利用容器中的Tensor Serving环境上线；
• 天云AI平台导出Jar包可直接发布为Restful API；
• 其他格式的模型，可在容器中部署其支持的运行时环境后上线；
• 每个上线模型都可弹性扩展可用资源，有K8S支持资源分配。

支持模型服务的运维监控