什么是机器学习平台

一、现在存在的问题

1. 重复造轮子：特征工程、模型训练、模型在线预测都是各自研发，从零做起，算法的迭代效率低，用户代码基于单机脚本实现，处理环节长、耦合高，难以修改和扩展，长久以来可读性降低.

2. 特征口径混乱：各个业务方重复开发特征，相同特征的统计口径也不一致，导致算法之间难以协同工作。

3. 数据分散：同一业务下多个场景、同一场景下多个模型，在数据处理、模型训练等技术流程上类似，场景重复步骤和数据结果难以重复利用。

4. 效率低下：算法人员和业务人员对分布式机器学习的开发存在技术壁垒，导致数据量和模型复杂度受单机资源限制。

5. 进入门槛高：机器学习和深度学习的算法学习和搭建的门槛很高；调参和对比算法效果费时费力。

6. 维护成本高：机器环境配置不一，框架日新月异，维护各种算法框架的繁琐性高，管理运维成本高，场景不同导致存在周期训练、定时预估、实时预估等需求，对业务人员和算法人员的代码要求高，维护成本高。

二、机器学习平台和AI中台的关系

中台是相对于前台来说，中台可以为各各前端服务提供能力而互不干扰。AI中台就是企业内部可以为各个业务场景提供各种AI能力的平台，而机器学习平台是把数据工程师、算法工程师标注师等机器学习模型训练过程工程化流程化后的平台。机器学习平台更多的是服务于内部工程师，机器学习平台属于AI中台的一部分。

三、什么是机器学习平台

其实机器学习平台，就是伴随着AI工程化落地而来的概念，就是经过一系列的工程手段，最终集成落地到具体的应用中；或者选择合适的模型和算法，经过一些优化，使得它能解决现实世界中真实的问题，并产生我们所需要的价值。机器学习领域，最重要的三个环节如下图，包括数据处理，模型训练和服务部署，每一环节包含的内容很多，都可以单独拿出来做一个平台。

机器学习平台的服务的人群包括算法工程师、数据分析师，也包括业务研发工程师，我们希望通过构建高效的离线、实时预测服务，降低用户使用机器学习的成本，提高接入算法的效率，利用数据中台的优势促进数据和模型的规范和分享。机器学习平台通过端到端的建模流程，使企业用户实现机器学习的全生命周期管理。从端到端的流程来看，机器学习平台的功能可分为：

依据机器学习各个流程步骤，我们设计出机器学习平台的大的框架：

• 数据接入：支持多种类型数据的接入，包括音频、文本、图片、视频。

• 数据准备：包括数据清洗和数据探索，在数据清洗环节，机器学习平台一般具备数据融合、数据缺失处理、数据分类、打标签、数据异常处理、数据平滑等功能，在数据探索环节，机器学习平台具备单变量统计、多变量统计、聚类分析、相似度度量、密度检验等功能。

• 特征工程：支持特征构建、特征选择、特征降维、特征编码等特征工程必备流程，同时提供可视化的特征重要性评估功能，使用户可以快速发现模型中存在的问题。

• 模型训练：支持Notebook；模型建立后，平台提供可视化超参调整、超参搜索等功能，提高模型训练的效率。

• 模型部署：通过API接口，一键实现模型从开发环境到生产环境的部署，实现模型快速上线。

• 模型管理：模型部署到生产环境后仍需要进行监控和管理，以保证模型的准确率和及时更新，模型管理能够将生产环境中的模型与基线或之前的模型进行对比，确定模型效果。