随着大数据技术的日益普及,人们对复杂的人工智能模型的需求也在增长。机器学习作为实现人工智能的重要方法,在人工智能相关的科研和生产实践中都发挥着重要作用。例如,许多企业将视频分析、对象检测、语音识别这些机器学习技术作为其实时流分析或深度批处理分析管道的一部分,来提供更有效率的、针对业务成果的、根据客户喜好量身定制的产品。在一个可扩展的分布式环境中大规模部署机器学习模型,是企业将机器学习模型应用到生产环境中必经的环节。但是,机器学习模型的部署是一项复杂任务,需要专业技能且需反复试验,并面临诸多问题:快速灵活地部署机器学习模型、硬件的异构性、提供低延迟和高吞吐量的接口服务等。企业需要一个可靠的机器学习模型的部署、编排和管理平台,以加快其服务的上线速度,并减少在生产环境中部署大规模机器学习模型的人力和运营成本,即以最小的成本有效管理机器学习工作流的生命周期。本文设计并实现的Sophon Cloud云端模型部署系统针对上述问题,给出了一个完整的解决方案。1.本文分析了当前企业应用人工智能的现实意义和遇到的问题,提出研发模型部署系统以缩短企业机器学习模型应用周期。2.本文在分析国内外模型部署系统技术发展现状和不足的基础上,总结了模型部署系统的详细需求,并据此提出了系统的总体架构设计,和集群管理模块、模型上架管理模块、模型上线管理模块、模型性能监控管理模块和审批管理模块五大功能模块的详细设计。3.基于Spring Cloud框架,在系统详细设计的基础上,本文介绍了各功能模块的实现机制,并通过实际系统测试与上线运行验证了系统的可用性。Sophon Cloud云端模型部署系统自上线以来,运行稳定,帮助了企业级用户更加快速、灵活地部署机器学习模型,加速了用户人工智能产品的落地速度,减少了用户部署机器学习模型的成本,并为用户提供了大吞吐量和低延迟的模型预测服务。