深度学习是机器学习的一个新的研究方向,机器学习是为了使机器或者算法通过对大量数据的学习使其达到人工智能的水平,深度学习正朝这个方向发展。现阶段深度学习是解决机器学习中一些难题的常见做法,并且取得广泛的成功,从目标监测、语音识别、智能问答、推荐系统到自动驾驶,取得远超传统短算法的效果。而这些深度学习的预测服务都是在线推理预测,因为应用层使用深度学习模型做推理预测难以满足时延要求,将深度学习模型部署在的预测服务系统之中,满足应用层对预测用时的基本要求。随着深度学习应用在越来越多的领域,对预测服务系统的研究也受到更多的关注。深度学习预测预测服务系统是一个与深度学习模型耦合的预测服务系统,应用在模型的部署与推理预测阶段,预测服务系统将深度学习模型的推理预测部署为在线推理预测功能,深度学习模型为在线预测请求提供实际的推理预测运算。本文的研究内容为深度学习预测服务系统的性能优化策略,包括预测服务的耗时方面和预测的准确率,介绍了可行的优化策略,并针对性地提出了减小平均预测用时的优化策略,硬件的分区使用。预测服务系统中,模型每进行一次推理预测计算,需要占用大量硬件资源,如CPU核心、高速缓存、内存带宽等。预测服务系统通常需要部署多个深度学习模型,提供多种预测服务,这些预测服务需要响应对应的SLO（Service Level Objective）时间。而预测服务系统中所有模型都是以相同的优先级占用硬件资源,并没有通过对预测请求的SLO用时限制。当不同SLO时间限制的模型同时运行在同一硬件环境下,对硬件资源的竞争就会出现,而竞争的结果是随机的,因此就需要先保证SLO时间较小的模型对硬件资源的优先使用,依次使各个预测请求尽可能满足SLO时间限制,降低预测平均用时。提出的硬件分区策略,结合资源调配技术将硬件划分为不同的逻辑资源池,每个模型能独占式地使用资源池地资源,以减少模型运行时相互之间的影响,达到了减少推理预测平均用时的效果。并提出资源池动态适应的算法,对某一个模型,根据预测任务用时与预先设置SLO时间的差值变化,动态反馈调节对应模型所占用的硬件资源池,减小预测请求的用时并提升硬件资源的利用率。