近年来深度学习技术被应用于各学科领域,深度学习涉及众多知识点,对计算机领域的知识要求较高。其它领域研究者使用深度学习技术时可能对模型训练、超参数优化较为陌生,尤其是模型训练需尝试大量超参数组合实现最优性能,在有限的可调度资源下常耗费大量时间精力。此外当拥有分布式资源时,其资源的高效利用与任务有序调度也成为一个难题。为帮助非专业的深度学习使用者配置超参数并管理分布式资源,本文进行面向深度学习的分布式任务管理与自动部署技术研究,提出了一种深度学习任务管理中间件,主要工作如下:1.针对分布式任务管理与自动部署功能,本文给出了相应的调度策略与监管机制,包括工作节点监控管理、任务组织整理、分配策略制定、任务执行、结果整合等流程。同时配备容错机制,使发生常见错误时中间件仍能正常运作,规避错误造成的影响,以支持分布式任务的自动部署,增强中间件的健壮性。2.为用户屏蔽底层计算节点的资源分配与任务调度工作。基于本文的深度学习任务管理中间件,用户仅需配置超参数初始值与计算节点调配额度,便可由该中间件完成后续的任务管理调度,而无需用户关心具体实现逻辑,降低了深度学习技术使用门槛。同时本文的中间件提供并发、安全、灵活的API,各功能模块组件化封装,利于扩展、复用,支持用户自定义功能模块以适应多样化需求。3.提出一种基于网格搜索与贝叶斯搜索的超参数搜索调优方案,针对不同类型的超参数可自定义配置搜索范围与搜索方法,可根据任务过程中的实时结果灵活终止或调整深度学习训练任务。综上,本文提出的中间件可有效管理分布式资源,提高深度学习任务执行效率。通过交互界面测试,中间件的各接口与软件模块功能得到验证;容错模块支持中间件在异常情况下正常运行,保证可靠性;凭借该中间件,实验集群中四个工作节点的任务执行效率较单节点提升了3.62倍。本文提出的中间件可大大简化基于分布式资源的深度学习超参数配置与任务组织流程,有效提高资源利用率。