面向深度学习的分布式任务执行系统

来源 :计算机系统应用 | 被引量 : 0次 | 上传用户:a873322604
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度学习全流程托管平台提供了深度学习实验任务的网页端解决方案,加速了深度学习技术在生产生活中的应用.为了解决网页端深度学习平台进行图像识别模型训练的问题,本文设计实现了面向深度学习实验任务的分布式任务执行系统.系统由资源监控、任务调度、任务执行、日志管理4大模块组成,将任务依据资源使用率等策略进行调度,采用Docker容器技术进行执行,并对产生的日志信息进行了实时收集.经过测试,分布式任务执行系统不仅保证了正常的功能需求,在可靠性、稳定性等指标上也都达到了预期的要求,将其集成到平台中可减少20%左右的训练
其他文献
近年来稀疏表示技术在信号处理、图像处理、目标识别、盲源分离等领域都有着突出的贡献.为了全面的了解和分析现有稀疏表示优化算法,首先回顾了稀疏表示技术的历史进程,简单描述了稀疏表示技术的原理,然后将稀疏表示优化算法分为贪心算法和约束算法以及其他算法三大类,具体分析了前两种类别算法的原理和特征,介绍了两类算法的代表算法,总结了算法的发展进程,并对贪心算法中的五种代表算法进行了简单对比,最后总结了稀疏表示技术在各个领域的应用情况,并针对存在的问题对未来的发展方向进行了分析,以期为研究者们提供有益参考.
贯穿于整个建设项目全生命周期的全过程工程造价目标管理,是一种依赖于基础数据、依托流程进度管理的全周期、全过程、全费用的动态目标管理,其工作的核心是前期策划、全过程造价目标的设定、合同体系的建立和全过程的造价目标控制.阐明了实施全过程工程造价目标管理的必要性;分别对策划决策阶段、项目设计阶段、招标投标阶段、项目施工阶段和竣工验收阶段的造价目标管理及其效果进行梳理分析,并提出一些建议.实践表明,实施全过程工程造价目标管理,对保证建设项目投资利益的顺利实现极有积极意义.
住建部提供的相关资料显示,目前我国每年产生建筑垃圾超过15.6万t,并且大多未经处理就直接堆放或就地填埋.充分利用这些建筑旧料,让其物尽其用,对解决环境污染和节约工程投资具有重要意义.以G228公路上海金山段新建工程项目为例,深入分析建筑旧料路基填筑施工技术的控制要点;以K16+950~K17+070作为再生填料试验段,通过控制含水率且调整了施工工艺,弯沉值及回弹模量得到了很大的改观,基本达到设计图纸中对土基顶面弯沉值≤292.5(0.01mm)的要求.实践表明,采用建筑再生旧料作为路基填料,不仅可以减少
随着软件系统规模和复杂度的不断提升,软件配置已经成为软件工程领域中的一个重要话题.大量、复杂的配置项为正确使用软件系统带来了极大的困难,例如,配置错误会影响系统性能,并带来严重损失.软件系统配置技术得到广泛关注,并取得了众多的研究成果.本文对软件配置领域的研究现状和主要成果进行分析和综述.文章首先提出了基于软件生命周期和技术手段两个维度的软件配置相关工作分析框架,然后基于该框架对当前主要研究成果进行分类总结和分析评价,最后总结软件配置领域的工作特点,探讨未来可能的研究热点,对于今后该领域的深入研究具有一定
在互联网医疗领域, 智能AI分科室是一个很关键的环节, 就是根据患者病情描述、疾病特征、药品等信息将患者分配到匹配的科室, 可以利用深层双向Transformer结构的BERT预训练
伴随人工智能等相关技术的进步,智能机器人技术得到极大提高.其软件上的日渐成熟和硬件设施的不断完善对研究和开发机器人操作系统和体系结构提出新的需求.本文针对目前广泛使用的传统机器人操作系统ROS进行介绍和分析,并对比研究了新型机器人操作系统ROCOS在系统架构方面对传统ROS的改进和优化,详细介绍了两者的组织框架,并通过仿真实验实际测试了两者框架的合理性与使用效果,对后续新型机器人操作系统的研发具有借鉴意义.
RFID盘点定位系统在高校的应用生态不容乐观,找书难的问题依然存在,系统亟需改造重构.基于我校RFID盘点定位系统,结合流通排架实操规程,采用Python、Django框架和Oracle数据库开发系统后台管理模块,对该系统的定位数据采集、数据库结构、定位计算方法进行改造.此方法在实际应用中取得了良好的效果,改进后的RFID定位系统易于管理维护,有效地解决了找书难的问题.
配网单线图是一种电气接线图,其利用规定的图形符号和设备连线对配电网进行可视化,能显著提高配网管理的效率.针对配网单线图自动生成实际需要,本文提供了一种基于主干线/分支线模型的配网单线图自动生成方法.方法首先进行了主干线分支线的创建和分支布局方向的计算;然后进行了分支初始布局和局部拉伸;最后进行了分支局部收缩和自动布线.经过验证,基于主干线分支线模型的配网单线图自动生成方法,能自动生成满足准确性、美观性等要求的单线图.
针对基于规则的可解释性模型可能出现的规则无法反映模型真实决策情况的问题,提出了一种融合机器学习和知识推理两种途径的可解释性框架.框架演进目标特征结果和推理结果,在二者相同且都较为可靠的情况下实现可解释性.目标特征结果通过机器学习模型直接得到,推理结果通过子特征分类结果结合规则进行知识推理得到,两个结果是否可靠通过计算可信度来判断.使用面向液基细胞学检查图像的融合学习与推理的某类宫颈癌细胞识别案例对框架进行验证,实验表明,该框架能够赋予模型的真实决策结果以可解释性,并在迭代过程中提升了分类精度.这帮助人们理
目的:建立放射治疗直线加速器质量保证(Quality Assurance,QA)标准化体系和数字化分析系统是提升放疗水平和质量的有效途径.方法:基于Pylinac函数库,采用Django框架和MySQL数据库结构搭建QA数字化分析系统,并通过临床测试来评价该系统的稳定性与实用性.结果:放射治疗QA数字化分析系统不仅有利于监控及回顾分析直线加速器的运行状况,而且有效减少医用直线加速器QA流程中计算分析的时间,同时该系统还有助于放疗科新入职物理师快速熟悉QA流程.结论:QA数字化分析系统在简化QA工作流程,提