面向异构平台的混合任务调度系统设计与实现

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:xxyty
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
异构平台是指具有不同架构(系统&软件)的计算平台,它们支持很多种开发语言,各平台对应的开发者背景差异也十分巨大,这就使得在各平台上运行着多种不同类型的任务,比如AI任务,MySql等。传统方式下,各平台的管理人员通过系统提供的Cron对任务进行触发,对于具有多项依赖的任务组来说,需要人工设定执行时间与方式,一旦出错需要整体推倒重试,随着集群规模的扩大、任务量的增加,传统方式的弊端愈发明显。一般而言,各个任务除了基础调度需求外,可能还有特殊需要考虑的需求,比如AI任务,从代码编写到最后调度训练任务,全流程十分复杂;Web微服务,需要考虑到微服务之间的通信与管理问题,而在传统企业的调度系统除了分发部署任务之外,对于其他点,是没有考虑到的。为了解决以上企业架构分布式化、业务迭代升级进程中产生的问题,本文设计了一个混合任务调度系统对企业内部任务统一管理,不仅对任务的通用调度进行了处理,也对人工智能AI训练任务、Web微服务任务两类特殊任务面临的难题进行深入研究,分别设计了两个子系统。本文的具体工作如下:1)研究并实现了一种基于容器化技术的人工智能训练子系统,用户只需要完成代码编写,后续代码存储、数据存储、资源分配全由系统自动完成,解决了 AI训练流程复杂、资源分配不均衡的问题。2)研究并实现了一种基于分布式KV存储系统的网关子系统,它通过一个统一的入口管理微服务,其提供的服务注册功能用于保存微服务元信息、解决了服务变更频繁的问题。其提供的服务发现功能,使得微服务之间不再通过机器地址通信,解决了服务之间耦合严重的问题。其提供的服务路由功能,负责转发服务之间的调用请求,为底层服务通信提供了支撑。3)研究并实现了一种基于VUE的可视化任务调度系统,它能够对各类任务进行调度,包括任务的通用调度、编排及重平衡和监控,提供了一个一站式平台。
其他文献
瑕疵异议期间作为在买卖合同中标的物出现瑕疵时一个重要的期间制度,我国《合同法》及其司法解释对瑕疵异议期间的规定却不够具体、较为抽象,存在诸多不足之处,导致法官在实际判案时也是难以达成一个统一的标准,我国理论界对此也没有太深入的研究,争议较多。肯定的是,在交易市场日益复杂化、频繁化的今天,一项完整齐备的瑕疵异议期间制度对我们来说十分重要,如果买卖合同中拥有明确且具体的瑕疵异议期间条款,我们可以避免很
矿物具有遇水易膨胀分散的特性,这种特性在选煤过程中会使煤泥水难以沉降,在油田开发中则会对储层造成损害。矿物的膨胀主要以蒙脱土的水化膨胀为主。无机阳离子可以压缩颗粒表面扩散双电层使Zeta电位上升,减小颗粒表面水化膜厚度,使颗粒及晶层间排斥力减小,降低煤泥水的稳定性。聚乙二醇等大分子主要通过吸附在粘土表面和置换出粘土吸附的水分子,来破坏粘土的表面和层间的有序水分子结构,从而减弱粘土的水化膨胀分散,以
当前机器人已进入生产生活中,大量的重复性劳动已被机械所取代。目前基于图像的机器人控制系统已获得广泛的应用,但作为人机交互最为便捷和自然的方式“语音”目前仍应用有限。与工业机器人相比,家庭中的服务机器人对语音的需求格外迫切。本文针对家庭中的服务机器人人机交互问题设计了一套基于语音处理、自然语言处理和任务解析的人机交互系统。相关研究工作如下:针对语音识别的移动机器人人机交互问题,本课题设计了一种从用户
本课题主要以比较研究方法,对朝鲜人与山东人迁入东北地区的原因、迁入过程以及迁入后对东北地区产生的影响等方面进行了比较研究,从中发现了不少特点,其中既有共同点,又有不同点。首先,关于朝鲜人与山东人迁入东北的原因,因遭受严重的自然灾害、苛刻的封建统治阶级的压榨、被丰富的东北地区土地资源吸引等原因而迁入方面是相同的,但朝鲜人因残酷的日本殖民统治而迁入的因素更多,而山东人则因人口急剧膨胀而迁入的因素更多。
在信息和媒体产业快速发展的21世纪,消费者在面对各种信息时往往感到困惑,而品牌往往会影响消费者的选择。因此,各大企业一直是以品牌建设作为提高企业竞争力的重要策略。而随着应用的拓展,在政府一系列政策措施的支持下,品牌也逐步进入到各行各业,包括一些非盈利组织和公共领域。公共档案馆借鉴其他行业和领域的品牌建设经验进行自己的品牌建设,打造良好品牌形象,是公共档案馆得到新发展的突破口。通过对公共档案馆的感知
低共熔溶剂(Deep eutectic solvents,DESs)自2003年Abbott等人提出后便因诸多优点(易合成、价廉、可生物降解、不易挥发、不易燃等)而广受关注,成为新一代“绿色溶剂”。近年
中国共产党历来关心、重视青年。习近平继承这一优良传统,对新时代青年的价值、教育、工作等问题,提出了诸多新观点、新思想和新要求,形成了具有鲜明时代特色和价值的新时代
为了改善图像的分辨率和质量,图像超分辨率重建技术应运而生,这一技术既可以满足人们的视觉需求,也可以便于图像在诸多工程领域的后续应用。近年来,随着机器学习和人工智能等
石油和天然气是现代社会的驱动能源。近年来,随着科学和技术的不断进步,人们的消费结构发生了革命性变化,对油气的需求有了较大增长。但传统油气资源逐步枯竭,页岩气作为一种
从复杂路况中提取出车道线信息是高级辅助驾驶技术的关键任务,研究多场景下结构化车道线的检测方法具有重要意义。本文通过对比分析国内外车道线的研究现状发现,大部分车道线