数据密集型异构系统的若干关键技术研究

来源 :湖南大学 | 被引量 : 1次 | 上传用户:king2xl
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算应用正变得日益数据密集化,现有的计算系统面临着巨大的挑战,数据密集型异构系统是现有技术条件下现实的解决方案。包括了CPU-GPU的异构以提升计算能力;存储系统的异构以提升I/O性能;节点与网络的异构以提升可扩展性等。数据密集型异构系统的体系结构可以分为分布式系统和并行系统两种。前者以MapReduce集群和CPS信息物理系统为代表。后者以超级计算机和高性能集群为代表。其中存在很多对应的研究问题,本文选取了关键的容错和存储问题进行了研究。分布式系统主要是节点与网络的异构,容错技术对保证系统性能极为关键,本文重点研究了其中的计算容错的推测执行策略。并行系统主要是处理器和存储系统的异构,存储系统是瓶颈所在,本文重点研究了其中的异构并行存储系统数据布局策略。本文的主要工作及创新点如下:(1)提出了一种系统负载的推测执行策略ERSL面向数据密集型异构分布式系统的容错问题,提出了基于系统负载的推测执行策略ERSL(Estimate Remain time with System Load)。针对的是现有的推测执行策略没有考虑到异构环境下系统负载剧烈变化的现象,从而降低了策略的效率的问题。核心思想是将系统负载变化与任务执行时间的线性关系引入到策略的剩余时间估值中去,并改进掉队任务的判定,从而作出更快更准的策略判定。ERSL策略中在剩余执行时间的估值模型,任务优先级判定,掉队任务的发现方法,备份快节点的选择,四个方面做出了改进。实验表明了在系统负载变化时,ERSL策略的评估结果的误差更小,相比LATE策略能降低平均10%-15%的作业完成时间。当Map任务存在数据倾斜时,ERSL策略与LATE策略相比能降低平均21%的作业完成时间。由于推测执行的有效性,ERSL策略与NA?VE和LATE策略相比集群的吞吐量分别提高了10%和17%。(2)提出了一种异构感知的推测执行策略HMCP面向数据密集型异构分布式系统的容错问题,提出了异构分布式环境下的异构感知的推测执行策略HMCP(Heterogeneity-aware Maximum Cost Performance)。针对的是现有的推测执行策略尝试保证推测执行系统整体的收益,然而没有考虑资源与任务的异构性,使得策略不能准确反映集群的资源开销,导致误差的产生的问题。核心思想是充分考虑异构集群系统的任务,资源和Slot价值的不同,通过分开的推测执行,获得更准确的决策。HMCP策略感知资源以及任务的异构性,从任务类型区分,分类备份快结点选择,考虑Slot价值的HMCP模型三个方面做出了改进。实验结果表明,HMCP与LATE和MCP相比分别能够缩短12%26%和6%13%的作业完成时间,同时可以分别提高约18%和11%的作业吞吐量。(3)提出了一种基于分区粒度的数据布局策略RLDP面向数据密集型异构并行系统的存储问题,提出了分区粒度的文件布局策略RLDP(Region Level Data Placement)。针对的是异构并行存储系统通过替换机械硬盘进行部署,传统默认的文件布局策略不能充分利用新加入的固态硬盘性能的问题。核心思想是将机械硬盘服务器与固态硬盘服务器分成两个独立的并行文件系统,将应用的文件划分为若干个分区,将具有更高访问成本的分区,放置到具有更高性能的固态硬盘文件服务器中去,从而提升存储系统整体性能。RLDP分区的处理应用程序文件的放置,通过应用程序的访问模式获取,建立访问成本模型,分区收益分析,放置与重映射的实现的设计与实现,对原始数据布局策略做出了适应异构存储系统的改进。实验表明,RLDP策略,在非均匀的访问模式下,能够平均提高86.98%的读性能,和82.23%的写性能。(4)提出了一种基于分条粒度的数据布局策略SLDP面向数据密集型的异构并行系统的存储问题,提出了分条粒度数据布局策略SLDP(Strip Level Data Placement)。针对的是传统数据布局方案采用固定的分条大小,没有考虑到异构并行存储系统中机械硬盘文件服务器与固态硬盘文件服务器之间的性能差异,不能充分利用异构并行文件系统的潜力的问题。核心思想是根据访问模式获取可变分条大小配置,将关键的分区采用最优的分条配置,保证并行度和不占用额外硬盘空间的前提下提升系统整体的I/O性能。SLDP策略从可变分条的角度优化异构存储系统的性能,通过节点服务成本模型,最优分条配置决策,关键分区选择,分条放置方法的设计和实现,充分利用固态硬盘性能的同时,改进了RLDP降低并行度的缺陷。实验表明,SLDP能够显著的提升异构并行文件系统的性能,相较上章提出的RLDP策略,在均匀随机访问的情况下能提升51.3%和44.6%的读写性能,在非均匀的随机访问情况下也能获得RLDP相似的性能提升。
其他文献
按照国务院关于建设社会主义新农村总体要求,首先从新农村规划入手。本文通过对规划科学、合理、特色、长远、全面、公开、权威、政策等方面进行阐述,突出新农村建设规划在新农村建设中的重要性、首要性。
目的:对新型冠状病毒肺炎(COVID-19)中医证型分布规律进行文献研究和系统评价。方法:计算机检索CNKI、维普、万方等数据库和相关网站,纳入有关COVID-19患者中医证型的研究文献。运用SPSS 23.0进行数据统计分析。结果:最终筛选出合格文献11篇;纳入病例791例;经合并整理得出15种证型。最常见的五个证型依次是:湿邪郁肺证(22.06%)、湿毒郁肺证(17.68%)、邪热壅肺证(14
设施蔬菜是我国设施园艺的重要组成部分,发展无土栽培及配套的水肥一体化技术是节水、节肥、节能、减排、高效生产的有效途径。【目的】本试验旨在改变按生育期调节营养液浓度的跳跃式管理模式,进行番茄浓度的微小递增式调控,使番茄在生长发育阶段中有一个浓度适应的过程,更利于番茄的生长;进而筛选经济效益较高、品质较好的试验处理,作为营养液浓度精细化管理的最优方案。【方法】本试验以"欧官"为试材料,根据番茄主茎叶片
事业单位固定资产是国有资产的重要组成部分,对其科学合理的进行管理,对加强社会公共服务质量、提高政府公共管理水平提供了必要的物质保障。新形势下事业单位固定资产管理是资产管理与财务管理的有机融合,随着我国新《政府会计准则》的颁布和不断深化,对事业单位固定资产的财务管理模式也提出来更高的要求。文章首先梳理新旧制度交替,对事业单位固定资产财务管理的要求所发生的变化,接着对新形势下事业单位在管理核算固定资产
意思自治是合同领域最为重要的规则之一,婚姻缔结是一种特殊的"合同关系",尊重当事人的意思自治,在婚姻家庭领域也存在一定的应用空间。"夫妻忠诚协议"作为具有代表性的家事契约,而我国《民法典·婚姻家庭编》未有任何规定。本文以"夫妻忠诚协议"为视角,通过分析其具体类型、效力认定、裁判规则等,总结实践中具体案例的裁判方法,探讨家事契约的具体裁判规则,为解决我国《民法典·婚姻家庭编》和《民法典·合同编》的衔
党的十九届六中全会是在我们党百年华诞的重要时刻,在"两个一百年"奋斗目标历史交汇关键节点上召开的一次重要会议。会议审议通过的《中共中央关于党的百年奋斗重大成就和历史经验的决议》(以下简称《决议》),是党的历史上又一部划时代的政治宣言和纲领性文献,对于全党从百年党史中看清楚、想明白过去为什么能成功、未来怎样继续成功具有重大指导意义和引领作用。《决议》在全面回顾百年奋斗历程的基础上,
期刊
企业在我国经济发展中发挥着主要的作用,随着近些年经济的不断发展,为国民经济提供了助推力,也为中国就业问题做出了显著贡献。人力是企业最重要的资源,促进企业可持续发展的外部保障是调动员工的工作积极性,提升员工对企业的归属感。而在人力资源管理中,激励机制是增强竞争力的重要基础。本文在此背景之下,探究出我国中小企业员工激励机制发展现状,并针对性地提出几点建议。
夫妻忠诚协议作为一种双方法律行为,其效力应首先经过民事法律行为的生效要件检验。忠诚协议中涉人身关系与"鸡毛蒜皮"类协议,除因违反公序良俗而无效外,财产类协议应认为婚姻法允许婚姻关系中存在当事人意思自治而认定为有效。对于夫妻忠诚协议中约定的赔偿金过高的情形,应允许法官类推违约金酌减规则进行调整。
自元封五年(前106年)汉武帝初置刺史部十三州,将郡国分为多个监察区,诏刺史诣所部以六条问事以来[1],汉代国家通过分部的方式,自中央至地方,逐渐建立起一套层次分明的监察体系:中央通过刺史部监察属郡,郡(国)通过督邮部监察属县,县(道)通过廷掾部监察属乡[2]。传世文献中保留较多关于刺史部、督邮部的执行及运作的记载,严耕望将司监察的督邮部视为郡府的四大组织之一,与纲纪、门下、列曹并列;指出秦
期刊