分布式系统中性能缺陷的机理分析及检测技术研究

来源 :国防科技大学 | 被引量 : 0次 | 上传用户:dcqnj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据时代迫切需要性能强劲的计算基础设施为企业和个人提供服务,构建分布式系统是一种比较合适的方案。随着分布式软件基础架构越来越复杂,新的复杂问题陆续显现。其中,性能和可靠性对于分布式系统非常重要,缓慢低效和不可靠的分布式系统容易让用户遭受到经济损失。虽然近十年分布式软件发展非常迅速,其性能也得到了明显的提高,但是性能缺陷仍然危及分布式系统的可靠性。虽然对于单机系统中的性能缺陷已经有了不少的研究,但对于分布式系统中的性能缺陷还存在理解不足的问题,目前对于研究分布式系统中的性能缺陷还是初步的。本文的工作主要集中在三个方向:分布式系统中性能缺陷的机理分析、可扩展性能缺陷的分析与检测、同步性能缺陷的分析与检测。为了构建更好的检测工具,需要更深刻地理解分布式系统中性能缺陷的原理。本文一共收集了85个性能缺陷,它们来自5个广泛部署的开源分布式系统套件(Hadoop Map Reduce、HBase、HDFS、Zookeeper和Cassandra)。然后在它们基础上进行了经验性的研究工作,这部分研究工作主要集中在根本原因、因果关系、症状、修复策略这四个方面。本文的工作发现缺陷的根本原因与修复策略有较强的相关性,性能缺陷较大概率与循环体这种代码结构有关。这部分工作启发了接下来的一系列工作。针对可扩展性能缺陷,本文将研究重心放在了工作负载上。根据对可扩展性能缺陷研究分析,耗时操作和无界循环是这类缺陷的主要原因。其中,无界循环是可扩展性能缺陷的重要特征,其检测工作也是该部分工作的重点。经过评估,可扩展性能缺陷的检测工具能够成功检测出所有6个可扩展性能缺陷基准,并且能够检测出新的潜在的可扩展性能缺陷。同步性能缺陷广泛存在于分布式系统中,经过本文的分析工作,耗时操作、嵌套循环和递归调用是导致同步区域产生性能问题的关键因素。同步性能缺陷检测工具包括对同步区域的判定、对负载敏感代码段的辨别、以及同步区域与耗时循环体的关系分析。利用随机选出的5个缺陷基准,经过多维度的测试,结果显示该检测工具能检测出所有5个缺陷基准,并能够检测出未被发现的同步性能缺陷,同时能打印出这些新缺陷的详细信息。在经验性研究的基础上,本文的检测技术取得了不错的效果,显著提升了检测分布式系统中性能缺陷的效率。
其他文献
部队训管结合是一个老话题,却是一个新课题。一方面,不同时期的训和管有着不同的内涵、外延及相应业务工作,影响着训管结合的内容变化;另一方面,不同时期的军队面临不同的发展背景、形势、任务和目标,使训管结合所能实现的程度、效果和目标等方面要求有较大变化。当前,我国发展进入新时代,改革强军踏入新征程,军委机关层面成立训练管理部释放了上层抓训管结合的信号和决心,也表明了当前的训管结合现状已不适应军队建设发展
目标检测识别技术一直是计算机视觉领域中的重点研究方向,在民用领域主要的应用包括自动驾驶、人脸识别、智能交通等,在军事领域主要的应用则体现在光电侦察、监视、告警和精确制导等方面。本文主要研究复杂背景下地面可移动目标的检测识别问题,重点关注坦克、装甲车、特种运输车等有可能改变位置和姿态的时敏目标。此类目标具有目标小而多、目标类型多样、背景复杂和样本稀少的特点。为了解决这些难题,本文提出利用视觉显著性理
海洋具有丰富的物质资源,是各国经济和军事发展所必须的战略领域。水下传感器网络、海底光缆、水下机器人、水下无人潜航器(AUV)、蛙人等平台之间的通信需要更高的传输速率以及更高的可靠性。电磁波应用于水下,具有信息速率高、抗干扰能力强、截获概率低的特点。但是由于水介质的固有特性,导致水下电磁波通信面临一定困难,因此进行水下电磁波通信系统设计时急需解决的问题。本文从数学计算和仿真两方面进行了研究,使得水下
近些年来,随着智能移动终端的广泛普及,在线社交网络已经成为人们日常生活中不可缺少的一部分。人们通过在线社交网络浏览感兴趣的信息,并与兴趣相投的各种人交友,这些行为都是对用户兴趣爱好和性格特点等的刻画。通过收集这些信息可以实现对特定用户及其社交关系的画像,从而为人物分析等应用提供支撑。但对于公众人物,他们不仅出现在在线社交网络中,在公众的新闻媒体中也包含有与其相关的大量资料和相关人物,这些构成了他们
由于自然语言文本的抽象语义与内容多样等特征,文本生成方法面临两方面的挑战:一方面,自然语言文本在表达上形式多样、上下文内容动态变化,需要能准确理解并在线建模大规模文本上下文内容的方法。另一方面,基于模型的文本生成方法其生成的内容在语义上容易出现上下文主题不一致的情况;针对以上问题本文开展了基于主题模型的文本生成方法研究,旨在基于动态主题模型对文本的上下文内容进行动态建模,并且提供在线处理大规模数据
随着经济、科技和生产的飞速发展,航天器系统的结构设计日趋复杂,功能愈发全面,呈现出规模庞大、综合集成、深度智能等特征,伴随着航天器复杂程度的增高,其在轨故障发生率明显提升,遥测数据是地面管理人员或用户判断和了解航天器状态的主要途径,采用数据驱动方法高效、准确、及时实现航天器遥测数据的异常检测具有非常重要的现实意义和应用价值。论文针对航天器遥测数据,开展了单元和多元异常检测研究,主要工作和创新如下:
面部微表情(Micro-Expressions,MEs)是一种自发的,不自主的面部运动,一般当人因某种情感故意或无意识地试图隐瞒他或她的真实情绪时发生。最近,微表情识别由于其在临床诊断,商务谈判,审讯和安全等方面的潜在应用而引起了越来越多的关注。然而,构建大尺度微表情数据集的成本很高,主要是由于自发微表情难以诱导。这限制了深度学习方法的应用,因为其需要大量的训练数据。本课题围绕微表情图像和视频序列
随着战场信息化、智能化的演变趋势,当前战争节奏快、机动性高、物资消耗大,对相应后勤保障的要求越来越高,特别是装备物资运输方面。但是传统地面战场的物资配送多采用车辆配送,成本高、机动性差、易产生人员伤亡,无法满足当前战争的要求,很容易出现衔接不紧、保障不及时等现象。相比之下,无人机作为一种新兴的运输技术,具有成本低、机动性高、操作方便、能有效避免人员伤亡等优点,应用于战场配送已经成为了一种不可避免的
从大量军事文本中快速、准确地获取需要的有效数据信息,并转化为人和机器能够共同理解与使用的结构化形式,是当前军事信息处理领域迫切需要解决的问题。信息抽取是解决这一问题行之有效的方法,事件抽取是实现信息抽取的关键。军事想定事件抽取,是指从自然语言表示的军事想定文本中抽取出用户所需要的事件信息并以结构化形式呈现的过程,是信息抽取、事件抽取、数据识别等技术在军事想定领域的应用,能够帮助军事人员准确高效地理
随着脑影像技术的快速发展,可利用的数据量与日俱增,对多数据集的组分析发展成为大脑成像数据分析中的一个重要课题。组分析主要关注于从多个数据集中提取群体的共性特征和差异特征,其优势在于利用大数据得到可靠的分析结果。目前组分析技术存在两个问题:一是多次数据降维导致的定阶问题,二是先验信息利用不充分的问题。本文分别针对这两个问题给出了改进思路,并提出了优化的组分析方法,主要工作总结如下:提出维度优化概念并