基于机器学习的硬件事件语义分析方法关键技术研究

来源 :中国科学院大学(中国科学院深圳先进技术研究院) | 被引量 : 0次 | 上传用户:candyyao007
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
现代处理器一般只内置了少数的性能计数器,但是程序员往往需要捕捉十分大量的微体系结构硬件事件。这些性能计数器在记录硬件事件的过程中,随着时间推移,产生了几个GB甚至几个TB的数据,尤其在云计算的环境下,数以千计的服务器和数以亿计的负载应用使得结果更甚。云环境下的性能大数据,可以用于分析性能瓶颈根源,应用程序性能调优,以及编译器优化等等。但是,从这些大数据中提取有价值的信息面临着许多挑战,主要原因有:1)数据质量不高。性能计数器在采集性能数据的过程中,往往为了提高采样效率而损失了数据质量,产生了譬如缺失值和异常值等问题。2)数据信息难以理解。由于云应用的多样性、应用请求的实时多变性等特点,硬件事件信息量呈爆炸性增长。性能计数器所记录到的关于各种硬件事件的信息数据晦涩难懂。由此,本文提出CounterMiner,一个云平台上的性能数据智能挖掘系统,借助于性能计数器性能监测工具,对大量硬件事件的表现进行语义分析,寻找事件模式,从而有效地度量和理解云平台上的性能大数据。本文的主要贡献如下:1、数据整合。使用数据预处理技术对硬件事件做拼接、对齐、归一化等操作。2、硬件事件提纯。基于机器学习的方法对事件进行重要性的量化,用迭代排序的方法不断约简事件空间。3、硬件事件的内在联系。硬件事件之间具有强烈的相关性,通过一些度量方法探测其潜在的相互作用联系。本文通过性能计数器采集到的229个硬件事件,挖掘了8个基准测试程序上的表现特征。为了验证CounterMiner的有效性,本文找出与特定硬件事件紧密相关的Spark配置参数,用于Spark系统应用层和体系结构层的交叉性能优化。实验结果表明:1)一系列Spark程序具有共性与个性的表现特征;2)基于硬件事件重要性指导下的Spark参数调优性能比传统的参数自动调优方法在性能上提高了20%。
其他文献
近几年来,随着高校不断的改革与发展,教学质量已成为高校发展的核心工作内容。教学质量的高低和效果好坏,直接影响学校人才培养的质量,所以搞好教师教学质量评价是每一所学校
图像超分辨率重建算法通过信号处理的手段从低分辨率图像恢复出高分辨率图像,该技术可以突破目前的成像器件的固有限制和外界环境干扰,提升空间分辨率,在遥感成像、医学诊断
本文主要通过运用语料库语言学方法,义素分析法,语义场分类法等方法找出与人相关的复合名词中的近义关系和同义关系。本文由前言、第一章、第二章、总结、参考文献、附件、结
成长小说是发源于德语文学中的一种特殊的小说类型,该类小说刻画了主人公在成长过程中内在人格的塑造以及发展,“成长”是其核心内容。德国新波普文学是二十世纪九十年代中后
目的:探讨冠状动脉左前降支慢血流患者左心室室壁节段及整体心肌收缩和舒张功能的变化,以及在规律应用尼可地尔3个月治疗后,胸痛症状、左心室心肌节段及整体收缩和舒张功能的
聚类集成是一种将不同聚类结果或者聚类模式进行集成共识的方法,能获得比单一聚类算法更好的鲁棒性、稳定性和准确性。针对聚类集成的研究现状,其方法体系仍不够成熟,具有以
永磁同步电动机(PMSM)具有调速性能好、功率密度高、静态运行平稳和更优的动态响应性能,被广泛的应用在工业领域。在交流电机调速技术中,由于直接转矩控制(DTC)避免了旋转坐
谢觉哉是著名的“延安五老”之一,老一辈的无产阶级革命家,他一生致力于中国的民主革命和社会主义建设,是我党民主政治建设的主要领导者之一,为我国民主政权建立和人民代表大
《浅谈大译师恰·曲吉贝的翻译功绩》一文共分三章。第一章主要探讨了大译师恰·曲吉贝及其修习翻译的相关历史,共分为三节。第一节概述了恰译师·扎炯等几位恰氏的重要人物。
工业文明在过去两百多年内创造的物质财富比历史上的总和还要多,社会生产力水平取得了长足进步。但与之相伴的是人类活动的广度、深度和力度空前加深,人与自然的关系也日趋紧