【摘 要】
：
当前,数据增长越来越快,企业难以从海量数据中分析出有价值的信息,为企业制定商业战略提供信息支撑;大量企业开始使用大数据分析应用平台来进行基于数据分析的决策,从而提高企业产品和服务的质量。一些企业数据种类繁多,分析人员需要使用平台处理大量的数据分析任务,而这些任务的并发度高,易导致平台出现各种性能问题,由于大数据分析应用平台的功能架构复杂,造成性能分析难度大,需要花费大量的时间查找和定位性能问题。如
论文部分内容阅读
当前,数据增长越来越快,企业难以从海量数据中分析出有价值的信息,为企业制定商业战略提供信息支撑;大量企业开始使用大数据分析应用平台来进行基于数据分析的决策,从而提高企业产品和服务的质量。一些企业数据种类繁多,分析人员需要使用平台处理大量的数据分析任务,而这些任务的并发度高,易导致平台出现各种性能问题,由于大数据分析应用平台的功能架构复杂,造成性能分析难度大,需要花费大量的时间查找和定位性能问题。如果不能及时定位原因及采取解决措施,将存在平台崩溃的风险,可能会造成严重后果,因此亟需设计一个高效的性能分析系统。本文围绕大数据平台性能分析关键技术展开研究,并进一步构建面向大数据分析应用平台的性能分析系统。本文主要进行以下工作:（1）为解决不同场景的性能数据自动生成问题,设计了一个面向企业决策应用场景的大数据分析应用平台的测试基准Micro Big Bench。基于Micro Big Bench生成三种场景的工作负载,以模拟不同场景下的高并发环境,并利用非侵入式采集实现平台多任务场景下性能指标的采集工作,为性能分析提供数据支持。（2）为了解决异常检测准确率低问题,设计了一套异常检测流程。基于采集到的性能指标,利用LSTM模型对平台CPU利用率进行趋势预测,将CPU利用率的预测值和实际值进行差值计算,使用四分位数结合局部异常因子（Local Outlier Factor）的异常检测方法对差值计算结果检测其是否异常,并在检测结果异常时提供告警和定位引发异常的代码块,为分析性能瓶颈提供了重要依据。（3）在前述研究基础上,设计并实现面向大数据分析应用平台的性能分析系统。该系统集成了测试管理、性能数据采集存储,性能指标数据预测、异常检测和性能瓶颈定位等功能,并通过测试验证了系统的实用性。性能分析系统实现对大数据应用平台多任务下性能指标的异常判定及定位,提高了运维工作效率,降低了人工运维成本。
其他文献
随着通信技术的日益发展,对于无线通信网络的要求也逐渐提高,只能应用于单个频段的天线难以应对未来无线通信应用的需求,所以研究可同时工作在多个频段天线对无线通信领域有着重要的应用价值。开口谐振环（Split-ring resonator,SRR）结构是一种在磁性超材料应用中的典型结构,它在电磁应用领域有着悠久的研究历史,通过在天线中加载开口谐振环结构,能够有效实现包括小型化及多频化在内的多种功能需求。
本文简要概述Ni-Co合金材料的发展和材料缺陷的研究,详细介绍了分子动力学模拟方法和材料模拟的多种分析方法。本研究模拟了液态Ni-Co合金的快速凝固过程及拉伸过程,并采用平均原子能量、最大标准团簇分析法及位错提取算法等分析方法,深入探讨体系的微观结构演变机理及材料性能。首先,通过分子动力学方法模拟了Ni48Co52和Ni47Co53合金体系的快速凝固结晶过程,旨在研究两种Ni-Co合金体系内不同H
温度、湿度以及气压的多参数校准检测对于精密的仪器设备的校准十分重要,通常情况下,很多比较精密的仪器都需要在高精度的温度、湿度以及气压环境下进行参数校准。因此,当前市面上有很多用于控制温湿度和气压对精密仪器进行性能检测的标准器,但是这些传统的标准器设备受限于条件限制,基本都是大型仪器设备,只能固定放置在实验室环境进行工作,而不适合携带到工业现场进行现场应用。这就限制了多参数标准器的使用场景,例如在工
工人是否佩戴安全帽是工人在建筑施工场地穿戴规范中较为重要的一项。目前,对于安全帽的检测,主要集中在工人进出施工场地的时刻,不能保证工人正在施工时依然能正确佩戴安全帽;另一方面,对同一个目标重复识别的问题,会导致算法运行的时间复杂度提高、实时性降低、影响算法的准确度等问题。根据以上问题,本文设计并实现了一套基于视频的安全帽检测与跟踪系统。论文的主要研究内容有以下几个方面:（一）提出的系统主要分为目标
随着我国汽车数量的不断增加,城市道路交通堵塞现象日趋严重。智能交通系统应运而生并迅速发展,其中,交通标志识别是自动驾驶汽车的一个重要环节,它可以为驾驶员和自动驾驶人员提供足够的路面信息,从而减少驾驶员对外界环境的监控,提高汽车的安全性能。道路交通警示牌容易遭受自然场景中光线、气候、腐蚀变色、物理遮挡和拍摄角度改变等诸多因素的影响,这对道路交通标志检测提出了高度的技术需求。本文研究了基于DCNN的交
随着摩尔定律预测的器件尺寸和制造成本接近极限,开发新型且有直接应用前景的自旋器件至关重要。而具有同时调控自旋和电荷两种电子自由度特性的稀磁半导体（Diluted Magnetic Semiconductor,DMS）在其中不可或缺。故而,探索开发新型的稀磁半导体是一项有意义的工作。基于此,本论文利用第一性原理计算并研究了磁性元素、稀土元素、不同Mn浓度掺杂对Ca2Ge基DMS的电子结构和磁学性质的
社区检测或社区发现因社区网络结构的复杂性、多样性、动态性等特性,使得社区结构研究变得较为困难,其已成为复杂网络研究的重要科技问题之一。如何探究社区检测算法,快速、有效地将社区网络划分为社团内节点连接强度大、社团间连接强度小的系列子网络,提升社区检测的准确度,是社区检测研究关注的重要研究内容。为此,针对静态重叠社区检测、符号社区检测和动态社区检测问题,在建立社区检测优化模型基础上,借助果蝇视觉系统的
随着硬件技术的突飞猛进,使得越来越多的深度学习项目可以落地实现,诸如各式各样的机器人、无人驾驶等。其中,双目测距系统凭借其价格低廉、部署简单等优点应用十分广泛,是机器视觉研究中的一项重要核心技术,本文的研究目标是搭建一套高效的双目测距系统,具体工作如下:1.在双目测距系统中的检测部分。以YOLOV3为基准,对其检测头做出优化,将分类、回归、物体概率三个任务解耦,通过平行分支来实现;同时本文尝试探索
工业数据随着智能制造,企业数据化进程,形成了巨大的规模,由于各制造企业之间有着不同的数据采集、处理以及存储方式,使得海量数据来源复杂、结构各异;工业数据呈现出结构化、半结构化及非结构化特点,导致各企业系统之间信息沟通相互孤立;数据空间可以有效解决对多源异构数据高效管理问题,因此数据空间在工业领域成为了专家学者研究的热点。数据关联技术是构建工业数据空间的关键技术,近年来,大量的研究者采用图模型以及相
加壳技术是一种用于逃避静态检测方法的软件保护技术,加壳器（packer）是加壳技术的实现方式。被加壳器保护的软件被称为有壳软件,没有被加壳器保护的软件被称为无壳软件。有壳恶意软件是难以被基于无壳恶意软件的静态检测方法有效识别的,因此,在恶意软件检测过程中,有必要实现对有壳软件的有效识别,以便选择针对性的破解方法,提高对有壳恶意软件的识别精度。恶意软件开发人员为了提升恶意软件的破解成本,会使用独有/