【摘 要】
:
大数据流式处理作为新的容错、分布式的实时计算系统,其主要体现在分布式远程的调用、实时分析、在线机器学习、持续计算以及数据的抽取、转换和加载等领域,高效、简单的操作
论文部分内容阅读
大数据流式处理作为新的容错、分布式的实时计算系统,其主要体现在分布式远程的调用、实时分析、在线机器学习、持续计算以及数据的抽取、转换和加载等领域,高效、简单的操作使之深受广大群众的追捧。Apache Storm作为大数据流式处理的主要平台之一,存在着高能耗的问题,其节能的策略还有待提高。因此,无论从降低大数据处理的运营成本,还是从降低能耗保护环境方面,研究Apache Storm平台的节能策略都有着广泛的应用前景。由于Apache Storm平台处理数据时缺乏对能耗问题的考虑,导致其数据处理过程产生的高能耗问题亟需解决。针对这一问题,本文首先根据数据流处理的特点与Storm集群的结构,建立有向无环图、实例并行度、任务资源分配与关键路径模型。然后结合拓扑执行关键路径与系统性能的分析,提出一种Storm平台的内存电压阈值调控节能策略(Energy-efficient Strategy by DRAM Voltage Threshold Regulation in Storm,DVTR-Storm),该策略针对是否有工作节点位于拓扑执行的非关键路径上设计了两种节能算法。其中,当存在工作节点位于拓扑执行非关键路径上时,利用非关键路径节能算法,在不改变拓扑执行关键路径的前提下,通过降低拓扑执行非关键路径上工作节点的内存电压来达到节能的目的;当不存在工作节点位于拓扑执行非关键路径上时,利用关键路径节能算法,在对系统性能与能耗进行评估的前提下,通过降低拓扑执行关键路径上工作节点的内存电压来达到节能的目的。最后,根据系统数据处理及传输的制约条件确定工作节点CPU使用率与数据传输量的阈值,并对选定的工作节点内存电压做出动态调整。实验结果表明:非关键路径节能算法使系统能耗降低了28.5%,关键路径节能算法使系统能耗降低了35.1%,并且Storm集群数据处理及传输的制约条件越小节能效率越高。
其他文献
目的 探讨吉西他滨联合顺铂方案的新辅助化疗治疗肌层浸润性膀胱尿路上皮癌中的临床疗效。方法 本研究纳入标准:分期为T2~T4a N0M0期的膀胱癌患者。本研究回顾性收集了天津医科大学第二医院2019.01-2020.01期间,通过影像学及病理证实为肌层浸润性膀胱尿路上皮癌且行根治性膀胱切除术或根治性经尿道膀胱肿瘤电切术前应用3周期GC方案新辅助化疗的患者共18名。评估行新辅助化疗的患者化疗前和手术前
近年来,我国的交通运输事业飞速发展,地下空间得到了越来越广泛的开发和利用,隧道作为重要的交通运输媒介得到了大规模的建设。而隧道衬砌漏砂(水)诱发的地层塌陷问题出现,严重影响了隧道工程的安全运营。本文结合采用了室内试验、理论推导和数值模拟等方法,对隧道衬砌裂缝漏砂(水)诱发的砂性土地层塌陷的机理进行研究。主要的工作及研究成果如下:(1)采用自行设计的可视化地面塌陷漏砂(水)室内试验系统。通过对同一涌
课题来源于一个校企合作项目,项目旨在实现一个列车生产数据的自动采集和关联应用的企业级监测管理系统。课题针对机车生产厂的特殊生产环境,设计并实现了一套基于RFID技术的
当前,大多数国家和地区都采用静态(固定)分配频谱的方式来管理频谱资源,这种分配频谱的方式会产生信号检测中的第一大难题:频谱资源的利用率低。再者,新兴的无线通信业务随着
近年来物联网技术成为了通信领域的一个研究和应用的热点,许多新的技术与标准被提出来。其中,电力线传输技术比较具有特色,它是一种利用电力线同时传送电能以及信息的通信技
近年来,铁路行业不断发展带动列车生产制造行业也不断发展、创新,如何能够对列车生产车间进行科学、智能的管理已然成为企业管理者所追求的首要目标。而对于车间管理系统来说
在人们的生产生活中,室内环境扮演了非常重要的角色。随着互联网和物联网的飞速发展,网络的覆盖范围不断扩大,人们对于室内环境下基于位置感知服务的需求也变得越来越大,以GP
驱动系统安装在转向架上构成机车走行部的核心部分,是确保机车运行安全和运输效率的关键因素。机车的持续不间断运行导致驱动系统关键部件磨耗加快、工作条件恶化、性能参数也不断变化,因此对机车驱动系统的状态检测一直是保证机车运行安全性和可靠性的重点,最常用的手段就是对各关键部件进行振动检测分析。振动分析对评判机车车辆的装配质量和维修保养中的诊断识别都具有重要意义。基于以上背景,本课题以HXN3型机车驱动系统
信息加密是计算机网络安全研究中的重要内容之一,而密钥是加密算法中的可变部分,它很大程度上决定着保密通信的安全。所以,通信双方如何在确定对方身份的同时达成会话密钥,成
这项研究的目的是调查全球化对中国西安教育服务业中组织文化某些关键维度的影响。使用改编的组织文化评估工具问卷(OCAI)和相关性研究来衡量全球化程度对组织文化某些关键维度的影响。本文的第一部分涵盖了对先前文献的分析,隐含了五个小节,涉及本文的两个关键变量,即全球化和组织文化。文献综述和调查结果均提供了有关中国组织文化以及全球化对企业文化的影响的见解.实证研究包括两个部分,首先是采用适应性组织文化评估