【摘 要】
：
随着大数据时代的到来,各大互联网公司对于数据的重视程度前所未有,各种业务对数据的依赖越来越重,现今的数据处理系统大体上可以分为批处理和实时处理两种,并且各项业务对实
论文部分内容阅读
随着大数据时代的到来,各大互联网公司对于数据的重视程度前所未有,各种业务对数据的依赖越来越重,现今的数据处理系统大体上可以分为批处理和实时处理两种,并且各项业务对实时性的要求越来越高.此外随着云计算的普及,越来越多的客户选择使用基于云的服务以避免冗余的设施购买费用和繁杂的系统设计与维护,从而将精力集中在自己的专业领域.本文通过对当前实时计算框架的深入分析,构建基于互联网公司大数据高性能分析系统,该系统具备良好的鲁棒性、扩展性、兼容性,并且能依据数据特征自适应的选择处理引擎.实验证明,相比纯Hadoop构建的大数据处理系统,本系统可以在数据计算方面提高至少50％,至多30倍的加速,此外通过基准测试工具能提高15倍的性能,并且在大量批处理的ETL 计算中也能达到40％的性能提升,该大数据系统已经良好运行半年,广泛服务于网易公司的各方面业务.
其他文献
科学可视化是一门跨学科的研究和应用领域,它旨在帮助不同科学和工程领域的专家理解和分析数据,可视化工具和系统这一过程中扮演关键角色.目前已有的可视化系统仍然存在一些
叔父聂崇岐(字筱珊),1903年出生于直隶(河北省)蓟县马道庄(现属天津市)。幼年时代就读于蓟县与宝坻县交界处的“宝蓟中学”。当时家境窘困,只能走读,每天携带干粮,往返步行12
目的:通过实验探究分析消毒供应中心医院感染控制中运用持续护理质量改进后所存在的应用价值分析.方法:选取我院2018年至2019年期间消毒供应中心器械物品150例,选取医院各科
第一性原理计算软件在密度泛函理论的发展中起着重要作用.相比平面波方法,局域轨道法更适合处理大规模多体问题.随着问题规模的不断增大和计算机计算能力的提升,软件的并行加
目的:探讨应用持续性静-静脉血液滤过(CVVH)治疗老年顽固性充血性心衰(CHF)的效果.方法:选取62例研究对象并随机分成观察组32例与对照组30例,对照组实施常规抗感染及强心利尿
为了充分发挥多处理器系统的计算性能,可重构网络互连的多处理器系统通过改变处理器间的互连拓扑来支持系统的高效通信.本文研究了片上网络多处理器系统的拓扑重构容错问题.
目的:冠心病心力衰竭应用联合用药的临床疗效及治疗安全性探讨.方法:于本院收治的冠心病心力衰竭患者中筛选出65例参与研究,计算机随机分为对照组(n=32)和观察组(n=33),分别
目的:研究在产科中应用新产程管理后的应用效果.方法:选取本院在2018年11月-2019年11月期间收治的产妇共500例,依据随机分组法,将患者分成常规组和对照组,观察两组产妇的各个
高性能互连网络的研究表明,高阶路由器可以显著缩短网络直径,减小网络构建成本,是当前高性能计算的研究热点之一.高阶路由器设计面临的主要挑战之一是队头阻塞,它使N×N交叉
目的:探究Er,Cr:YSGG水激光在乳牙根管治疗一次法中应用的临床效果.方法:筛选2018年5月-2019年11月我院收治的根管治疗患者72例作为研究对象,按照患者选择的治疗方案分为探究