高速网络流量环境中分布式大数据处理模式的性能研究

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:luke521314
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网与通信技术的飞速发展,网络与人们的生活紧密相关。这些丰富和便捷着人们的互联网应用,也无时无刻不在产生着大量用户数据的网络流量,这些流量中包含着非常有价值的行为信息。如何能够在高速网络流量环境中,对这些数据进行高效率分析和处理成为了学术界和工业界关注的焦点。由于目前在分布式大数据处理模式上针对其性能的相关分析和研究还很匮乏和浅显,因此有必要进一步通过仿真建模和数据分析等方法,对分布式大数据处理模式的性能表现进行深入的研究。本文首先介绍了高速网络流量环境的特点,以及在高速网络流量环境下进行海量数据处理所面临的技术挑战。最后对解决大数据问题的相关技术方案进行简要说明。随后,对业界最广泛采用的Hadoop大数据处理模式的技术实现进行了深入分析,其中着重对其性能表现的重要影响因素进行了细致的讨论。接下来,提出了通过基于Petri网对Hadoop进行仿真建模的方法,并实现对Hadoop的性能表现进行预测的仿真工具。并且通过比较其仿真结果与Hadoop在真实环境中的实际测试数据,从而证明Hadoop仿真工具的准确性,高效性和可拓展性。最后,对Spark这种新兴的大数据处理模式的产生原因和设计思想进行了深入分析。以及通过Spark与Hadoop在高速流量网络环境中的实际测试性能数据,对两者的性能表现进行分析。
其他文献
西方油画发展至今,我们可以把它分为三个阶段,分别体现出三个方面的特征,即古典绘画色彩、印象派绘画色彩和现代绘画色彩。古典绘画以追求色彩表达的真实感为发展线索;印象派
历经8个多月的层层甄选与晋级,芒果TV纯网综艺选秀扛鼎之作2016蒙牛酸酸乳《超级女声》于9月4日凌晨盛大落幕。冠军之夜超女选手收获总人气值39.5亿,节目同时在线峰值高达100
思想政治课有效教学是指思想政治课教学对学生所产生的积极有益的影响。在这里“有效”是相对于“无效”或“负效”教学而言的一个价值关系的概念,强调的是教师(主体)与学生(客体
本文阐述了液体起电的偶电层理论,在偶电层理论的基础上分析了油轮静电的产生机理。介绍了国内油轮静电隐患状况,并针对相关状况,提出了油轮静电隐患的一些防护措施。
目的探讨健康信念模式对提高糖尿病患者依从行为的影响,为开展适合糖尿病患者的健康教育提供依据。方法选择2010年10月至2011年3月在本院内分泌专科住院的2型糖尿病患者60例
介绍了长洲水利枢纽水情自动测报系统建设目标、范围、站网布设及水文预报方案,根据长洲水利枢纽和所在流域的特点,在已建"西江预报系统"和已建电站水情自动测报系统基础上改
目的评价患儿家长健康素养与儿科急诊就诊率关系,以及针对低健康素养患儿家长的扫盲干预能否降低急诊就诊率。方法检索Pub Med、CINAHL、CNKI等数据库中相关文章,按照纳入和
目的分析和研究优质护理服务在儿科门诊输液室中的实施效果。方法选取儿科门诊2017年1月至2017年12月收治的90例输液患儿为例,随机分为对照组和观察组,对照组给予常规护服务,
目的对土茯苓总黄酮中药汤剂治疗湿热瘀阻痛风的临床疗效及君药提取物土茯苓总黄酮的药理作用进行分析。方法于2017年3月~2018年8月采用定群抽样的方法选河南中医药大学第三附
21世纪城市间的竞争是个性魅力的竞争。成都确定了"世界现代田园城市"的形象定位。基于城市公众的视角,从经济发展、环境保护、行为形象、标识形象和旅游形象五个方面研究了成