【摘 要】
：
海量数据的实时处理不仅要求计算框架快速高效,同时要求流处理过程中产生的中间数据的存储过程同样高效,因此,可通过提高Spark Streaming对中间结果数据的处理速度来提升流处
【机 构】
：
西安邮电大学,陕西省信息化工程研究院
论文部分内容阅读
海量数据的实时处理不仅要求计算框架快速高效,同时要求流处理过程中产生的中间数据的存储过程同样高效,因此,可通过提高Spark Streaming对中间结果数据的处理速度来提升流处理效率。为提高Spark Streaming处理中间结果的效率,文中选择HBase作为中间数据存储系统,并通过分析Spark Streaming的架构及HBase的存储原理,给出了Spark Streaming向HBase写入数据的方法并进行优化。通过对Spark Streaming存储过程的优化,可以一定程度上提高实时数据的流处
其他文献
改革开放政策的深入贯彻使得我国在经济发展方面取得了卓越成就,市场经济体制的建设使社会经济基础更加稳固。经济发展的未来前景可期。而市场经济的发展离不开人才的支持,思
新年伊始,平昌县西兴区按照“二四五八”要求,分阶段,重抓农村财务清理。“二”即做到二个结合,一是查账与调查群众相结合;二是公开的财务内容与实际账务相结合。“四”即把
一查收入 ,看有无隐瞒收入、截留收入、坐支收入、擅自加码、非法设立“小金库”。二查支出 ,看有无乱报、多报、重报、超标报支出。三查票据使用 ,一看收入票据 ,查有无白条
细胞自噬不仅能为受损或基因突变的细胞提供营养物质,继续生存,亦能使凋亡机制受损的细胞通过自我消化发生死亡,清除体内异常细胞,维持机体健康;自噬亦能促进肿瘤的发生发展
<正>二十世纪七十年代中期以来,随着东北地区考古发掘的深入,红山文化及其出土玉器逐渐得以确定。而辽宁牛河梁地区的考古发现,更凸显了红山文化玉器的重要性。这批玉器不仅
高职院校承担着培养技术应用型人才职责,与此同时这些人才具有创新意识和创新能力,其拥有实践操作的综合素质能力,艺术修养和审美能力是构成高职学生素质能力的重要部分。因
著名新闻记者、新闻教育家、经济学者、社会活动家、《经济日报》社原总编辑、“中国质量万里行”核心创始人艾丰同志,于2019年5月19日在北京逝世,享年81岁。艾丰走了,永远停
在如今科学飞速发展的时代,人们的价值基础开始产生变化,极端理性主义即犬儒主义的滋生和蔓延,使整个人类社会进入一种混沌状态,我们所处的时代成为一个失焦的混乱时代。如何
作为WTO《服务贸易总协定》所定义的一种服务行业，直销的法律问题已经不再是一国内部的事务，而是成为了国内法和国际法共同关注的议题。本文以中国的现行直销立法为基础，分析了