论文部分内容阅读
本文基于Hadoop Yarn平台,通过Spark Streaming流数据处理技术实时处理Web日志、系统日志、监控日志等,很好地解决了目前存在的问题,并使用HBase(Hadoop No SQL Database)作为数据库存储,更好地适应日志数据规模的增长。
基于Spark Streaming的实时日志处理平台设计与实现
【摘 要】
：
本文基于Hadoop Yarn平台,通过Spark Streaming流数据处理技术实时处理Web日志、系统日志、监控日志等,很好地解决了目前存在的问题,并使用HBase(Hadoop No SQL Database)作
【机 构】
：
北京邮电大学网络与交换技术国家重点实验室,东信北邮信息技术有限公司
【出 处】
：
电信工程技术与标准化
【发表日期】
：
2015年09期
【基金项目】
：
国家973计划项目(编号:2013CB329102);国家自然科学基金资助项目(编号:61471063,61421061,61372120,61271019,61101119,61121001);教育部科学技术研究重点(重大)项目资助(编号:MCM20130310);北京市自然科学基金资助项目(编号:4152039);北京高等学校青年英才计划项目(编号:YETP0473)
其他文献
篮球作为一种传统的体育运动项目,它不仅可以强身健体、陶冶情操、锻炼意志,还能培养团队精神,丰富校园文化生活。而作为高校大学生体育活动的另一重要内容和方式的课外篮球
枸杞是我区特产.由于长期天然杂交和人工选择,形成许多类型,其产量相差悬殊,果实品质相差也大.为加速繁殖优良类型中的优良单株,我们于1980年开始试验枸杞的组织培养.两年多
本文在概念隐喻理论、原型范畴理论以及概念合成理论关照下,基于自建语料数据库,结合量化分析,透视汉英“N+N→N”构型名名隐转喻复合义的共相与殊相。通过对汉语1,111个以及
中篇小说《老人与海》是美国现代作家海明威晚年的一部杰作,分别于1953年和1954年获美国普利策奖和诺贝尔文学奖。本文拟从老人与孩子的对话以及他在海上三天与马林鱼和鲨鱼
为推动云计算战略在中国移动的有效落地,中国移动广东公司积极开展云计算应用的研究与验证,并形成了一系列应用成果。本文首先介绍了广东移动对云计算技术应用的整体规划,然
我国发展中国特色社会主义市场经济是当前女大学生价值意识领域变化发展的实体性基础，尤其是资本逻辑、规训式价值教育和西方价值普遍化问的彼此媾合是当前女大学生个体价值观
利用GPS高度和DTM高度数据,通过地形等效变换方法进行中高山区视磁化强度填图,避开了目前还不太有效的曲面地形改正方法问题,获得了精度较高的视磁化强度反演结果.这种适合于
中国茶文化底蕴深厚,内涵磅礴。茶是中国人生活中的必需品,人们常说"开门七件事,柴米油盐酱醋茶",由此可见,茶在中国文化和日常生活中有着非常重要的作用。中国茶文化具有明
近年来,在经济全球化的背景下,网络经济迅猛发展起来,其覆盖范围更广,用户和合作伙伴数量显著增加,对业务管理的需求相应增多,也对数据通信的速度和效率提出了更高的要求。随
随着信息技术的快速发展,现代工业工程向着快速化、智能化、信息化方向不断发展,其涉及范围以及复杂程度越来越复杂,能力要求越来越求,信息反馈以及相应要求越来越快。一旦出