【摘 要】
：
为解决传统日志清洗系统在数据量增大时出现计算缓慢,磁盘I/O消耗过大,清洗不完善以及数据倾斜等问题,提出基于Spark的日志清洗系统设计。使用Hadoop、Flume、Kafka、Spark S
【机 构】
：
陕西科技大学电子信息与人工智能学院
【基金项目】
：
陕西省科技厅农业科技攻关工程基金项目(2015NY028)
论文部分内容阅读
为解决传统日志清洗系统在数据量增大时出现计算缓慢,磁盘I/O消耗过大,清洗不完善以及数据倾斜等问题,提出基于Spark的日志清洗系统设计。使用Hadoop、Flume、Kafka、Spark Streaming、Hbase等大数据组件进行系统搭建;通过决策对象识别算法对日志中重复数据进行快速过滤、去重,优化Join操作以避免数据倾斜;实现清洗模块,提高数据清洗效率,达到优化系统的目标。实验结果表明,基于Spark的日志清洗系统相比传统的清洗系统而言,日志清洗速度和精准度得到大幅度提升,系统的性能更加稳定。
其他文献
展会是可以产生潜在的客户和创造新业务线索的好地方，但您是否能充分利用这些机会？欧洲Cvent公司高级营销总监大卫·查尔莫斯（David Chalmers）在他最新的“InAny Event”专栏
我国1997年修订的刑法,在溯及力问题上重申了1979年刑法的从旧兼从轻原则。因此在执行1997年刑法中,应着重把握溯及既往的两个条件,即“不认为是犯罪”和“处刑较轻”。
磷杂菲(DOPO)类阻燃剂是有机磷系阻燃剂的重要组成部分,近几年作为卤系阻燃剂的替代品引起了广泛的关注。DOPO类阻燃剂分为添加型和反应型两大类,不同类型的阻燃剂具有不同的
传统的煤层气动力学模型均是建立在欧几里得几何基础上的。难以描述煤层孔隙结构的复杂性及形状的不规则性。本文以分形理论为基础。通过引入分形维数来刻画煤层孔隙结构的复
据调查，警察院校有相当多的学生学习自主性不强，学习效果不好。究其原因，缺乏自主学习的动机、缺少竞争的学习氛围、学生在校自主支配时间不够充足、教师缺乏新的教学理念等是主
介绍了土城矿抓好矿井通风和瓦斯治理工作中的几点作法,保证了矿井安全生产。
在刑事案件侦查中,对人身死亡主体现场的勘验,尤其是对尸体的现场勘验,十分重要。通过对主现场的位置、概况,尸体在主现场的位置、姿势、衣着,现场遗留的血迹、凶器,以及现场
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”＄ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’＃陈川个美食
Back to yield
“微笑”审讯概念的提出是着眼于我国警察机关审讯活动中的“稀缺元素”而论的。“微笑”审讯倡导的是审态平和、含而不露的谋略性的审讯方式。它是将形态上的沉静温和、语言
林业是我国社会经济发展的重点,也是全面实现“绿色”发展的关键,在林业插条育苗中,传统的方法是枝条播种繁殖,虽然这种方法在实际应用中比较简单,但是苗木的成活率较低,难以