【摘 要】
：
处理公共安全大数据需实现查询、全文检索、即时数据推送和内存计算等实时业务分析,而基于Hadoop生态系统建立的Hive不支持海量数据的实时查询,无法实现交互式查询和报表查询
【基金项目】
：
“十二五”国家科技支撑计划项目(2011BAK05B06;2011BAK05B05)
论文部分内容阅读
处理公共安全大数据需实现查询、全文检索、即时数据推送和内存计算等实时业务分析,而基于Hadoop生态系统建立的Hive不支持海量数据的实时查询,无法实现交互式查询和报表查询快速返回数据结果。针对Hive实时查询的不足,首次将Impala架构应用于公共安全数据处理上,结合Impala实时查询引擎的原理,分析了Map Reduce上Hive的实时查询缺陷,比较了Impala和Hive的实时性能,改进了Impala上运行CURE碰撞比对算法,实现了异地数据碰撞比对的分析与展现。本系统的方案在实战应用中取得了较好的效果,可为公安安全领域构建大规模数据处理与分析系统提供技术参考。
其他文献
<正> 1996年山东青州龙兴寺遗址出土了一批石雕佛像,经过清理总数达400余尊,主要是北魏、东魏、北齐三个时期的。这批石造像发现后在国内外引起极大轰动,特别是受到了学术界
鲁迅,新文化运动的旗手。在新旧文化的对垒中,他是一名斗士。他的小说与杂文,都是匕首与投枪,直刺对手的心脏。毛泽东说,鲁迅先生的骨头是硬的。但就是这名斗士,早年却没有突
职业倦怠是反映员工工作身心疲惫状态的指标。随着当今经济的快速发展,快节奏的生活和高压力的工作,使员工中的职业倦怠现象越来越普遍。而高速集团客服人员的工作内容复杂且
为了探索江苏省洪泽湖农场土壤速效钾的空间分布规律,精确衡量其土壤速效钾的供应能力,通过网格取样方法、利用GPS定位取得该农场的180个耕层(0～20cm)土壤样品,应用地统计学分
在我国高等教育高速发展的这十几年间,越来越多的高职院校注重对学生创新能力的培养。但由于高职体育这门学科的发展较为缓慢,仍然存在很多问题,所以在体育教学中培养学生的
货币政策是指一国中央银行为实现其特定的经济目标所采取的各种调节和控制货币供应量及信用总量的总称。货币政策实施的好坏直接影响着一国经济能否平稳运行。我国货币政策的
Copanlisib是一种新型磷脂酰肌醇-3激酶抑制剂,由德国拜耳公司开发。基于Ⅱ期临床试验结果,美国FDA于2017年9月14日批准其上市,用于既往已接受至少2次治疗的复发性或难治性滤
文章以CNKI中国期刊全文数据库为数据源,从总体趋势、基金、来源期刊、作者、机构等方面对高校图书馆学科馆员研究进行了统计分析,按照论文的主题内容进行了分类综述,介绍了
中华绒螯蟹是我国重要的经济养殖蟹类，俗称河蟹、毛蟹，是一种洄游性甲壳类水生动物，食性较广，贪食好斗，以水生植物、底栖动物、有机碎屑及动物尸体为食。中华绒螯蟹营养丰富、肉味
<正>科瑞石油仅仅3天时间就一次性完成了传统技术30天才能完成的煤层气压裂作业,施工技术堪比哈里伯顿、斯伦贝谢等国际石油巨头,高质高效的施工获得了客户的赞赏。近日,科瑞