一种基于Hive日志分析的大数据存储优化方法

来源 :软件 | 被引量 : 0次 | 上传用户:hanyancuiceo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
从2002年起,某金融机构积累了大量的银行卡支付日志数据。随着业务的不断增长,数据集高速增长,原生的Hive的查询性能已经不能令人满意。文章研究了大数据及存储的现状,提出了一种基于存储日志的分析的Hive存储格式优化方法,通过该优化方法从查询时间和存储空间利用率两方面使系统性能得到提升,提升了查询效率。论文对该金融机构原有Hive存储系统通过基于存储日志分析的Hive存储格式优化方法进行改进,通过实际数据,充分证明了该方法的可行性。
其他文献
农网三相负荷不平衡的问题一直没有得到足够重视,导致了农网降损难度大。深入分析了三相不平衡负荷对农网线损的影响,提出了针对三相负荷不平衡的管理和技术措施,特别对三相
随着中国日益成为世界老年人口最多的国家,养老问题也成为近年来学术研究的热点。老年住宅产品市场需求巨大,养老地产已成为中国众多企业实现战略转型的方向。本文在深入分析
新课程教学,强调关注学生自主学习能力的培养和提高,课程的设计与实施要有利于学生优化学习方式,使他们通过观察、体验、探索等积极主动的学习方法,充分发挥自己的学习潜能,
<正>童话是我们每个人心中的梦。童话的价值就是让我们的生活充满诗意和浪漫,梅子涵教授说"文学和童话是让我们过上云的生活"。童话教学主要集中在小学低中年级。三年级的小
针对道路桥梁工程的设计现状,对道路桥梁设计中常见的隐患以及设计方案与道路桥梁发展情况相脱节等问题进行了论述,并提出了有针对性的改善对策,以保证我国路桥工程的设计水
<正> 《中华人民共和国水文地质图集》(以下简称《图集》)是由地质矿产部水文地质工程地质研究所主编、地图出版社一九七九年公开出版的第一部大型综合性水文地质专业图集。
结合汶川特大地震后心理危机干预实践,总结心理危机干预的形式、准备工作、实施步骤、干预方法、效果评估以及督导过程,以指导心理专业人员对受害者进行有效的心理危机干预。
基于合同法的基本理念,一个合法有效的合同,应当尽可能地使之有效,然而合同缔结之后实际履行过程中,当因一方当事人违反合同义务或出现不可预见等情形,合同业已成为另一方当
<正>AT:不同于大多数追求"伟大建筑"的建筑师,您一直在灾区、乡村和偏远山区为普通人做大量的"平常建筑",履行着作为一名建筑师最本质的职责,被称为"人道主义建筑师"。那请您