当今是一个海量数据的时代,不论是电力、通信还是金融行业,每天都在产生着大量的数据。全球每人每年将会产生至少200GB的数据,截止2020年全球数据量将达到40ZB。通过什么样的工具或手段可以对数据进行快速的挖掘分析,看到数据的本质,找到其中的商机,是人们亟待解决的一个问题。Hadoop平台作为海量数据分析常用工具,在现代生活中的作用越来越重要。作为Hadoop生态体系下的数据仓库软件,Hive在数据挖掘与分析中的作用越来越明显。Hive是一种通用的海量数据存储仓库,没有优化过的Hive数据仓库受到Hadoop平台性能的限制,在数据量不断增大的情况下,其查询效率将成指数下降。我们可以通过对Hive进行优化,优化Hive的查询效率以及数据存储空间,用以提高的人们的工作效率。本文通过对Hive数据表存储格式进行优化,大大提升了Hive的查询效率。本文的创新点主要体现在如下两个方面：第一、本文提出了基于日志分析的Hive的海量数据存储优化策略。基于查询日志可以分析出用户的常用习惯,根据用户常用习惯对Hive系统进行优化,使得优化工作更有目的性和针对性。本文从数据分区优化策略、数据存储格式优化策略、去除冗余数据表和去除冗余字段策略、以及改造字段存储类型等四个角度对Hive存储进行优化。第二、本文就Hive0.9版本中RCFile提出了一种改进方案。通常在Hive的使用过程中,操作人员经常在一个字段很多的表中只查询很少的几个字段,效率很低。在RCFile的基础上,利用其列式存储的特点,并结合HiveO.12版本中ORCFile的对列压缩的特点,本文提出了一种Morcfile的存储格式,用以提高Hive在少字段查询中的查询效率。本文结合国内某金融机构现有的Hive数据仓库用上述方法加以改造。经过测试,优化后的系统在查询速度与磁盘空间利用率上得到了显著的提升。