随着Spark SQL和HDFS在大数据结构化查询领域的广泛应用,数据查询速度有了明显的提升,但同时也暴露出了一些问题,如HDFS默认数据块大小设置不合理影响Spark SQL的查询效率、Spark SQL读取海量小文件效率低等。这些问题在处理以4G行业应用卡(以下简称4G行卡)数据为代表的通信数据时尤为明显。本文主要研究4G行卡数据在HDFS上的分布式存储,通过对数据在HDFS上的存储优化来提升Spark SQL的查询效率。研究内容包括动态设置HDFS数据块大小以及针对海量4G行卡小文件的处理,最后根据研究成果设计并完成了4G行卡数据ETL系统。本文的主要工作如下:1.针对4G行卡数据中较大的数据,在详细分析了其在HDFS上数据块大小对Spark SQL查询效率的影响后,提出了根据数据大小的不同动态设置HDFS数据块大小的方案。实验结果表面,相较于HDFS默认的配置数据块大小的策略,在动态设置方案下,同一类型的数据存储更加均衡合理,Spark SQL的查询效率更高。2.对于Spark SQL读取海量小文件效率低下的问题,从理论上分析了其原因,根据4G行卡数据的特征,改进本地合并存储模型对海量小文件进行合并和转换,然后将合并转换后的小文件按时间分区存储到HDFS的方案。对于小文件的合并方式,对比分析和测试了基于Java多线程和基于Spark进行合并这两种方案的性能。实验结果表明,在对海量小文件进行合并转换后,Spark SQL的查询效率有了显著的提升。3.本文根据上述的研究成果设计和开发了4G行卡数据ETL系统,根据4G行卡数据分析业务的需要,对各个功能模块进行了分析和实现,该系统也已经通过了客户的运行测试。