对于传统的数据存储方案,一般都使用行式存储引擎进行存储,通过对比行式存储引擎的缺点,相应的列式存储引擎具有更好的优势进行存储。通过列式压缩具有比行式存储具有更高的压缩比率,通过获取指定列数据可以减少更多IO操作,这些优势对于存储海量数据来说具有更大的吸引力使用列式存储更能体现其优势,性价比也更好。基于此,比较流行使用的Orc和Parquet列式存储文件应运而生。为了更好的对该列式存储进行优化,在Hive on Spark环境中,通过TPC-DS基准测试框架生成相关的数据,对比生成相同数据量的Orc和Parquet列式存储数据。在生成数据的过程中,Orc使用不带有任何压缩的编码方式进行数据获取,而对于Parquet存储,分别采用行程编码和字典编码进行数据压缩,最后获取各自生成的数据量大小。对比前后两者的数据量大小,通过压缩后的数据量看是否能够提高数据的存储效率,确定Orc的优化方案,对Orc列式存储的重新读写进行设计并添加相应的编码方式进行设计,最后通过实验确定优化前后的区别。通过对Orc列式存储的优化设计,同样在生成数据量的过程中,分别指定生成Orc和Parquet的数据存储格式,此时不同的地方在于生成Orc的方式采用行程编码和字典编码。对比之前的数据存储效果,Orc优化后的数据存储能够获得比较大的提升,因此对于相同类型的列数据采用一定的编码方式确实可以提高磁盘的存储性能。