随着后勤信息化管理的变革,运输车辆监控、安防人员定位以及仓储温湿监控等流数据管理分析已全部纳入后勤综合管理系统,流数据的激增使得传统的数据储存和分析系统在性能上出现严重的不足。因此,急需采用大数据存储和处理技术对系统进行全方位的升级。本文主要研究大数据存储系统的架构设计、大数据存储和分析组件的性能优化、关键技术的研究和实现。首先,详细介绍系统设计的大数据组件原理以及构成,并结合后勤大数据的数据源以及数据结构的特点,分析各种组件在不同使用场景下的优势,针对当前后勤综合保障管理系统中存在实际问题,通过研究数据采集、数据清洗解码以及数据存储和检索分析等环节,确定技术组件选型。然后,结合实际场景的业务需求,设计后勤综合保障大数据系统方案,系统由三个模块组成:数据采集与清洗解码模块、数据存储与分析模块、数据展示模块,将HBase作为分布式数据存储仓库,Spark作为数据分析挖掘的工具。针对HBase非行键查询需要全表扫描的缺陷、Spark在大表连接时Join操作的性能瓶颈,提出利用ElasticSearch构建二级索引和分区布隆过滤器优化的改进方法,提高了系统的实时检索和数据处理能力。最后,对系统的关键技术环节在测试环境进行实现,设计实验方案对改进方法进行实验验证,证明了该改进方法在后勤大数据场景下的可行性、正确性以及有效性。