计量检测市场竞争越发激烈的当下,加强计量质量管理体系建设成为计量检测机构提升整体能力的重要手段。当前,计量数据越来越庞大,需要的存储空间越来越多,又以证书报告、检测原始记录的存储需求最大。另外,管理决策需要的数据统计工作日益频繁,占用了大量的实时计算资源。面对这两种趋势,传统单机服务器系统的存储空间、计算能力扩展性不佳的问题愈发凸显,催生了应用大规模数据处理技术的需求。因为Spark基于内存和RDD技术,拥有更快的并行运算速度,本文提出采用Spark来作为大规模计量统计数据的运算平台。对于大规模数据统计查询的功能,用Spark周期性地预先计算各种条件组合的查询统计结果后存入数据库,用户查询时直接从数据库里读取结果,极大地提高了查询反馈速度。在使用关系型数据库存储系统各模块的结构化数据的基础上,结合使用Mongodb分布式数据库存储全部的证书报告和检测原始记录,拥有了并发读写速度快、存储容量易扩充和存取接口简单可靠的优点。Spark框架与Mongodb的结合构成了一个完整的计量大数据处理框架,除了满足目前的应用需求,也能为今后的计量数据挖掘、行业趋势研究提供支持。系统试验和应用显示,通过结合使用Spark框架、分布式Mongodb数据库和传统关系型数据库技术,以及条形码、VPN、短信等技术,完美支撑了计量质量体系的运转。该系统能快速生成统计数据,方便决策层的管理与决策,实现了证书报告和原始记录的大规模存储。另外,系统还完善了器具流转过程监控,满足了外检业务的管理需求,实现了对完检及时率和证书质量的监控。