论文部分内容阅读
HLS-Ⅱ(Hefei Light Source-Ⅱ)是以真空紫外和软X射线为主的专用同步辐射光源,其运行过程中会产生大量的历史数据,历史数据的查询速度对于性能分析和故障诊断至关重要。目前,这些历史数据存储在Oracle关系型数据库中。随着存储的历史数据量越来越大,海量数据的存储和处理成为数据查询速度和数据性能分析的瓶颈。现有的HLS-Ⅱ历史数据查询系统是基于Oracle的网页应用系统,在查询时间跨度较大的历史数据时,由于数据量很大,响应时间较长,用户体验有待改进。在调研了国内外加速器装置的历史数据存档和检索系统现状之后,设计并开发了基于HBase的数据存档与检索系统(HBase-base Data Archiving and Retrieving System,HDARS)以满足海量历史数据的存储需求和提高历史数据的检索速度。在数据存储方面,HDARS通过搭建数百TB级Hadoop数据存储平台,使用HBase分布式数据库进行历史数据的存储,相比于Oracle数据存储,提高了海量数据的检索性能、数据存储的可靠性和可扩展性。在数据查询速度方面,HDARS从数据存档和数据检索两个方面来提高性能。在数据存档中,采用Archiver Appli-ance 作为数据存档软件,开发 HBase 数据存储插件实现数据由 Archiver Appliance短期存储向HBase迁移。为了解决大时间跨度的数据查询速度不足,HDARS设计了一个数据抽取算法,以不同的时间粒度抽取原始数据中的特征数据,原始数据和特征数据分别存入到HBase的原始数据表和冗余数据表中;在数据检索中,查询大时间跨度的历史数据时,将根据查询数据的时间范围来计算合适的时间粒度,从冗余数据表中检索并返回相应粒度的特征数据。此外,使用当下比较流行的Web技术开发了 HDARS的网页应用,实现了历史数据可视化、系统访问权限管理和Archiver Appliance的管理。在HDARS的设计中,以较小的冗余存储空间为代价来解决大时间跨度的数据检索速度问题。HDARS自2020年1月开始测试以来,性能稳定,可以在1秒内响应任意时间范围的查询请求,完全满足了用户对HLS-Ⅱ历史数据查询的性能需求。