论文部分内容阅读
实时数据库系统是大型流程工业企业生产信息化的基础数据平台。随着流程工业的迅速发展,传统实时数据库索引技术由于数据规模相对固定、性能难以扩展、灵活性不足,在系统容量、可靠性、可扩展性等方面已无法满足实际应用需求。研究可支持海量数据存储、分布式冗余备份、规模动态调整的智能索引技术,对实时数据库的分布式化具有重要的理论意义和显著的实际应用价值。本文针对流程工业数据特点与组织方式,提出一种分布式实时数据库智能索引技术,将现有的流程工业单体实时数据库索引技术与NoSQL海量数据存储索引技术相结合,实现了工业测点数据在分布式环境中的自索引与自调整功能,使用户无须关心测点数据具体的存储位置、各测点的负载等情况,并有效解决了网络带宽的性能瓶颈及测点存储位置的动态维护等问题,提高了系统的易用性、安全性和可扩展性。本文基于已有的实时数据库高性能存储索引技术,创造性地提出一种适用于流程工业测点类数据的分布式智能索引机制,主要由索引存储查询、负载均衡、多重副本三项技术构成。索引存储查询技术通过建立一个虚拟化的Token域,根据Hash算法将每个测点(组)映射到域中的某个Token,然后根据集群负载情况,为各服务器动态分配所管辖的Token范围,并设计高效的数据结构,保证集群状态发生变化后,可支持查询分散在各个服务器上的测点历史数据,并支持测点订阅。负载均衡技术采用双回路反馈机制,在各服务器负载有失衡的趋势时,通过动态调整测点数据写入流向,预先调整各服务器的负载,避免了大量数据迁移操作。多重副本技术实现了流程工业测点数据的并发查询及智能备份功能,在服务器宕机时可以不中断服务,在数据丢失时可以恢复,并且可以为数据的并发查询提供支持,保证了其实时性和可靠性要求。该设计作为分布式数据读写机制的核心,为满足整个系统的功能性和非功能性指标提供了保证。本文基于以上机制实现了分布式智能索引原型系统,并使用4台通用服务器搭建测试平台,对存储、查询、负载均衡功能、10万测点推送压力下的性能进行了全面的测试验证。测试结果表明,原型系统的各项功能与整体性能符合设计要求和应用需求。