论文部分内容阅读
关系型数据库经过几十年的发展,在解决数据存储、服务提供和问题处理上取得了巨大成功。然而,随着大数据时代的到来,大数据的多样性与丰富性、时变性与激增性,使得关系型数据库面临着诸多新的问题与挑战。非关系型数据库由于模式灵活、擅长处理大数据等优势,已在大数据领域中迅速发展。尤为显著的是,电网大数据具有来源丰富、结构多变、数量巨大的特征,要求使用多存储模型的数据库来共同提供存储管理能力。但目前尚不存在对多数据库统一操作的技术标准。因此,急需一项新的存储适配技术以便将不同数据库的数据操作进行统一的适配,使得高层应用能够对不同存储模型的数据库统一操作,以提升业务逻辑的开发效率。本论文旨在研发一种面向电网异构大数据的存储适配系统。该系统的研究目的是解决面向电网异构大数据的多数据库操作的存储适配问题,同时也可以为非电网领域的大数据应用提供数据操作的适配接口。它向使用多种底层数据库的客户端应用隐藏数据库的使用和管理细节,为客户端提供一套统一的常用数据库操作的适配接口,以提升应用的业务逻辑开发效率。这对数据量巨大、数据种类丰富而在底层需使用多种数据库的大数据应用而言,无疑具有重大意义。本系统对外提供的数据操作适配接口,具有一定的可扩展性与可修改性。除此之外,该系统的两个创新之处在于:首先,它会为客户端自动地选择一个最符合其性能需求的底层数据库作为适配对象,这是通过接收客户端发送的数据性能参数并调用系统内部的模型选择算法来实现的;其次,系统能够为客户端透明地管理底层数据库的索引,以提升客户端的数据查询效率或者尽可能成功执行其请求的数据操作,减少异常的发生。基于此,本论文的主要内容是设计并实现一种面向电网异构大数据的存储适配系统。首先,本文概述了课题的研究背景,并介绍了课题研究所涉及的相关理论与技术。其次,本文对系统进行了全面的需求分析,明确了系统的应用场景,其中重点介绍了系统的功能性需求。再次,本文结合系统的功能需求对系统架构设计进行了说明,并进一步地对系统模块的设计、相关的实现细节进行了详细的阐述。从次,本文的测试部分展示了系统模块测试与集成测试的过程、结果与分析,并简要地进行了非功能需求的验证与总结。最后,本文总结了整个存储适配系统的设计与实现过程,并指出了该课题的下一步研究方向。