论文部分内容阅读
随着信息技术的发展和信息化程度的提高,数据已成为各企业和机构的重要资产。而海量数据也为各种应用服务带来了严峻的挑战,提高对海量数据的访问能力和分析能力已经迫在眉睫。
海量数据通常使用分布式的存储方法。由于各种数据分析应用对查询处理效率的要求很高,因而在分布式基础上提高查询效率已成为数据库和信息处理处理领域重要的研究内容之一。
由于数据存取的随机性,各分布式存储节点间存在负载不均,会导致系统性能下降。目前在负载均衡领域有很多研究成果,但在分布式数据库领域的负载均衡研究还不成熟,并且目前成熟的分布式数据库产品中都没有实现自动负载均衡功能。
本文基于北京大学数据库研究室与西门子中国研究院的合作项目“面向负载均衡的数据分布组织的关键技术研究”,提出了分布式数据库系统数据分布和动态负载均衡算法,主要包括:
◇基于数据访问历史的数据分布方法DDAH (Data Distribution according toAccessing History)基于数据访问历史的数据分布方法DDAH使用修改的桶散列算法,基于数据访问历史,在系统初始时按照数据的访问负载对其进行分布,使得在初始条件下系统中各节点的访问负载近似相同,尽量降低系统负载的不均衡程度,减少数据或任务迁移次数。
◇基于数据访问负载的负载均衡控制算法LBCC(Load Balancing with CentralController)LBCC是一种带有中央控制器的动态负载平衡策略。中央控制器在全局状态信息的基础上做出负载均衡决策。LBCC能够在系统运行中,根据系统当前的全局状态自动进行系统负载调整,维持各节点的总数据访问负载近似相同,提高查询处理性能。
◇基于数据访问负载均衡的数据迁移策略DMLB(Data Migration based on LoadBalancing)DMLB是在LBCC算法做出负载均衡决策后,根据LBCC的决策结果来具体实施数据迁移的过程。在数据迁移过程中,DMLB能够保证在各种故障发生时数据完整性不被破坏,从而保证有价值的数据在迁移过程中不被丢失。
由于移动通信网络与交换子系统大量使用分布式数据库来存储用户数据,而实际应用中负载不均衡问题对系统性能造成显著影响,因此在移动通信网络基础架构上,本文设计并实现了移动通信数据交换系统DESC(Data Exchange Systemin mobile Communication)中的负载均衡子系统,将文章提出的各种算法应用于移动通信网络中。
文章在移动通信真实数据基础上进行了大量实验,实验证明负载均衡子系统能够在现有移动通信架构上稳定运行,并且本文提出的负载均衡和数据分布算法都具有较好的性能,可以有效降低任务平均响应时间和掉线率。