论文部分内容阅读
随着计算机和互联网技术的迅猛发展，数据量急剧膨胀，传统的数据模型和索引技术已经无法满足大数据管理的需求。因此，对这些海量数据进行有效的管理就成为传统数据管理面临的主要挑战。作为一种新的计算平台，云计算一经提出就吸引了学术界和企业界的广泛关注。针对云计算应用的特点和需求，借鉴传统数据管理技术的理念，研究面向云计算环境的数据模型和索引技术己经成为一个重要的研究课题。本文主要作了以下三个方面的工作：（1）介绍了云计算的基本概念、特点和发展，并重点总结和分析了现有云环境下的数据模型相关技术和索引技术的研究现状。（2）针对云环境下典型的key-value数据模型无法有效支持用户的多种查询方式，如范围查询和非主键查询等，本文提出了一种基于P-Ring的改进数据模型Key-MultiValue。Key-MultiValue通过将key-value中value的属性进行分解，并按照查询热度动态改变所分解的属性以支持非主键的查询。另一方面，为了支持范围查询，本数据模型采用P-Ring结构对数据进行分区，同时为了解决P-Ring没有考虑到各个存储节点自身性能差异的不足，引入了节点性能状态参数。最后通过实验及结果分析表明，本数据模型能够有效支持范围查询和非主键查询，提高了查询成功率和查询吞吐量。（3）现有云计算平台大多支持简单的基于主键的查询，无法高效地支持相似性查询，且随着数据维数的增大，现有树型索引易造成维数灾难问题。针对上述不足，提出一种新的索引结构：VF-CAN。VF-CAN结合了基于路由协议的内容寻址网络（Content AddressableNetwork，CAN）和改进的矢量近似文件索引（Vector Approximation File，VA-File）。该索引架构采用全局索引和局部索引两级索引模式。局部索引使用改进的VA-File，即对VA-File的近似矢量按照距离相近程度进行k-means聚类。在全局索引中，以覆盖网CAN组织存储节点，为减少成本估计代价，只将局部VAK-File索引的聚类信息通过CAN接口公布到整个覆盖网络。最后通过实验结果及分析表明VF-CAN提高了系统的吞吐量，有效地提高了数据的查询性能。