基于Z曲线的分布式Skyline算法研究

来源 :浙江大学 | 被引量 : 0次 | 上传用户:yo55an
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着数据爆炸式的增长,如何从海量数据筛选出人们感兴趣的信息,成为当今数据库领域的一个重要课题。Skyline计算通过维度间支配关系的定义,提供了满足上述需求的查询方法。在多标准决策,数据挖掘与可视化,用户偏好查询等众多方面,Skyline查询起到重要的作用,吸引了众多研究学者的关注。近年来学者们提出了众多单机环境下集中式Skyline计算方法。  然而,近年来数据的暴增使得单机的Skyline计算遇到瓶颈,本文在Master-Worker结构基础上,结合Kd树和Z曲线模型,实现了一个通用的分布式Skyline查询方法。  本文总结了目前集中式的Skyline算法,探讨了各个算法的优缺点和使用场景;分析了分布式Skyline查询基于对等网络的实现方法,针对对等网络中的几点不足,提出了基于Master-Worker结构的分布式Skyline查询方法。  在Master节点的设计与实现中,从数据分配方法出发,总结了几种一维的分配方法。结合Skyline的查询场景,本文提出根据Skyline的查询维度分配输入集,并结合kd树模型实现了Master节点的分配算法。  在Worker节点的设计与实现中,本文探讨了Z曲线适合Skyline查询的几点因素,并结合Z曲线模型实现了Worker节点的并行Skyline算法。  针对上述的算法,本文进行了大量的实验。从数据的维度、分布与大小三个维度构造多种数据集,通过实验证明了算法的效率。
其他文献
由于以处理器、内存、外存等硬件为支撑的计算机数据处理能力和计算机网络的飞速发展,起源于单处理器和高I/O延迟的计算机时代的数据库以及数据库管理系统在容量、负载以及性
如何生成高精度真实感三维人脸动画是计算机图形学和计算机视觉领域的一个重点研究课题。当前三维人脸动画建模技术应用领域十分广阔,包括影视制作、人脸识别、虚拟现实以及游
面向对象编程思想的本意是将程序员的心智模型(Mental Model)与用户的心智模型统一于代码之中,为了人机之间的交互顺畅,程序员的心智模型与用户的心智模型必须彼此吻合,形成
无线传感器网络(Wireless Sensor Networks, WSNs)通常是指由数目众多的传感器节点大规模布局而形成的网络系统,节点利用无线通讯、多跳和自组织的方式把收集的信息传递到基站。
物联网(InternetofThing,IoT)在物流、医疗、交通领域都被广泛的利用。物联网技术对人们的生活习惯、企业和社会的发展都有深远的影响,实现了人与人、物与物、人与物的统一。由
数据库对象(表或者索引)的空间管理是数据库系统的关键问题,当数据库进行插入时,需要在对象的物理空间中寻找一个可用的页面,这个查找过程既要保证高性能,又要尽可能利用好有限的物
作为与日常生活息息相关的基础设施,办公楼、购物中心、地铁站、机场、医院等大型建筑物的内部结构日益复杂,使得人们在其中经常迷路或很难快速找到目的地,而对有视力障碍的人来
在金融软件开发领域,随着业务不断发展,企业陆续开发了多个应用系统,每个应用系统具有各自独立的运行环境和数据存储方式,从而产生了不同的数据源。创建数据集成平台可以使得金融
Impala是为满足Big Query实时性需求而设计开发的大数据实时查询系统,其采用分布式查询引擎,通过高度的并行化、数据本地化策略,从而降低查询延迟。Impala提供了一些查询优化技
人脸检测是人脸识别、表情识别、安全系统和人机交互的第一步。传统的人脸检测对侧脸的鲁棒性较差,检测速度较慢,同时检测的准确率不高。针对这些缺点,本文提出了一种快速人脸检