分布式环境下基于数据划分的Top-k Skyline查询算法

来源 :郑州大学 | 被引量 : 0次 | 上传用户:slow1223rabbit
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的发展迎来大数据时代,使数据量呈现指数级增长,如何在众多数据集中选择满足用户兴趣的数据成为重点研究内容。skyline查询在多目标决策中成为该领域的热门研究点,但是skyline查询的结果集大小无法控制,当数据量和维度增大时,skyline查询结果集也会随之增大,用户从众多候选的skyline结果集中难以抉择。随之,出现了top-k skyline查询概念。top-k skyline结合top-k和skyline两者的优势,通过打分函数返回k个满足用户需求的数据对象,使输出结果集大小在一个合适的范围,避免skyline查询出现的结果集大小无法控制问题。在大数据时代下,top-k skyline查询处理方法存在效率不高及响应时间长等问题,如何将top-k skyline查询应用于大数据环境下成为亟待解决的问题。Map Reduce是Google公司提出的分布式计算框架,解决大规模数据的计算问题,具有良好的容错性和可扩展性等特点。因此,本文针对分布式环境下的top-k skyline查询处理算法进行研究。首先,针对top-k skyline查询中数据间存在多余支配检查的问题,提出Map Reduce环境下基于数据划分的top-k skyline查询处理算法(Partitioned Top-k Skyline in Map Reduce,MR-PKS)。该算法对数据进行区域划分,将传统的支配关系转化为区域间单向支配关系,过滤冗余数据和不存在区域支配关系的数据点间的比较;并给出基于Map Reduce框架下多个节点并行的top-k skyline实现,提高算法的执行效率。其次,针对基于数据划分的top-k skyline查询算法在高维空间划分区域不利于管理且低效的问题,提出基于用户偏好的top-k skyline查询处理算法(User Preference based on Data Partition Top-k Skyline in Map Reduce,MR-P-PKS)。该算法首先根据用户维度优先级对数据集进行降维划分,将数据划分至各个区域后进行过滤,减少后续计算的数据集;然后,利用区域间单向支配关系,根据维度优先级对数据进行逐次放松控制,减少数据间的比较次数,同时利用无差异阈值减少top-k skyline候选数据集。高维空间top-k skyline查询问题的解决,减少了计算开销,使结果集更贴近用户查询。最后,为了证明本文算法的有效性,算法实验分别从查询响应时间、数据点间比较次数、无差异阈值对响应时间的影响进行验证分析,实验结果表明本文提出的分布式环境下top-k skyline查询算法可以有效的减少比较次数和响应时间,提高算法查询效率。
其他文献
随着工业机器人的广泛应用,人们对于其精度要求也越来越高,而目前工业机器人的绝对定位精度普遍不高,因此开展对工业机器人绝对定位精度提升方法的研究尤为重要。机器人标定能以最小的代价弥补机器人本体结构与控制器内运动学模型参数不一致导致的误差,是目前提高机器人末端位姿精度的主要方法。本文以工业机器人为研究对象,从机器人建模、机器人末端位姿测量、参数辨识和误差补偿等几个方面展开研究,提出了一套相对通用的机器
我国人口老龄化问题日益严重,同时,由意外事故所造成的运动功能障碍患者的数量也在逐年增加,人们对于助行器械的需求也随之增长。而现有的电动轮椅大多采用摇杆控制方式,无法
随着无线传感技术的发展,基于WiFi信号的手势识别技术在物联网的人机交互应用中得到了广泛的发展。基于WiFi信号的手势识别因其部署方便、不侵犯用户隐私、可以非视距识别等
为给用户设备提供无缝覆盖、高传输速率、高可靠性,未来5G网络将朝向分层立体异构网络发展,以提高网络覆盖范围、减小盲区、增大网络容量。作为典型代表,双层异构网络基本涵盖了分层立体异构网络的所有技术与挑战,主要有:(1)严重的信号干扰;(2)实时信道增益的不确定性;(3)网络窃听风险。因此,本文考虑信道环境的多种不确定性,设计了无线异构网络鲁棒通信与信息安全传输方案,以适用于更复杂的5G通信环境。本文
一个人的健康状况与人体的温度息息相关,身体的健康出现异常,往往伴随着身体相应部位的异常发热,通过检测得到人体局部的温度分布热像图,并通过分析获得异常热源信息,能够达
阿秒(attosecond,1 as=10~-1818 s)脉冲是一种重要的可用于观测和控制原子、分子和固体中超快电子动力学的工具。目前国际上少数实验室已可通过高次谐波产生~50 as的单个阿秒
近年来,随着世界各国对于海洋开发利用的日益重视,为了深入了解海洋,水下无线传感网络作为一种探索海洋的有效方法已经引起了人们的广泛关注。由于海洋复杂环境的限制,水下无线传感网络中设备的电池难于更换,因此如何节省水下无线传感网络能耗以延长网络的使用寿命对于水下无线传感网络的发展十分重要。此外,网络中信息在传输过程的安全性也是当前研究的一个重点。本文研究了水下无线传感网络中信号传输过程的节能及安全性问题
工业机器人虽然重复定位精度很高,但由于绝对定位精度很低限制了工业机器人的应用,因此提高绝对定位精度能扩展工业机器人的应用范围。目前的工业机器人参数标定方法提高绝对
随着品牌传播逐渐成为房地产行业吸引客户、树立正面形象的一大重要路径,金地集团东南区域正积极创新品牌传播模式,希望率先通过代表项目的打造来为“因诚而美”品牌价值理念
在当前社会转型的大背景下,随着互联网等科学技术的发展,新一代中学生的成长受到多方面的影响,在家庭环境、学校教育、同辈群体及其自身因素之间的相互作用下,中学生产生偏差行为的问题日益突出,因此如何预防和矫正中学生偏差行为,是需要社会多方共同关注的问题,也是值得探讨的重要社会问题。本研究通过对上海市8所中学初二学生的偏差行为进行问卷调查,基于一般压力理论,考察上海市中学生压力及偏差行为的现状,分析压力对