【摘 要】
：
基于干净数据集的传统关键词Top-N查询技术难以直接应用于含有错误、空值与重复记录的脏数据集。大数据环境下,数据往往分布存储并且包含大量的脏数据,因此使用传统关键词Top-N查询技术难以得到可靠的查询结果。传统实体解析技术用于识别与合并脏数据集中的重复记录,然而需要付出很高的代价,将其应用于数据集中的记录连接更加困难,目前仍是挑战性问题。针对包含脏数据的多个关系{R1,R2,···,Rv}及连接运
论文部分内容阅读
基于干净数据集的传统关键词Top-N查询技术难以直接应用于含有错误、空值与重复记录的脏数据集。大数据环境下,数据往往分布存储并且包含大量的脏数据,因此使用传统关键词Top-N查询技术难以得到可靠的查询结果。传统实体解析技术用于识别与合并脏数据集中的重复记录,然而需要付出很高的代价,将其应用于数据集中的记录连接更加困难,目前仍是挑战性问题。针对包含脏数据的多个关系{R1,R2,···,Rv}及连接运算R1（?）R2（?）···（?）Rv,本文将研究实时实体解析与关键词Top-N查询技术。主要研究内容包括:（1）针对每个关系Ri∈{R1,R2,···,Rv},设计对应的小森林索引,每个小森林索引包含多个B+-树索引,每个B+-树索引分别建立在关系Ri中相应的不同属性,进而由所有小森林索引构成森林索引。同时,给出基于小森林索引的分块算法和基于森林索引的候选元组选择算法,有效减少了候选元组的数量。（2）针对包含错误、空值和重复记录的脏数据集,设计基于定长向量的排序算法。该算法视任何类型的数据为字符串数据,并使用多个映射函数将长度不同的字符串数据映射为长度相同的向量,从而利用向量运算代替字符串数据的运算,有效降低了计算复杂度。（3）针对包含脏数据的{R1,R2,···,Rv},讨论关键词Top-N查询。结合Map Reduce框架对每个关系Ri中的元组进行词语特征抽取和统计,创建关于词语的森林索引和融合特征统计的索引算法。同时将实时实体解析与关键词Top-N查询处理相融合,设计候选元组的排序算法,使得关键词Top-N查询方法能够直接应用于脏数据集得到Top-N结果。实验中基于两个不同的数据集生成了14个分别拥有多种关系、数据量和脏化程度的数据集,并根据这14个数据集的特征进行多组对比实验,每组实验对算法的某些性能进行测试、评价和分析。大量实验结果表明针对包含脏数据的多个关系{R1,R2,···,Rv},基于森林索引的实时实体解析算法及其与关键词Top-N查询的融合算法是有效的。
其他文献
在互联网信息技术持续推进影响下,“互联网+政务服务”在政府行政内部已经是一种普遍现象,“一网通办”是“互联网+政务服务”在政务实践过程中不断优化升级的时代产物,是践行“以人民为中心”的发展理念,融合了整体性治理理论、整体性政府和电子政务的特征。社会保险“一网通办”服务,坚持以群众需求为导向,通过线上线下深度融合,推动跨区域、跨层级、跨部门数据整合共享,社保服务流程再造。线上充分利用大数据、人工智能
我国的民歌有着悠久的历史,蒙古族民歌更是源远流长,曲调旋律素材来自于蒙古族生活的方方面面,反映出了蒙古族人民淳朴率真的生活风情。蒙古族民间音乐素材被作曲家们广泛应用于各种乐曲体裁中,也成为钢琴作品改编的主要素材。笔者在民歌改编为钢琴赋格曲的原民歌选取方向和民歌故事情节的筛选中,查找到通辽市文学研究所编著的《科尔沁叙事民歌曲集》,这套书籍一共四本,汇总了有关于科尔沁人民生活生存方方面面的真实写照及民
民营经济属于社会主义市场经济不可或缺的一部分,在加快社会经济建设、解决就业问题、推动科技革新等方面有着重要影响;现阶段由于疫情、社会形势等因素的变化,经济发展下行压力加剧,科尔沁右翼前旗现如今的民营经济发展面临严俊挑战。税收营商环境与企业经营活动息息相关,是企业竞争中的关键影响因素。构建良好的税收营商环境,在很大程度上能为民营经济的健康发展奠定基础。本文综述相关研究文献,从新公共服务、税收激励、最
随着我国城市化进程的加快,人民生活富裕的同时城市生态也发生了重大变化。城市正在逐步发展成为一个复杂的运作系统,管理人员面临新的挑战。社区是城市的基本单元,其安全与稳定与城市的总体安全是分不开的。但目前,社区公共安全面临着很多传统和非传统威胁,对社区发展与安全有严重影响。公共安全是政府应提供的公共产品中的重要组成部分,而社区公共安全风险防控管理水平对预防和控制影响社区公共安全的风险,消除危害公众安全
毕业音乐会是提升个人专业能力的很好的平台,也是本人的一次历练。本文将音乐会设计与演唱实践为研究对象,划分为三章内容进行叙述。第一章:毕业音乐会的整体构思与曲目选定,在导师的指导下,与导师商定音乐会的主线,根据自身声部特点界定曲目难度,分类划分排布,完成音乐会风格的定位。第二章:三首重点曲目风格特征与演唱诠释,从歌曲基本内容介绍到曲式分析、音乐表情分析、气息控制、吐字咬字、发声技巧、情感把握、角色塑
安全生产工作担负着保护人民群众生命财产安全和维护社会稳定的重要使命。随着社会经济的高速发展,安全生产充当着越来越重要的角色。近几年,国内非煤矿山安全状态持续稳定好转,但各种原因事故仍然频发反复。2021年9月1日起,新《安全生产法》对安全生产的监管水平提出了更高的要求,包头市对非煤矿山的监管水平有了新的挑战。本文结合包头市实际监管情况主要从人员、安全投入、方法三个方面重点对非煤矿山领域的监管进行论
菱属（Trapa L.）植物是我国传统的药食两用水生作物,具有重要的生态学和经济学价值。菱属植物果壳含有丰富的多酚类物质,具有较强的抗癌抗氧化作用。然而,目前关于菱属植物果壳中的次生代谢产物在物种间的差异、及其与亲缘关系、环境因子和果实形态相关性研究极度匮乏,这严重阻碍了对菱属果壳内多酚资源的合理利用。因此,本研究在全国范围内,尤其是长江中下游和东北三江平原两个菱属多样性中心,收集到19个菱属物种
企业成本直接关乎企业的经营发展,决定着企业能否在激烈的市场竞争中生存发展。很长一段时间,我国国有企业成本控制侧重于生产经营成本控制,随着企业制度的逐渐完善,生产经营成本控制的边际效应不断减少,企业转为发现与挖掘人力资源成本控制。企业人力资源成本控制是企业成本控制中重要的组成部分,作为公司成本控制信息的主要组成部分,人力资源成本控制能够通过提供大量重要的资讯,协助公司管理者全面掌握公司信息并据此做出
太阳辐射能是地球能量的主要来源,其能量主要集中在可见光和红外波段,是地球表层各种物理过程和生物活动的基本源动力,对天气、气候的形成和演变都起着重要的作用,对研究各种极端天气气候、灾害性天气也具有重要的意义。针对当前全世界的能源问题和生态环境问题,太阳能作为一种安全、环保的可再生能源,其开发与利用成为了国内外众多科学家关注的问题之一。太阳辐射强度是太阳能资源常用的评价指标之一。此外在生态系统过程模型
雾计算将云服务与靠近网络边缘的分布式资源相结合,有效缓解了云计算中存在的时间延迟问题。由于雾计算更贴近终端用户,使数据中包含大量用户隐私信息,且存在虚假节点恶意获取数据的情况,所以需要能够适用于雾计算环境的高效访问控制方案。基于密文策略的属性加密（CP-ABE）是一项保证数据机密性与细粒度访问控制的重要技术,只有当用户属性能够满足设定的访问控制策略时才能够对数据进行访问。如何利用该技术在雾计算环境