基于过滤验证框架的字符串相似性连接研究

来源 :桂林电子科技大学 | 被引量 : 0次 | 上传用户:revoke
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
相似性连接作为数据处理过程的基本操作,在数据清洗、相似网页搜索和生物信息学等领域有广泛的应用,而数据规模和数据类型的不断增长与变化给相似性连接带来了挑战。现有的一些基于过滤验证框架的字符串相似性连接算法虽然可以提升相似连接效率,但是仍存在过滤能力不足以及不能很好地适应长度差异较大的字符串集合等问题。因此,为了满足相似性连接算法高效率、高精度的需求,本文主要对基于过滤验证框架的字符串相似性连接算法进行了研究,主要工作和贡献如下:针对现有算法的过滤能力逐渐满足不了大规模数据集等情况,设计了一种基于划分的双重过滤相似性连接算法(Double Filtering string similarity join algorithm based on Partition,DFP-ssj)。该算法首先将字符串集合划分为若干个子集;然后在对各个子集以及子集间进行相似连接的过程中使用了基于长度过滤方法来减少算法的时间消耗;为了进一步提高过滤能力,算法中利用前缀过滤算法对初始候选对进行删减来得到最终候选对,并对其进行基于编辑距离的验证。最后根据实验结果分析,DFP-ssj算法在过滤能力和相似连接效率上均有提升。针对在类似基因序列长字符串集合的相似性连接结果中存在大量伪正例的问题,本文设计了一种基于局部敏感哈希(Locality Sensitive Hashing,LSH)的字符串相似性连接方法,并利用过滤验证框架实现该方法。考虑到计算长字符串之间编辑距离的复杂性,该方法使用嵌入方法将编辑空间中的所有字符串嵌入到汉明空间中;然后利用LSH来对汉明空间中的数据进行映射,在此过程中利用长度过滤和基于k值的过滤方法对伪正例进行删减。通过实验分析,基于LSH的相似性连接方法能有效的降低伪正例的数量,并具有较好的相似性连接效率。
其他文献
测绘事业是经济和社会发展的基础性工作,在我国的国民经济发展中发挥了重要的作用。随着我国经济逐步迈入“新常态”和中高端发展阶段,测绘事业迎来了发展的新机遇处于不断上升阶段,逐步形成以市场为核心的发展体系,测绘市场的巨大需求使得测绘企业数量不断增加,市场中开始出现供过于求的现象竞争非常激烈。要在现今竞争激烈的测绘市场中取得发展先机和优势,除了加大市场的拓展外,营造一个好的内部发展环境也是一个重要的方面
近年来,国家对环境保护越发重视,党的十八大明确提出大力推进生态文明建设,将“生态文明”纳入社会主义事业总体布局,以政策层面推动人与生物、人与自然的和谐共处。候鸟是随季节不同周期性进行迁徙的鸟类,是大自然生态链的重要组成部分,候鸟生存现状与生存环境是检验环境重要指标之一。为了保护候鸟生存环境,提高候鸟生存数量,国家采用各种方式向民众宣传候鸟保护的重要性。但目前仍存在一些偷猎私自捕杀候鸟的现象,食用野
随着二胎政策的颁发,幼儿的教育越来越受到重视,学前教育对幼儿的智力开发,人格形成等方都起着重要作用。幼儿园室内空间设计为了适应幼儿教育的发展也随之快速的发展起来。伴随着快速的发展,传统的幼儿园设计方式不再能满足现在的社会需求,幼儿园空间设计的水平需要不断的提升。当今社会对幼儿园的需求不仅仅是停留在满足使用功能,而是在满足使用功能的同时要更注重空间的趣味性和知识性的展现。正如文章题目所阐释的,本文以
本研究意在探索中俄两国中学生自我认知对物质主义的影响,以及两国中学生不同文化下自我认知、物质主义的差异。研究采用《中学生自我认知量表》(中文/俄文)、《物质主义量表》(中文/俄文),并在翻译校对的基础上,对140名中俄两国中学生进行施测。利用SPSS23.0软件,通过描述统计、相关检验、回归分析的方法对中俄两国中学生在自我认识、物质主义方面的差异,以及自我认知对物质主义的影响进行数据分析,结果如下
色彩在人的视觉感知中具有重要的作用,人眼对建筑色彩的识别度要高于对形体的识别度。人眼通过物体表面所反射的色光来识别色彩,其电磁波本质对人具有一定的知觉影响作用,此外,在长期的人类活动中,色彩也被赋予了一定的象征意义,具有联想和象征效应,同时,不同色彩也具有了不同的表情,代表着不同的情绪意义,例如,红色让人感到兴奋、蓝色让人感到镇静、橙色让人感到温暖……因此,色彩心理效应伴随色彩而客观存在,在我们的
海洋可控源电磁法(MCSEM,Marine Controlled Source Electromagnetic Method)作为海洋电磁法的一个分支,尤其适合深水天然气水合物及油气等高阻异常体的调查。海洋可控源电磁发射系统作为海洋可控源电磁勘探系统的重要组成部分,旨在海底建立长时间、大功率时域和频域人工电磁场。本设计依托于科技部“十三五”国家重点研发计划的“深水双船拖曳式海洋电磁勘探系统研发”项
组织滴虫病(Histomoniasis)又称“盲肠肝炎”或“黑头病”,是由火鸡组织滴虫(Histomonas meleagridis,H.meleagridis)引起的鸡形目禽类的一种原虫病,以肝脏坏死、盲肠肿大和排硫磺样粪便为主要特征。化学药物在该病的控制上曾发挥过巨大作用,近年来因其潜在的毒性和致癌性大多已被禁用,导致该病不断流行和传播,给养禽业造成了严重的危害。火鸡组织滴虫激发的免疫反应以细
无人机技术在近十年得到极大的发展,并且受到市场的广泛关注。无人机技术与第五代移动通信技术(5G)结合,使得无人机无线网络成为行业的重要应用之一。通常无人机网络由一个无人机群构成,往往具有成百上千个节点。这使得网络规模十分庞大,呈现出一定的无标度特点。本文主要分析基于无人机的无标度无线网络容量,具体研究了以下内容:1)无人机无标度自组织网络建模及网络容量理论分析。本文首先分析无人机自组网,节点以点对
在2019年发布的《中国教育现代化2035》中,提出了构建为全民服务的终身学习系统的战略任务。它提到加强大学的继续教育和社会培训服务功能,以使更多的人享受更多的教育机会。要实现基础教育,职业教育,高等教育和继续教育的协调发展,形成网络化,数字化,个性化,终身教育体系。在终身学习的指导下,高校教育建筑作为高校教育体系中重要的教育活动场所,其教育建筑空间在教育理念与教学模式的更新下需要有新的设计手法与
目前,我国城市生活垃圾堆存量逐年累积,原因如下:一是城市生活垃圾处理能力相对较弱,二是城市生活垃圾产量逐年急速增长,三是缺乏内在约束与激励的城市生活垃圾收费定价制度。而科学合理地制定城市生活垃圾收费定价制度,不仅可以约束城市居民的消费行为来减少城市生活垃圾产生量,而且可以为城市生活垃圾各个环节提供更多的财政投入,减少生活垃圾收集、转运和处理成本。因此,研究城市生活垃圾收费制度对城市生活垃圾治理有着