基于前缀过滤的文本复合度检测方法研究

来源 :燕山大学 | 被引量 : 0次 | 上传用户:zp_3000
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
文本的复合度检测一直是学术界和搜索技术领域的热点问题之一。随着电子技术的发展,学术领域呈现多元化、信息化、现代化的趋势,人们慢慢的从纸质文档变成了电子文档,与此同时,文本的复制现象越来越多,文本复合度检测旨在找出那些存在复制嫌疑和可能的文本,目前现存的大多数文本复合度检测方法都是用于整个文档,并没有基于小范围的文字的颠倒和重排序的检测方法,本文研究的是找出部分复制的文本,并且提高现有算法的效率,具体研究内容如下所示。首先,通过对现有算法的研究,发现现存算法在语句对比中时间花费是可以降低的,本文中将所有文字都认为是符号,将现存算法中的独立符号整合成组,提出一种新的前缀过滤的方法,将单一元素的前缀变为多元素的前缀组合,一个组里有很多符号,进行组与组的对比,改变原有的对比方式,减少了对比的数量和次数,从而提高了效率。其次,本文将语句看作箱子,通过对箱子的研究,发现相邻的箱子之间存在着部分联系,共用部分信息,因此可以利用部分信息,以此来提高效率,并且对组内符号的顺序按照出现的次数排列,选取不容易出现的符号作为代表,从而在提高效率的同时还可以保证很高的精确度。再通过箱子和组之间的联系,用以利用相邻箱子的关系来快速找到分组,从而提高效率。最后,在实验阶段,本文采用了多种真实数据集,通过检测的时间以及同其他现存算法的比较,验证了本文提出的方法的高效性和实用性。
其他文献
随着IT技术的发展,越来越多的机构、公司或企业都使用各种软件系统来方便日常管理,但是众所周知的是,大部分的软件项目都有一定的延期,严重的会变更合同完成日期。因此对软件
雾是一种常见的自然现象,极易出现在我国的南方部分地区,北方地区在秋冬季节也易频发。雾天空气中含有大量的气溶胶,这些粒子对场景光的散射作用导致在户外采集到的图片的对
人民代表大会制度作为我国根本政治制度,其发挥作用的重要方式之一就是人大代表履职,因此,作为地方人大机关代表工作部门的工作人员,笔者希望通过深入剖析地方人大代表履职过
抑制控制(Inhibitory control)是执行功能的核心成分之一,一般是指个体对优势反应的抑制。抑制控制可分为认知抑制和行为抑制,认知抑制是指抑制事先已激活的认知加工内容,以排除其它注意或行为对当下特定任务的干扰;行为抑制是个体抑制与当下需要不一致或不适当行为反应的能力。前人研究显示,个体的消极情绪影响抑制控制,但是关于消极情绪会促进还是阻碍抑制控制还没有一致性的结论。心理弹性是个体在面对
中药化学成分是一种非常复杂的物质体系,特别是生物碱类的化合物。生物碱的复杂性和多样性使其分离纯化工作变得异常艰巨,一直以来都是中药物质基础研究的一大难题。本论文针对生物碱类化合物分离纯化的难点,以中药白屈菜为研究对象,运用高效液相色谱法,分别从生物碱类化合物的分离纯化制备和表征两个方面展开研究。针对生物碱类化合物分离纯化的难点,构建了白屈菜中生物碱类化合物的二维离线反相色谱分离方法,将发展得到的二
无线传感器网络是能量受限的自组织网络,一般部署在人际罕至的偏远地区,节点能量消耗不均衡以及网络中一些关键节点受到攻击而失效时,可能会引发级联失效,严重影响网络性能,
近年来,我国疫苗安全问题层出不穷,其中以“长春长生疫苗事件”所造成的影响最大,完善疫苗安全监管的相关法律制度刻不容缓。尽管新出台的《疫苗管理法》较之《疫苗流通和预防接种管理条例》有了长足的进步,但是在某些方面仍需要进一步完善。例如,疫苗产业应趋向公益化,甚至是无利化,《疫苗管理法》应优化疫苗安全监管机构体系,完善疫苗信息公开和透明追溯机制,定期公布疫苗生产企业的信用记录,设立专用于处理疫苗投诉建议
目前,中国开通地铁建设的城市已达到41个,地铁成为缓解城市交通拥挤的重要方式。在地铁建设项目的不断扩增中,盾构技术已逐渐发展成为地铁施工的主流方法。盾构法属于暗挖法中一种施工方法,采用全机械化作业,通常具有技术要求高、作业规模大、工序复杂等特点,因此在盾构施工的过程中存在的风险也较多。本文提出将地铁盾构施工的安全管理过程视为一个有机系统,针对地铁盾构施工事故发生的特点,运用突变理论对该系统进行可靠
量是一个普遍的概念,是事物、动作和状态固有的性质。动量指的是动作发生的数量、频次及动作或状态持续的时间。不同语言表达动量的方式也各有不同。现代汉语用动量词来表示
视频目标跟踪随着近几年计算机视觉、模式识别、深度学习领域相关技术的不断成熟进步,诸多学者、专家对人工智能的重视不断增强,逐渐成为机器学习的核心发展方向,在密集区域