Levenshtein算法优化及在题库判重中的应用

来源 :华东师范大学学报：自然科学版 | 被引量 : 0次 | 上传用户：limutou

【摘要】

：

为了解决Levenshtein距离算法在长文本和大规模匹配效率的不足,本文针对Levenshtein距离算法提出一种提前终止的优化策略.首先根据Levenshtein距离矩阵中元素内在的联系,归纳

【作者】

：

张衡陈良育

【机构】

：

华东师范大学上海市高可信计算重点实验室

【出处】

：

华东师范大学学报：自然科学版

【发表日期】

：

2018年5期

【关键词】

：

题库匹配文本相似度 Levenshtein编辑距离 bank match text similarity Levenshtein edit distance

【基金项目】

：

国家自然科学基金（11471209）

下载到本地 , 更方便阅读

下载此文赞助VIP

声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架

论文部分内容阅读

为了解决Levenshtein距离算法在长文本和大规模匹配效率的不足,本文针对Levenshtein距离算法提出一种提前终止的优化策略.首先根据Levenshtein距离矩阵中元素内在的联系,归纳总结出一个递推关系式.再依据此递推关系式,提出一种提前终止策略,可提前判断两个文本是否满足预先设定的相似度阈值.经过多个学科题库判重实验的佐证,本文的提前终止策略能显著减少计算时间.

其他文献

新型环氧聚氨酯防腐涂料

期刊

环氧聚氨酯防腐涂料产品性能耐酸性能环境适应性产品开发

面向食品溯源数据服务的多QoS约束服务选择优化算法研究

数据服务的理念是大数据时代一种重要的信息服务方式.在面向服务构架（ServiceOriented Architecture,SOA）框架下研究了用于食品安全溯源系统中面向数据服务的多QoS（Quality of S

期刊

食品安全溯源SKYLINE算法多QOS约束面向数据服务的服务组合启发式算法food safety traceability systemskylin

中国校园足球发展的历史考察与经验启示

采用文献资料法,对现代足球传入中国后校园足球的发展历史进程进行梳理。认为:现代足球传入近代中国后,学校首先成为主要传播平台,并为早期中国校园足球的发展提供客观条件;

期刊

现代足球校园足球校园足球文化历史考察经验启示

聚合物纳米复合材料应用一览

普通尼龙6具有良好的物理、机械性能，例如拉伸强度高、耐磨性优异、抗冲击韧性好、耐化学药品和耐油性突出，是五大工程塑料中应用最广的品种。但是，普通尼龙6的吸水率高，在较强外

期刊

尼龙6聚合物纳米复合材料抗冲击韧性耐油性加热条件耐热性拉伸强度普通化学药品稳定性

人才地理学体系构建

人才地理学是人文地理学的一门新兴学科，１９８６年被我国学者提出建立，近年来在九个方面取得了较大的成果，目前正处在形成阶段。该学科以研究人才系统与地理环境关系为主线，以揭示人才地域分布与结构的形成和发展规律为核心，以研究区域人才资源配置和区域人才资源开发理论与技术为实践任务；由人才地理学总论研究、人才地理学理论研究和人才地理学应用研究三大块构成了学科的框架体系。

期刊

人才地理学体系构建背景总论研究理论研究应用研究Personnel Geographythe background of structural sys

生物法制1，3-丁二醇获成功

期刊

生物法13-丁二醇生产工艺生产成本

Sándor-Yang平均关于一些二元平均凸组合的确界

运用精细化的实分析方法,研究了Sándor-Yang平均SQA（a,b）、SAQ（a,b）与算术平均A（a,b）和二次平均Q（a,b）凸组合以及算术平均A（a,b）和反调和平均C（a,b）凸组合的序关系.得到了关于S&#225

期刊

Schwab-Borchardt平均Sándor-Yang平均算术平均二次平均反调和平均Schwab-Borchardt mean S&#

日本：形势不容乐观

<正> 2000年,日本的国内聚合物市场由于受到该国经济状况不佳以及市场变化无常的影响,因此并没有出现令人激动的局面。不过总的看来,国内对聚合物的需求量有了一定的提高,以P

期刊