基于Newshingling的相似文本检测算法

来源 :沈阳建筑大学学报:自然科学版 | 被引量 : 0次 | 上传用户:chenzulong198867
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目的构造一种新的文本查重算法,改变传统的Shingling网页去重算法,提高文本的相似度计算率,提高查准率和查全率.方法改变传统的Shingling算法,先删除文本中无意义的虚词,再根据语意对文本进行分片,进而利用文本相似度计算公式对文本相似度进行计算.结果该算法提高了文本相似度计算的准确性,同时文本的查准率提高了10%左右,查全率提高了5%左右.结论实验表明,笔者所提算法实现简单、可行、具有良好的文本相似度计算效果,具有一定的优越性.
其他文献
目的探讨婴儿在不同月龄、程度、病种的心力衰竭(简称心衰)BNP的变化及其临床应用价值。方法回顾分析290例心脏疾病婴儿的临床资料,比较不同月龄、不同程度及不同病种的BNP值
为了实现高效、紧凑、窄线宽的2μm激光输出,采用中心波长为790nm的LD激光器作为泵浦源端面泵浦掺铥光纤,半导体散热系统,光纤布拉格光栅(FBG)构成谐振腔的全光纤激光器。首先,
在高职院校教师备课、说课、授课、评课科学教学体系的目标和原则的指导下,对初步形成的教师备课、说课、授课、评课教学体系,进行循环式检验及渐进式完善。针对检验过程中发
2012年8月17日,由拱墅区科协主办,浙江万丰担保承办的第四期"科技金融与企业成长"沙龙活动在北部软件如期举行。本次"科技金融与企业成长"沙龙主题是"运河科技(普)会客厅之金融",主要
间质性肺患(ILD)是一组以肺泡壁病变为主的疾病,近年来发病率有增高的趋势,但对其诊断、分类等认识均未统一.由于病因和发病机制不同,临床表现各种各样,诊断手段各异.本文旨
胆总管结石是肝胆外科常见疾病之一,手术是其最主要的治疗手段,随着医疗技术不断发展,胆道镜、腹腔镜、十二指肠镜等逐渐应用于胆总管结石的治疗当中,基于各内窥镜下的治疗术
本文系统地介绍激光治疗进展期结直肠癌的适应症、激光治疗的具体方法和技术、治疗效果、治疗的并发症及处理等,并对国内外治疗研究现状进行述评;可为临床医师和研究人员提供
目的探讨护生志愿者参与干预的延续性护理服务模式应用于老年慢性病患者中的效果。方法以2017年9月-2018年2月在我院内科2个病区出院的老年慢病患者(患有糖尿病、高血压、肺
近年来,在日益激烈的竞争环境中工程项目的利涧空间越来越小。企业要生存要发展只有不断加强工程项目成本管理才能在市场竞争中立于不败之地。文章分析了建筑工程项目成本管
脊髓损伤是世界上常见的致残、致死原因之一,不仅给患者带来严重的身心伤害,还会给家庭及社会带来巨大的经济负担。临床研究表明,针灸可有效的治疗脊髓损伤造成的一系列并发