改进的Simhash算法在文本查重中的研究及应用

来源 :数字通信世界 | 被引量 : 0次 | 上传用户:zt20032053
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
传统Simhash算法是由Google公司提出以实现大规模文本去重的方法,其优势在于处理高效,且准确度高。当前,Simhash算法在文本检测、异常检测等领域有诸多应用。但传统Simhash算法的权值计算方式容易造成信息丢失,导致准确性降低。针对此问题,本文提出一种使用TF-IDF算法来计算权值的方式,并进行了系统设计与实现。结果表明,利用改进的Simhash算法实现的文本查重系统,其准确率、效率均优于传统方法。
其他文献
杨梅(Myrica rubra)属杨梅科植物,是浙江省特色经济作物之一,全省栽培面积130多万亩,年产值50多亿元。杨梅凋萎病是近年来危害杨梅生长的主要病害,其病原菌为异色拟盘多毛孢(Pes
随着科技的发展,电子航道图系统越来越广泛地应用于船舶助航导航,港航管理部门也以电子航道图为基础开发各种信息化应用系统,其中,电子航道图显示系统是人机交互的媒介,统一
台湾地区第二次农村土地改革背景和目的与当前大陆地区情况具有高度相似性。基于金融支持的视角,详细总结和分析了台湾地区第二次土地改革的金融配套策略及实际效果,进而提出其
分析了中关村国家自主创新示范区的494家企业申请科技型中小企业创新基金项目的立项情况及其获得基金前后所获专利数量的变化情况,利用相关数据进行OLS回归分析和PSM检验分析
犬子宫蓄脓是一种老年犬多发的常见疾病,其大多是由于内分泌紊乱、不合理用药或细菌感染导致子宫腔积聚大量脓液引起的。该文对一例闭锁型犬子宫蓄脓进行了诊断、手术治疗及术
肾虚湿(热)瘀是慢性肾炎的基本病机,肾虚是本病发生发展的基础,具有重要的病因病机学意义.在病因学方面肾虚是人体正虚的基础,与卫气功能的异常、湿瘀等标邪的产生密切相关;
菱形挂篮由菱形桁架、提吊系统、走行和锚固系统及模板系统4部分组成。该文通过某工程预应力混凝土连续箱梁采用菱形挂篮对称悬臂浇注施工的实例,详细介绍了菱形挂篮的各组成
目的探讨高频彩超对肝包膜表面及肝包膜下微小病变的诊断价值。方法对28例42个直径为5~15mm的肝包膜表面及肝包膜下微小病变进行高、低频超声的灰阶超声和彩色多普勒超声诊断
诗歌作为文学艺术创作中的一种体裁,以其语言精美、节律感强、情景交融,使它成为一种与朗诵密不可分的特殊艺术形式。古往今来诗人们饱和着思想感情,把对客观事物的感受营造
随着我国食品安全水平的提高,人们不再只关注农残、兽残和添加剂的违规使用等问题。食品中的转基因、过敏原等问题也逐渐引起了人们的重视。德国拜发很早就开始关注过敏原的检