基于改进的Simhash算法的相似文档识别技术

来源 :计算机科学与应用 | 被引量 : 0次 | 上传用户:qzzp666
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
[目的/意义]:为了实现在海量文本中更加高效准确检测出相似文本。[方法]:本文对基于Simhash算法的相似文档识别技术进行研究改进,对Simhash签名值的计算方法作出改进,分词阶段使用ICTCLAS分词系统,文本特征词的权重计算方法采用TF-IDF技术,同时将特征词的词性、词长、是否为标志词与是否被包含在标题中几大方面作为权重计算的考虑因素。最后使用汉明距离对文档签名值进行比较,从海量文档中精确地找出相似文档。[结论]:通过改进TF-IDF权重,使得改进的Simhash算法在相似文档识别准确率上优于其
其他文献
提出电力变压器最佳负载率的几种表达形式,指出对于不同的目标,有不同的取舍,并计算出SL7-800~8000/35、SFL7-10000~20000/35系列电力变压器的不同载率的具体数字。
与普通混凝土相比,碱激发混凝土护筋性能以及抗侵蚀、抗冻性能良好,被视作21世纪发展潜力最好的建筑结构材料,在桥梁等建筑工程中有良好应用,但与普通混凝土相同,碱激发混凝
高碘酸盐氧化纤维素反应条件温和,反应生成的双醛纤维素含高反应活性的醛基,能够发生还原、磺化、氧化、胺化等反应,得到各种纤维素衍生物。该文主要介绍了高碘酸盐氧化纤维
一个国家的文化是一个民族的精神记忆和精神家园,体现了民族的认同感、归属感,反映了民族的生命力、凝聚力.文化也是一个民族生生不息的血脉和灵魂,是区别于其他民族、屹立于
ue*M#’#dkB4##8#”专利申请号:00109“7公开号:1278062申请日:00.06.23公开日:00.12.27申请人地址:(100084川C京市海淀区清华园申请人:清华大学发明人:隋森芳文摘:本发明属于生物技
将环氧树脂(EP)作为基体,采用行星共混法,可制得微米复合材料(EPM)以及纳米复合材料(EPN),并探讨各材料的性能,包括热导率与电气绝缘两个方面。结果表明,在BN质量分数一致的
目前,我国民族乡镇文化产业的发展处于起步阶段,总体态势良好,但仍存在一些亟待研究和解决的问题。在经济水平、思想观念、产业结构等方面还存在影响民族乡镇文化产业发展的
谢尔盖·瓦西里耶维奇·拉赫玛尼诺夫是浪漫主义时期俄罗斯重要的作曲家。本文以拉赫玛尼诺夫艺术歌曲《春潮》的创作与演唱分析为题。本文首先在第一部分阐述了拉赫玛尼诺夫的艺术歌曲,然后对拉赫玛尼诺夫的艺术歌曲作品《春潮》的创作背景进行了介绍,本部分最后对《春潮》一曲的结构进行了分析。本文第二部分对乔治乌、吉丽吉娜、霍洛斯托夫斯基三位声乐表演艺术家演唱《春潮》的版本进行分析,逐一阐述了三位演唱家对于《春潮》
试题内容重复率是评价试题库及试卷质量的重要指标之一,为了快速找出题库中的相似试题,本文主要研究了基于K-shingles的Jaccard相似度、MinHash和LSH技术应用于相似试题的检
目的:探讨在体外实验条件下牙龈颜色对分光光度计测色准确性的影响。方法:用松风牙龈色板模拟不同颜色牙龈,将VITA Classical比色片固定于牙龈色板,在自制测色暗盒中用分光光度