【摘 要】
：
针对大规模文档去重算法Simhash存在的缺点和不足,提出一种改进的Simhash算法。首先从多个维度综合计算文档的相似度,包括文档内容、文档关键字、文档的标签、文档的引用文献
【基金项目】
：
江苏省自然科学青年基金(BK20150861)
论文部分内容阅读
针对大规模文档去重算法Simhash存在的缺点和不足,提出一种改进的Simhash算法。首先从多个维度综合计算文档的相似度,包括文档内容、文档关键字、文档的标签、文档的引用文献等方面,定义一个新的公式用于计算文档相似度。其次改进Simhash算法计算文档特征的方法,通过TF-IDF技术和单词的主题相关性综合计算单词的权重,TF-IDF技术用于计算一个关键词在一个文档集中的一篇文档的重要性,将专业术语词汇的长度统计函数作为判断单词主题相关性的依据。最后在检索步骤中采用哈希到桶的思想,此时出现分布不均匀的情况
其他文献
山东省淄博市华联矿业有限责任公司,地处沂蒙山区沂源县的南大门,山东省政府命名的中心镇--东里镇,交通十分便利,多条公路在此交汇.
氯盐侵蚀引起的钢筋锈蚀和混凝土保护层开裂,会导致结构在地震作用下的抗震性能劣化.综述了国内外桥梁结构地震易损性分析的研究进展,从氯离子的侵蚀过程、钢筋和混凝土的力
在托勒密埃及,祭司阶层是一个重要的群体,在社会发展中起着举足轻重的作用。人们的生老病死,丧葬嫁娶,都离不开祭司。祭司们的服务对象上至国王,下至黎民百姓。他们是埃及民
盐水钻井液实际应用很普遍，因其在对付复杂地层体现出来的优良特性而备受关注。本文主要对盐水钻井液的分类、特点、相关机理分析、应用进展及前景上进行的了概述。
跳绳活动简便易行,活泼有趣,历代儿童都很喜爱。今天的跳绳游戏,就大类而言,可以分为跳小绳和跳大绳两类。小绳多为自摇自跳,大绳为两人或四人摇绳,多人参与跳。追溯跳绳的
目的分析肺炎支原体肺炎患儿的免疫指标监测的临床意义。方法选择2017年1月~2017年12月新疆医科大学第二附属医院儿科住院肺炎支原体肺炎患儿240例,根据患儿病情的严重程度分
目的观察自拟中药熏蒸联合氯雷他定治疗慢性湿疹患者的临床疗效及对血清IFN-γ、IL-4水平的影响。方法将102例慢性湿疹患者随机分为西医治疗组和中西医治疗组,每组51例。西医
ue＊M＃’＃dkB4＃＃8＃”专利申请号:00109“7公开号:1278062申请日:00.06.23公开日:00.12.27申请人地址:（100084川C京市海淀区清华园申请人:清华大学发明人:隋森芳文摘:本发明属于生物技
患者男,72岁。因＂痛风＂,要求心脏超声心动图检查：显示右心房、右心室及主、肺动脉内径正常,左心室内径增大,并见粗大乳头肌束,心尖部增厚,并见此处心肌多个隐窝,搏幅减低（图1）。