【摘 要】
：
[目的/意义]从大规模已知文本集中检测出与待检测论文的相似文本并计算相似度大小,用于满足在线论文相似性检测秒级响应需求。[方法/过程]采用分治法策略,对已知文本句集进行
【机 构】
：
南京大学信息管理学院; 江苏省数据工程与知识服务重点实验室(南京大学);
【基金项目】
：
国家社会科学基金重大项目“面向突发事件应急决策的快速响应情报体系研究”(项目编号:13&ZD174)、国家社会科学基金项目“基于关联数据的图书馆语义云服务研究”(项目编号:12CTQ009);江苏省社会科学项目青年项目“基于语义云服务的数字阅读推广研究”(项目编号:14TQC003);中央高校基本科研业务费专项资金资助项目“基于用户的标语用分析的社会化标签知识组织研究”(项目编号:143500
论文部分内容阅读
[目的/意义]从大规模已知文本集中检测出与待检测论文的相似文本并计算相似度大小,用于满足在线论文相似性检测秒级响应需求。[方法/过程]采用分治法策略,对已知文本句集进行基于正交基的软聚类预处理,并对软聚类后的每个簇建立倒排索引。接着在快数据处理平台Spark上执行相似性检测,采用字符结合词组形式计算出待检测论文与已知文本的相似度大小。[结果/结论]通过200万规模的已知文本集实验结果显示,综合4种类型的待检测论文,所提出的倒排索引结合软聚类算法准确率P为100.0%,召回率R为93.6%,调和平均值F为96.7%。调和平均值F比相似性检测算法LCS高10%左右,比Simhash算法高约23%。在检测速度上,对于一篇字数为5 000左右的待检测论文,检测时间约为6.5秒,比Simhash算法快近300倍,比LCS算法快约4 000倍,此外,实验结果还表明基于Spark的分布式并行相似性检测算法具有较好的可扩展性。
其他文献
目的探讨粘连性肠梗阻的治疗方法及临床效果。方法选取2011年1月至2015年1月肠梗阻患者168例,其中经保守治疗无效后接受手术治疗者48例。48例中行腹腔镜探查肠粘连松解32例,
警察职业是一个高风险、高压力的职业,拥有良好的心理素质无疑是一名人民警察的必备条件。如果警察的心理有缺陷,对公民、对国家都将意味着潜在的灾难。从心理学的角度看,造
<正>新型隐球菌性脑膜脑炎由新型隐球菌感染引起,其致病菌种主要为隐球菌属中的新生变种、格鲁比变种及格特变种[1],为条件致病菌[2]。新型隐球菌性脑膜脑炎为亚急性或慢性病
目的分析研究丁苯酞联合银杏叶胶囊治疗帕金森症伴抑郁、睡眠障碍患者的疗效。方法纳入2016年2月～2018年2月收住本院神经内科的帕金森症伴抑郁、睡眠障碍的患者,观察组及对照
<正>在新课改背景下,我在四、五年级教学扩句和缩句这个知识点时,发现学生"扩句"存在主、谓语法不清的情况。例如在教扩句时,让学生练习扩句"我去上学"。我的学生有许多都扩
[目的 /意义]随着网络新闻的广泛快速传播,通过辨析网络新词,及时掌握新闻热点关键词,对于了解新闻热点和社会舆情的预警控制具有十分重要的意义。[方法 /过程]利用改进的关
文章阐述了北京服装产业的发展现状,分析低碳化的政策导向。通过对2003—2012年北京纺织业能源消耗、出口额等数据的整理分析,测算北京纺织服装行业碳排放量;通过2003—2012
<正>根管预备是根管治疗成功的关键,传统的手工预备是机械扩大与化学清理相结合,而超声波根管制备是用超高频机械能同时进行根管扩大和根管冲洗一种新方法[1],目前在临床上得
靖康之变,宋室南渡,社会的政治、经济、文化都发生了变化,士人的心理世界也随之生变。爱国主义精神、理性意识、闲逸心态共同建构了南宋士人的心理世界。词至南宋几乎为士人
中医药治疗慢性溃疡性结肠炎的临床研究进展（综述）王军，罗茂红（天津滨江医院大肠肛门病外科天津３０００２２天津医科大学卫生系）关键词中医药；慢性溃疡性结肠炎；临床研究慢性溃疡性结肠炎是一种