基于文本分类和相似度的重题检测研究

被引量 : 0次 | 上传用户:kof2112
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前,国内对英语越来越重视,各种各样的英语等级考试层出不穷。与此同时,家用电脑的普及和网络技术的发展使得英语的在线学习和在线考试成为必然。为快速建立题库,由多位学科专家进行合作式命题是一种有效方式。但极易产生题目类似或重复,使测验结果受到影响。所以需要对录入的试题进行重题检测。本文认为首先应该区分“类似题”与“重题”,并区别对待。“类似题”对于命题有特殊的作用,允许其进入题库,但要进行标记。“重题”对题库没有任何意义,要拒绝进入题库。所以,我们用文本分类与相似度计算相结合的方法分别检测“类似题”和“重题”。本文先对题库中的题进行筛选,再引入文本分类算法计算试题阅读材料的类似程度,找出题库中的类似题,并进行标记。为了达到这个目的,先用向量空间模型表示文本,再用TF-IDF算法计算权重,并用信息增益算法进行特征选择,最后用朴素贝叶斯算法计算阅读材料之间的相似程度。在计算题干的相似度的时候,采用了一种新的方法——基于汉明距离的相似度计算方法。首先建立文本集与码字集之间的对应关系,然后借用编码理论中汉明距离的概念,由汉明距离的计算公式,得到了一种全新的文本相似度的计算方法,与传统的方法相比较,它具有简便,快速等优点。通过对本文中的算法进行实验,类似题查找和重题检测的准确率均在90%以上,效率也比较高,效果令人满意。
其他文献
举世瞩目的党的第十八次全国代表大会于2012年11月8日至14日在北京召开。这次大会是在我国进入全面建成小康社会决定性阶段召开的一次十分重要的大会,是一次高举旗帜、继往开
目的1.通过三维有限元分析了解新月形骨水泥复合体在体内、体外的受力情况;2.通过生物力学测试来比较钛网与新月形骨水泥复合体在不同骨质下的沉降隋况,为临床运用提供基础依据。
TiO2具有光致亲水性能,即在紫外光照下,水滴与TiO2薄膜的接触角很快变为零。这一特性使TiO2具有自洁去污、防水雾等功能,具有广阔的应用前景,因而受到广泛关注。如何改善TiO2
【目的】探讨夜间眼压测量在原发性开角型青光眼(POAG)诊断中的作用。【方法】连续性收集具有典型青光眼视神经损害但日间多次眼压测量值均≤21mmHg的门诊POAG患者,共30例59眼
国内外市场欢迎的水产鲜品和加工品是极易腐败的食物,其防腐保质成为该领域关注的热点。目前在冷却温度下贮藏销售的淡水鱼产品,其货架期较短,仅为3~4天,如何采用更先进的技术,提高
社会事业是社会建设的重要内容,也是促进社会良性运行的有力支撑。发展社会事业既是解决民生问题的题中应有之义,也是实现社会公平的内在要求。在我国,社会事业的发展历程有
运用液相色谱-电喷雾离子阱串联质谱(LC-MS^n)联用技术分析检测阿托品大鼠肝匀浆中的代谢物.采用离体实验的代谢研究方法,将阿托品与大鼠肝匀浆在富氧条件下温孵,代谢物以乙酸乙酯
本文着眼于中国当代艺术的大背景下,以陶瓷材质为主要表现语言的艺术作品,参照当代艺术与陶艺理论研究成果,力图对当代陶艺作品中的传统艺术语言的转化做深入研究。通过当代陶艺
自日俄战争之后,日本一步步实现"海外雄飞"的对外扩张,"满洲"由此成为世界瞩目、日本朝野上下关注的热点地区,也成了日本作家描述的一个文化对象。以德富苏峰、夏目漱石、与
面对一个全球化的新经济时代,面对一场世界性的教育大转型,面对中国的新教育风暴,本文一开始就从与传统教育的弊端对比入手,阐述了什么是新教育理念,如何用新教育理念培养现