论文部分内容阅读
[摘要]在分析主观题的考试目的和答题特点的基础上，提出以考题相关知识点为基础的关键词以及各个关键词之间的逻辑关系匹配方法来实现自动评分，使自动评分更加灵活，更符合主观题答案多样性的要求。
[关键词]主观题 自动批改 关键词 逻辑关系
中图分类号：TP3 文献标识码：A 文章编号：1671－7597(2008)0620048－01
一、引言
国内主观题自动批改的研究刚刚起步，真正实用的系统还没有。高思丹[1]等人将“语句相似度”计算方法应用于文字类主观题的自动批改。李辉阳[2]等人则提出以基于关系的带权匹配技术实现CAI中简单论述正误的判定。以上这些方法，在主观题自动评分方面取得了很大的突破，具有很重要的意义。
文章在对已有算法研究的基础上针对简单文字类主观题（简单问答题）自动批改问题，提出了一种基于关键词及其逻辑关系的主观题自动批改算法，下面对该算法的主要思想、相关问题的处理方法及评分具体过程进行阐述。
二、算法的主要思想及其实现
（一）算法的主要思想
主观题的考试目的主要是考查学生对相关知识点或理论的正确理解，要求学生就题目涉及的基本知识点和相关概念进行简单论述，因此，只要考生答案切中问题所考查的相关知识点或者说正确答案的要点，并且各要点间的逻辑关系正确，即可以给分，不要求学生答案与标准答案完全一致。根据这一特性，我们可以根据题目考查的相关知识点，定义关键词以及各个关键词之间的逻辑关系，并给出关键词和逻辑关系所占的分值，然后按照这些评分规则对考生答案进行评分。关键词的正确率说明了考生对相关知识的了解程度，关键词之间的逻辑关系则说明学生对这些知识点是否准确理解，这种评分方式更符合考试的目的。
（二）关键词匹配
进行评分时首先将每道题能决定该题答案的关键词逐一找出来，存放在答案库的关键词数组中，然后逐一在考生答案中查找这些关键词。根据评分的严格程度，关键词匹配时可以设置一个关键词阀值k0（0＜k0≤1），当关键词的字符正确率低于该阀值时，该关键词得分为0。为了扩大匹配范围，在建立关键词数组时，建立关键词对应的同义词数组，评分时，如在考生答案中搜索不到关键词，则可以搜索其同义词。另外，如果考生答案中存在否定意义的词，那么在否定词之后的关键词即使匹配正确也不能得分。假设某试题分数为S0，关键词在该题中所占分值的比例为P（0≤P≤1），该题有n个关键词，每个关键词的分值为(S0×P)／n，关键词的阀值为k0，第i个关键词的得分权值（正确匹配的字符数/该关键词的总字符数）为Ki（1≤i≤n）则关键词匹配部分的评分公式可以定义如下：
当Ki ＜ K0时，Ki的值为0；当Ki ≥ K0时，Ki的值为Ki。
（三）逻辑关系匹配
1．关系描述
在用问题所涉及的知识点组成的关键词组来描述概念时，关键词之间并不是完全独立的，它们存在着一定的逻辑关系。本算法将关键词之间的逻辑关系划分为三种：并列关系(各关键词相互独立， 位置没有任何约束)、顺序关系（各关键词存在先后顺序）和依赖关系（由修饰词和中心词构成，只有中心词出现，修饰词才有意义）。
2．关系的划分
简单问答题的答案组织方式一般是由几个得分要点组成，每个要点可以由一条或多条语句组成，每个得分要点的语句又由若干个关键词组成。各个得分要点之间属于并列关系，每个得分要点的关键词之间则包含并列，顺序和依赖关系。下面给出具体的逻辑关系划分规则：
（1）按照得分要点将语句进行分组，每组包含一个得分要点的所有语句。
（2）将组内具有先后顺序的关键词建立顺序关系表，具有修饰和被修饰关系的关键词建立依赖关系表，具有并列关系的关键词可以不建表，即默认是并列关系。
依赖关系表：中心词>修饰词
顺序关系表：顺序关系编号>关键词顺序序列（关键词1、关键词2……）
（3）对于关键词之间具有多种关系的嵌套的情况，我们只考虑两种关系的嵌套并做如下处理：
并列关系内嵌套依赖或顺序关系：建立内层的依赖关系表或顺序关系表。
依赖关系内嵌套并列或顺序关系：指依赖关系中的修饰词组具有并列或顺序关系。建立依赖关系表，并指明修饰词的属性为并列或顺序，然后列出修饰词组或序列。如：中心词->修饰词属性(并列或顺序)>修饰词组或序列。
顺序关系内嵌套依赖或并列关系：建立由依赖关系中心词或并列关键词组组成的顺序关系表。如：顺序关系属性（依赖或并列）>关键词序列（中心词或并列关键词组）。
3．关系优先级和权值计算
在对关键词进行逻辑关系匹配时，为每个逻辑关系设定一个权值参数R（0≤R≤1）来表示该逻辑关系的正确度，不同类型的逻辑关系，其权值计算方法不一样。
依赖关系权值计算方法：如果中心词不存在，关系权值直接为0。否则设定中心词权值为1/2，假设有n个修饰词，则每个修饰词权值为1/2n，如：中心词出现且修饰词出现个数为m，则该关系权值为(1/2+m/2n)。
顺序关系权值计算方法：关系由n个关键词组成，顺序正确的关键词为m个，该关系权值为（m-1）/ (n-1)。
并列關系权值计算方法：假设有n个关键词，实际存在的关键词为m个，则该关系权值为m/n。
假设某试题分数为S0，关键字匹配在该题中所占分值的比例为P（0≤P≤1），则逻辑关系匹配所占分值为（S0×（1-P）），逻辑关系数量为m个，第i个逻辑关系的权值为Ri（1≤i≤m），逻辑关系匹配部分的评分公式可以定义如下：
三、评分过程
基于以上分析，本评分算法的主要过程包括定义题目的关键词库及逻辑关系表和根据定义的规则进行关键词和逻辑关系匹配两大部分。具体步骤如下：
1．定义该题的关键词数组及同义词数组，以及关键词所占分数比例P和关键词的阀值k0。
2．定义各关键词组的依赖关系表和顺序关系表。
3．进行关键词匹配。计算各关键词得分权值ki并记录各关键词在学生答案中的位置。计算该部分的得分Sk。
4．由依赖表、顺序表、关键词位置及各关系权值计算方法计算各个逻辑关系权值Ri。计算该部分的得分Sr。
5．将Sk加上Sr，得到该题的最后得分。
在实际评分过程中，阅卷老师根据实际情况，可以通过调整参数k0，P参数的值来调整评分标准。
四、总结
笔者针对简单文字类问答题的特点，以考题相关知识点为基础的关键词以及各个关键词之间的逻辑关系匹配方法来实现自动评分。该算法虽然在智能性、灵活性方面也更符合主观题答案多样性的要求，但在逻辑关系的划分、否定词、同义词等处理方面还有待完善。
参考文献：
[1]高思丹、袁春风.语句相似度计算在主观题自动批改技术中的初步应用[J].计算机工程与应用， 2004，(14).
[2]李辉阳、韩忠愿.有限领域简述文字的自动判读及其在CAI中的应用[J].计算机工程与应用， 2002， 38(8).
[3]孟爱国、卜胜贤、李鹰、甘文. 一种网络考试系统中主观题自动评分的算法设计与实现[J].计算机与数字工程，2005，33(7).
[4]王晟.问答题自动评判技术的研究与实现[J].湖南人文科技学院学报，2005，(5).
[5]田绪安、郭华磊、刘瑞光、李敬华.基于模糊匹配主观题评分在线考试系统[J].现代电子技术，2007，(12).
“本文中所涉及到的图表、注解、公式等内容请以PDF格式阅读原文”
[关键词]主观题 自动批改 关键词 逻辑关系
中图分类号：TP3 文献标识码：A 文章编号：1671－7597(2008)0620048－01
一、引言
国内主观题自动批改的研究刚刚起步，真正实用的系统还没有。高思丹[1]等人将“语句相似度”计算方法应用于文字类主观题的自动批改。李辉阳[2]等人则提出以基于关系的带权匹配技术实现CAI中简单论述正误的判定。以上这些方法，在主观题自动评分方面取得了很大的突破，具有很重要的意义。
文章在对已有算法研究的基础上针对简单文字类主观题（简单问答题）自动批改问题，提出了一种基于关键词及其逻辑关系的主观题自动批改算法，下面对该算法的主要思想、相关问题的处理方法及评分具体过程进行阐述。
二、算法的主要思想及其实现
（一）算法的主要思想
主观题的考试目的主要是考查学生对相关知识点或理论的正确理解，要求学生就题目涉及的基本知识点和相关概念进行简单论述，因此，只要考生答案切中问题所考查的相关知识点或者说正确答案的要点，并且各要点间的逻辑关系正确，即可以给分，不要求学生答案与标准答案完全一致。根据这一特性，我们可以根据题目考查的相关知识点，定义关键词以及各个关键词之间的逻辑关系，并给出关键词和逻辑关系所占的分值，然后按照这些评分规则对考生答案进行评分。关键词的正确率说明了考生对相关知识的了解程度，关键词之间的逻辑关系则说明学生对这些知识点是否准确理解，这种评分方式更符合考试的目的。
（二）关键词匹配
进行评分时首先将每道题能决定该题答案的关键词逐一找出来，存放在答案库的关键词数组中，然后逐一在考生答案中查找这些关键词。根据评分的严格程度，关键词匹配时可以设置一个关键词阀值k0（0＜k0≤1），当关键词的字符正确率低于该阀值时，该关键词得分为0。为了扩大匹配范围，在建立关键词数组时，建立关键词对应的同义词数组，评分时，如在考生答案中搜索不到关键词，则可以搜索其同义词。另外，如果考生答案中存在否定意义的词，那么在否定词之后的关键词即使匹配正确也不能得分。假设某试题分数为S0，关键词在该题中所占分值的比例为P（0≤P≤1），该题有n个关键词，每个关键词的分值为(S0×P)／n，关键词的阀值为k0，第i个关键词的得分权值（正确匹配的字符数/该关键词的总字符数）为Ki（1≤i≤n）则关键词匹配部分的评分公式可以定义如下：
当Ki ＜ K0时，Ki的值为0；当Ki ≥ K0时，Ki的值为Ki。
（三）逻辑关系匹配
1．关系描述
在用问题所涉及的知识点组成的关键词组来描述概念时，关键词之间并不是完全独立的，它们存在着一定的逻辑关系。本算法将关键词之间的逻辑关系划分为三种：并列关系(各关键词相互独立， 位置没有任何约束)、顺序关系（各关键词存在先后顺序）和依赖关系（由修饰词和中心词构成，只有中心词出现，修饰词才有意义）。
2．关系的划分
简单问答题的答案组织方式一般是由几个得分要点组成，每个要点可以由一条或多条语句组成，每个得分要点的语句又由若干个关键词组成。各个得分要点之间属于并列关系，每个得分要点的关键词之间则包含并列，顺序和依赖关系。下面给出具体的逻辑关系划分规则：
（1）按照得分要点将语句进行分组，每组包含一个得分要点的所有语句。
（2）将组内具有先后顺序的关键词建立顺序关系表，具有修饰和被修饰关系的关键词建立依赖关系表，具有并列关系的关键词可以不建表，即默认是并列关系。
依赖关系表：中心词>修饰词
顺序关系表：顺序关系编号>关键词顺序序列（关键词1、关键词2……）
（3）对于关键词之间具有多种关系的嵌套的情况，我们只考虑两种关系的嵌套并做如下处理：
并列关系内嵌套依赖或顺序关系：建立内层的依赖关系表或顺序关系表。
依赖关系内嵌套并列或顺序关系：指依赖关系中的修饰词组具有并列或顺序关系。建立依赖关系表，并指明修饰词的属性为并列或顺序，然后列出修饰词组或序列。如：中心词->修饰词属性(并列或顺序)>修饰词组或序列。
顺序关系内嵌套依赖或并列关系：建立由依赖关系中心词或并列关键词组组成的顺序关系表。如：顺序关系属性（依赖或并列）>关键词序列（中心词或并列关键词组）。
3．关系优先级和权值计算
在对关键词进行逻辑关系匹配时，为每个逻辑关系设定一个权值参数R（0≤R≤1）来表示该逻辑关系的正确度，不同类型的逻辑关系，其权值计算方法不一样。
依赖关系权值计算方法：如果中心词不存在，关系权值直接为0。否则设定中心词权值为1/2，假设有n个修饰词，则每个修饰词权值为1/2n，如：中心词出现且修饰词出现个数为m，则该关系权值为(1/2+m/2n)。
顺序关系权值计算方法：关系由n个关键词组成，顺序正确的关键词为m个，该关系权值为（m-1）/ (n-1)。
并列關系权值计算方法：假设有n个关键词，实际存在的关键词为m个，则该关系权值为m/n。
假设某试题分数为S0，关键字匹配在该题中所占分值的比例为P（0≤P≤1），则逻辑关系匹配所占分值为（S0×（1-P）），逻辑关系数量为m个，第i个逻辑关系的权值为Ri（1≤i≤m），逻辑关系匹配部分的评分公式可以定义如下：
三、评分过程
基于以上分析，本评分算法的主要过程包括定义题目的关键词库及逻辑关系表和根据定义的规则进行关键词和逻辑关系匹配两大部分。具体步骤如下：
1．定义该题的关键词数组及同义词数组，以及关键词所占分数比例P和关键词的阀值k0。
2．定义各关键词组的依赖关系表和顺序关系表。
3．进行关键词匹配。计算各关键词得分权值ki并记录各关键词在学生答案中的位置。计算该部分的得分Sk。
4．由依赖表、顺序表、关键词位置及各关系权值计算方法计算各个逻辑关系权值Ri。计算该部分的得分Sr。
5．将Sk加上Sr，得到该题的最后得分。
在实际评分过程中，阅卷老师根据实际情况，可以通过调整参数k0，P参数的值来调整评分标准。
四、总结
笔者针对简单文字类问答题的特点，以考题相关知识点为基础的关键词以及各个关键词之间的逻辑关系匹配方法来实现自动评分。该算法虽然在智能性、灵活性方面也更符合主观题答案多样性的要求，但在逻辑关系的划分、否定词、同义词等处理方面还有待完善。
参考文献：
[1]高思丹、袁春风.语句相似度计算在主观题自动批改技术中的初步应用[J].计算机工程与应用， 2004，(14).
[2]李辉阳、韩忠愿.有限领域简述文字的自动判读及其在CAI中的应用[J].计算机工程与应用， 2002， 38(8).
[3]孟爱国、卜胜贤、李鹰、甘文. 一种网络考试系统中主观题自动评分的算法设计与实现[J].计算机与数字工程，2005，33(7).
[4]王晟.问答题自动评判技术的研究与实现[J].湖南人文科技学院学报，2005，(5).
[5]田绪安、郭华磊、刘瑞光、李敬华.基于模糊匹配主观题评分在线考试系统[J].现代电子技术，2007，(12).
“本文中所涉及到的图表、注解、公式等内容请以PDF格式阅读原文”