论文部分内容阅读
[摘 要]手写体数字识别技术在财会、气象、邮政等领域有着广泛的应用，探究数字识别新方法并付诸实践，可以产生巨大的社会和经济效益。本文从传统的非线性状态估计（Nonlinear State Estimate Technology，NSET）技术出发，将这种一般应用于设备运行状态监测领域的方法应用于手写体数字识别，并在美国邮政服务（United States Postal Service，USPS）手写数字识别库上进行测试。测试结果表明，该方法简单易行，运算效率高，对于解决非线性和高维模式识别问题凸显出其适应性强的特点。
[关键词]数字识别 非线性状态估计 USPS 非线性运算子
中图分类号：TP391 文献标识码：TP 文章编号：1009―914X（2013）34―0073―03
0 引言
本文将传统的应用于系统或设备状态监测领域的非线性状态估计技术（NSET）用于手写体数字识别，能够有效减小计算量，提高运算效率，并且在美国邮政服务（USPS）手写数字识别库上做了测试工作，最后给出测试结果及分析，表明NSET方法能够拓展应用于手写体数字识别系统，具有较高的正确识别率。
1 非线性状态估计技术
1.1非线性状态估计理论
非线性状态估计（NSET）是由Singer等提出的一种非参数、非线性建模方法，通常应用于电子产品寿命预测[1]、设备状态监测[2]、核电站传感器校验[3]、风机齿轮箱温度预测[4]等领域，而用于模式识别领域，目前阶段还鲜有报道。
USPStrainingdata.mat为训练用数据，采用结构体形式组织数据，其中成员变量traindata为特征向量，维数为256，成员变量traintarg為其所对应的数字，一共10列，10列中值为1的那一列代表数字，比如第一行中，第七个值为1，则代表这个数为7，特别指出的是，第十列表示0。USPStestingdata.mat为测试用数据，数据组织形式与USPStrainingdata.mat相同，无须赘述。图1为部分USPS样本。从图中可以看出，该字库中的字符笔画的形态、粗细和灰度等级的差别都很显著。
2 功能实现过程
手写体数字识别的一般流程主要经过了手写数字预处理（增强、二值化、细化、归一化）、特征提取（选择）和分类三个步骤。本文采用NSET方法，训练和测试工作主要在USPS手写体数字识别库上实现，而这个数据库已经完成了原始图像的预处理工作，即已经将灰度值归一化，并且按照一定规则组织数据，这样就可以集中精力进行识别算法的研究。原始数据的特征维数为256，这样一个高维数或更高维数的特征向量，如若采用传统的人工神经网络，易陷入维数灾难，而NSET方法只是简单的矩阵运算，可以有效减少运算量，提高运行速度。采用NSET方法的实现原理图如图2所示。
程序功能实现上，可以分为数据录入模块、构建过程记忆矩阵模块、测试模块、测试结果输出模块等。
在系统实际应用过程中，由于所针对的均为高维特征向量，难免影响运行效率和速度，所以将手写体数字识别系统人为划分为离线（Offline）和在线（Online）两部分。
如图3中所示，离线部分主要是完成前期准备工作，这些工作不会影响实际运行的效率，在完成特征选取、前期预处理、构建过程记忆矩阵以及中间变量前期处理后，可以将其作为不变量存储，应用时直接从指定位置取出即可；而在线运行部分对识别系统的运行效率有着重要影响，这部分的实现算法需要精心设计，确保运行过程中不会出现“卡壳”现象或者导致系统本身运行速度变慢。
3 仿真测试结果及分析
前面已经述及，非线性运算符 是NSET实现的一个关键技术，它不仅解决了 可逆计算的问题，而且从不同的侧面刻画了观测特征向量和预测特征向量之间的相近或相似程度，对于探究特征向量之间的内在联系，把握重点信息具有重要意义。本文采用欧氏距离（DIST）和曼哈顿距离（CITY）进行了应用研究。
源数据采用美国邮政服务手写数字识别库，若采用欧氏距离，测试总成功率为94.82%，单类手写体数字识别率统计如表1中第二列所示；若换做曼哈顿距离测试，其测试的总成功率为95.24%，单类手写体数字识别率统计如表1中第三列所示。并且针对每类字符，都进行了相应的平均识别率统计，结果附在表1第四列。
从表1中可以看出，不同类别字符间识别精度存在差异，最典型的为字符4，采用欧氏距离其识别精度只有89.76%，明显低于其它类别字符识别精度，这与其笔画复杂程度有直接关系，使二值灰度信息不足以精确描述该字符，致使识别精度下降，但总体的测试成功率还是可以接受的。
通过对两种不同的距离函数进行测试，比较其结果可以得出以下结论：采用两种不同的非线性运算子，总体测试结果改变不是很明显，但是所反映出来的单类字符测试成功率最低的三个字符分别为4、7、9，如前所述，单从形象意义出发，这三个字符笔画较为复杂，难以实现准确的特征描述。
我们采用的NSET方法（欧氏距离和曼哈顿距离）实现手写体数字识别所能达到的测试成功率分别为94.82%和95.24%，而据报道，当前阶段研究工作者采用其他方法在USPS数据库上[6]实现所能达到的测试识别成功率以及相应的运算时间统计如表2所示。
上述报道的这些识别方法识别率略高于本文中采用的NSET方法，基本上处在相同的水平，但是通过比较运算时间可以看出，上述三种方法的运算时间均在5000s以上，而NSET方法只有249s（或254s），相差一个数量级，切距核、虚拟SVM和人工识别这三种方法的较高识别率是以牺牲运算时间为代价的，在实际应用中会遇到实现效率的问题。并且如上节分析，基于NSET方法的手写体数字识别系统分为两个过程，249s（或254s）时间包括实现过程中的离线过程和在线过程，在付诸实际时，合理调整功能模块，运算时间完全可以进一步被压缩，实现高效率、高速运算。 4 结束语
NSET方法的传统应用领域主要集中在系统或设备运行状态监测，本文从NSET的基本理论出发，提出一种借助于非线性状态估计的手写体数字识别新技术，扩展了其应用范围。该方法实施难度不大，直接采用了字符点阵作为NSET的特征输入，并没有进行专门的特征提取，识别算法取得了比较令人满意的效果，且运行效率较高，在解决非线性和高维模式识别问题中表现出了其适应性强的优势，且可调整参数少，适于在嵌入式系统上实现，对于探究机器识别新方法，并进行工程实践具有重要的理论指导和实际借鉴意义。
参考文献
[1] Cassidy K J，Gross K C，Malekpour A.Advanced pattern recognition for detection of complex software aging phenol- mena in online transaction processing servers[C].Procee- dings of Dependable Systems and Networks，Washington， D.C.，USA，2002.
[2] Cheng S F，Pecht M G.Multivariate state estimation technique for remaining useful life prediction of electronic products[C].Proceedings of AAAI Fall Symp.Artif.Intell.Prognostics，Arlington，VA，2007： 26-32.
[3] Bockhorst F K，Gross K C，Herzog J P，et al.MSET modeling of crystal river-3 venturi flow meters[C].Proceedings of International Conference on Nuclear Engineering，San Diego， CA，1998.
[4] 郭鵬，David Infield，杨锡运.风电机组齿轮箱温度趋势状态 监测及分析方法[J].中国电机工程学报.2011，31（32）：129 -136.
[5] Christopher L.Black，Robert E.Uhrig，J.Wesley Hines.System Modeling and Instrument Calibration Verification with a Nonlinear State Estimation Technique[C].Proceedings of the Maintenance and Reliability Conference，Knoxville，TN，May 1998.
[6] 夏国恩，金炜东，张葛祥.融合不变性特征的简易支持向量机[J].计算机工程.2006，32（18）：184-191.
基金资助项目：中央高校基本科研业务费专项资金资助（编号：12MS118）。
[关键词]数字识别 非线性状态估计 USPS 非线性运算子
中图分类号：TP391 文献标识码：TP 文章编号：1009―914X（2013）34―0073―03
0 引言
本文将传统的应用于系统或设备状态监测领域的非线性状态估计技术（NSET）用于手写体数字识别，能够有效减小计算量，提高运算效率，并且在美国邮政服务（USPS）手写数字识别库上做了测试工作，最后给出测试结果及分析，表明NSET方法能够拓展应用于手写体数字识别系统，具有较高的正确识别率。
1 非线性状态估计技术
1.1非线性状态估计理论
非线性状态估计（NSET）是由Singer等提出的一种非参数、非线性建模方法，通常应用于电子产品寿命预测[1]、设备状态监测[2]、核电站传感器校验[3]、风机齿轮箱温度预测[4]等领域，而用于模式识别领域，目前阶段还鲜有报道。
USPStrainingdata.mat为训练用数据，采用结构体形式组织数据，其中成员变量traindata为特征向量，维数为256，成员变量traintarg為其所对应的数字，一共10列，10列中值为1的那一列代表数字，比如第一行中，第七个值为1，则代表这个数为7，特别指出的是，第十列表示0。USPStestingdata.mat为测试用数据，数据组织形式与USPStrainingdata.mat相同，无须赘述。图1为部分USPS样本。从图中可以看出，该字库中的字符笔画的形态、粗细和灰度等级的差别都很显著。
2 功能实现过程
手写体数字识别的一般流程主要经过了手写数字预处理（增强、二值化、细化、归一化）、特征提取（选择）和分类三个步骤。本文采用NSET方法，训练和测试工作主要在USPS手写体数字识别库上实现，而这个数据库已经完成了原始图像的预处理工作，即已经将灰度值归一化，并且按照一定规则组织数据，这样就可以集中精力进行识别算法的研究。原始数据的特征维数为256，这样一个高维数或更高维数的特征向量，如若采用传统的人工神经网络，易陷入维数灾难，而NSET方法只是简单的矩阵运算，可以有效减少运算量，提高运行速度。采用NSET方法的实现原理图如图2所示。
程序功能实现上，可以分为数据录入模块、构建过程记忆矩阵模块、测试模块、测试结果输出模块等。
在系统实际应用过程中，由于所针对的均为高维特征向量，难免影响运行效率和速度，所以将手写体数字识别系统人为划分为离线（Offline）和在线（Online）两部分。
如图3中所示，离线部分主要是完成前期准备工作，这些工作不会影响实际运行的效率，在完成特征选取、前期预处理、构建过程记忆矩阵以及中间变量前期处理后，可以将其作为不变量存储，应用时直接从指定位置取出即可；而在线运行部分对识别系统的运行效率有着重要影响，这部分的实现算法需要精心设计，确保运行过程中不会出现“卡壳”现象或者导致系统本身运行速度变慢。
3 仿真测试结果及分析
前面已经述及，非线性运算符 是NSET实现的一个关键技术，它不仅解决了 可逆计算的问题，而且从不同的侧面刻画了观测特征向量和预测特征向量之间的相近或相似程度，对于探究特征向量之间的内在联系，把握重点信息具有重要意义。本文采用欧氏距离（DIST）和曼哈顿距离（CITY）进行了应用研究。
源数据采用美国邮政服务手写数字识别库，若采用欧氏距离，测试总成功率为94.82%，单类手写体数字识别率统计如表1中第二列所示；若换做曼哈顿距离测试，其测试的总成功率为95.24%，单类手写体数字识别率统计如表1中第三列所示。并且针对每类字符，都进行了相应的平均识别率统计，结果附在表1第四列。
从表1中可以看出，不同类别字符间识别精度存在差异，最典型的为字符4，采用欧氏距离其识别精度只有89.76%，明显低于其它类别字符识别精度，这与其笔画复杂程度有直接关系，使二值灰度信息不足以精确描述该字符，致使识别精度下降，但总体的测试成功率还是可以接受的。
通过对两种不同的距离函数进行测试，比较其结果可以得出以下结论：采用两种不同的非线性运算子，总体测试结果改变不是很明显，但是所反映出来的单类字符测试成功率最低的三个字符分别为4、7、9，如前所述，单从形象意义出发，这三个字符笔画较为复杂，难以实现准确的特征描述。
我们采用的NSET方法（欧氏距离和曼哈顿距离）实现手写体数字识别所能达到的测试成功率分别为94.82%和95.24%，而据报道，当前阶段研究工作者采用其他方法在USPS数据库上[6]实现所能达到的测试识别成功率以及相应的运算时间统计如表2所示。
上述报道的这些识别方法识别率略高于本文中采用的NSET方法，基本上处在相同的水平，但是通过比较运算时间可以看出，上述三种方法的运算时间均在5000s以上，而NSET方法只有249s（或254s），相差一个数量级，切距核、虚拟SVM和人工识别这三种方法的较高识别率是以牺牲运算时间为代价的，在实际应用中会遇到实现效率的问题。并且如上节分析，基于NSET方法的手写体数字识别系统分为两个过程，249s（或254s）时间包括实现过程中的离线过程和在线过程，在付诸实际时，合理调整功能模块，运算时间完全可以进一步被压缩，实现高效率、高速运算。 4 结束语
NSET方法的传统应用领域主要集中在系统或设备运行状态监测，本文从NSET的基本理论出发，提出一种借助于非线性状态估计的手写体数字识别新技术，扩展了其应用范围。该方法实施难度不大，直接采用了字符点阵作为NSET的特征输入，并没有进行专门的特征提取，识别算法取得了比较令人满意的效果，且运行效率较高，在解决非线性和高维模式识别问题中表现出了其适应性强的优势，且可调整参数少，适于在嵌入式系统上实现，对于探究机器识别新方法，并进行工程实践具有重要的理论指导和实际借鉴意义。
参考文献
[1] Cassidy K J，Gross K C，Malekpour A.Advanced pattern recognition for detection of complex software aging phenol- mena in online transaction processing servers[C].Procee- dings of Dependable Systems and Networks，Washington， D.C.，USA，2002.
[2] Cheng S F，Pecht M G.Multivariate state estimation technique for remaining useful life prediction of electronic products[C].Proceedings of AAAI Fall Symp.Artif.Intell.Prognostics，Arlington，VA，2007： 26-32.
[3] Bockhorst F K，Gross K C，Herzog J P，et al.MSET modeling of crystal river-3 venturi flow meters[C].Proceedings of International Conference on Nuclear Engineering，San Diego， CA，1998.
[4] 郭鵬，David Infield，杨锡运.风电机组齿轮箱温度趋势状态 监测及分析方法[J].中国电机工程学报.2011，31（32）：129 -136.
[5] Christopher L.Black，Robert E.Uhrig，J.Wesley Hines.System Modeling and Instrument Calibration Verification with a Nonlinear State Estimation Technique[C].Proceedings of the Maintenance and Reliability Conference，Knoxville，TN，May 1998.
[6] 夏国恩，金炜东，张葛祥.融合不变性特征的简易支持向量机[J].计算机工程.2006，32（18）：184-191.
基金资助项目：中央高校基本科研业务费专项资金资助（编号：12MS118）。