论文部分内容阅读
支持向量机(Support Vector Machines, SVM)是一种能够有效地解决小规模样本学习问题的机器学习方法,其理论基础是统计学习理论,近年来在数据挖掘、生物医学、图像处理、模式识别和人工智能领域应用广泛。样本的学习是SVM的核心问题之一。在实际的回归问题中,例如：生物反应过程、网络数据监控、金融数据分析和时间序列预测等,样本是在线环境下增量提供的,最为极端的情况是每次只增加一个新的样本。此时传统的批处理学习算法将会由于不具备实时性从而导致模型预测精度不高而且鲁棒性较差的问题,而增量式在线学习算法为解决上述问题提供了一种可行的途径。胪支持向量回归机(Support Vector Regression, SVR)是一种非常有效的回归学习方法,与ε-SVR相比,v-SVR的优点是参数ν能够控制支持向量的个数并能够自动调节不敏感损失函数的参数ε。然而,v-SVR的对偶问题要比ε-SVR的对偶问题复杂,因此目前为止还没有出现专门针对v-SVR的增量式在线学习算法的研究。本文在Cauwenberghs和Poggio提出的精确增量式在线C-支持向量分类机学习算法(称为C&P算法)基础上,重点研究了v-SVR的精确增量式在线学习算法及其可行性和有限收敛性,并将该算法应用于发酵过程的软测量,取得的研究成果如下：(1)针对v-SVR对偶问题存在的两个难题：一是箱约束不仅与惩罚参数而且还与训练样本集合的长度有关；二是与ε-SVR的对偶问题相比多出了一个不等式约束,提出了v-SVR的等价形式。通过将v-SVR原始问题的目标函数乘训练样本集合的长度并用等式约束代替不等式约束,解决了上述两个难题,为后续的研究工作奠定基础。(2)针对v-SVR的ν解路径算法存在的解路径不可行更新问题,提出了一种有效的ν解路径算法。基于v-SVR的等价形式及Karush-Kuhn-Tucker(KKT)条件,通过引入新的变量△g和附加项κΔρ的策略,有效地解决了在绝缘增量调整过程中存在的矛盾和异常,并最终经过有限次数迭代拟合出整个ν解路径。理论分析和仿真结果表明,该算法是可行且有效的。(3)为了解决v-SVR对偶问题的目标函数中增加的额外线性项而导致无法产生有效初始解的问题,以及直接将C&P算法应用于v-SVR在线学习存在的解路径不可行更新问题,基于v-SVR的等价形式及KKT条件,设计了一种精确增量式在线v-SVR学习算法。该算法包含三步：第一步是提前调整；第二步是宽松的绝缘增量调整；第三步是精确的恢复调整。理论分析证明了算法的可行性和有限收敛性。在基准测试集上的仿真结果进一步验证了理论分析的结论,而且与批处理学习算法相比具有更高的计算效率。(4)针对发酵过程中的一些重要生物状态变量难以在线测量的特征,将精确增量式在线v-SVR学习算法应用于谷氨酸分批补料发酵过程中菌体浓度和产物浓度的软测量,实现了菌体浓度和产物浓度的在线预估。仿真结果说明算法适合于发酵过程关键状态的在线预估。