本文对基于互信息与先验信息的机器学习方法进行了研究。针对模式识别,本文研究了基于互信息的分类模型选择问题,提出了归一化互信息(Normalized MutualInformation)学习准则,分析并讨论了在处理二类和多类分类问题时,它与其它分类准则(准确率、精确率、召回率、ROC曲线、P-R曲线等)之间的非线性关系,并以支撑向量机方法中核函数选择问题为例,应用统计方法对互信息学习准则进行了研究;针对回归分析,本文研究了带广义约束的神经元网络模型(Generalized Constraint NeuralNetworks),讨论了神经元网络与部分已知关系进行结合的基本方法,通过应用先验知识来构造解决特定问题的神经元网络模型,以增加神经元网络的“透明度”。本文的主要工作和贡献有以下几个方面:①针对模式识别,研究了基于互信息的模型选择问题。提出了归一化互信息学习准则,推导并分析了在处理二类和多类分类问题时,它与其它分类准则(准确率、精确率、召回率、ROC曲线、P-R曲线等)之间的非线性关系,并对其应用特点与局限性作出初步解释。指出基于信息理论为学习准则的机器(分类、或聚类)学习原理就是将无序(类标、或特征)数据转变为有序(类标、或特征)数据的过程,其中转变效果是以信息熵为测量尺度。虽然不确定度(信息熵)为分类器设计者提供了独特的,不同于传统性能准则的有用信息,但该准则在分类问题应用上还有一定的局限性,特别是不确定度与传统分类性能指标并非有一致而单调的函数关系,在进行分类器设计选择时仍然需求传统分类性能指标的辅助计算。②以支撑向量机方法中核函数选择问题为例,应用统计方法对互信息学习准则进行了研究。通过综合实验和根据气象数据进行的特性实验表明:不同模型评估准则之间存在差异,但应用统计方法可以从这些差异中发现一些规律。同时,不同统计方法之间也存在差异,且这种差异对模型评估的影响要大于由于评估准则的不同而产生的影响。互信息学习准则作为一个综合性指标,在一定程度上可以弥补其它单一评估准则的不足。所以,在模型选择和模型评估时,要在应用多种统计方法的基础上,综合考评多种评估准则。③对人工神经元网络在解决“黑箱”问题方面的研究进展进行了文献综述。提出了“透明度”研究中的多层次划分分类框架,并针对回归分析,研究了基于先验信息的模型构造方法。讨论了带广义约束的神经元网络模型与部分已知关系进行结合的基本方法,特别是其中两种最为常见的“加和模型”和“乘积模型”。初步分析了广义约束神经元网络模型优于传统神经元网络学习性能的条件和应用特点。