本文对基于无信息先验的判别式学习进行初步的研究。与相关的其他研究相比，本文作者的工作有三个特点：(i)与纯粹数据驱动的、以通用求解器为目的的机器学习不同，本文充分利用先验知识提高算法的性能；(ii)与面向应用领域、融合领域知识的专用机器学习研究不同，本文只考虑独立于特定应用背景的无信息先验，因此，所有算法均是足够通用的；(iii)有别于传统的基于无信息先验概率的产生式方法，本文中先验知识均以非概率形式表达，所有算法均是判别式的。本文内容涉及分类、回归、模型选择、特征选择四个机器学习研究中的重要问题，具体研究内容主要包括：　　 1.提出了一种新的分类方法--S-学习。与其他分类方法相比，该方法在理论和经验上都具有优良的性质，例如，泛化性能好，对野点鲁棒，计算代价小，分析性能良好，解在在核空间内自然稀疏等。　　 2.提出了一种新颖的回归方法--重构参数学习，理论上证明了等价分解模型的存在性，给出了一种可行的推导等价分解模型的算子，并对一种特定的非线性模型，推导出了全线性的等价分解。　　 3.提出了基于结构可辨识性的模型选择方法，强调了机器学习研究中定性试验设计的重要性，给出了两种基于符号计算的、易于编程的模型结构可辨识性判决定理，为模型设计和选择提供了一种可参照的准则。　　 4.提出了应用于分类问题的特征选择的判别式最优框架，在该框架下提出了基于非参数Bayes误差最小的特征选择方法，并以特征赋权作为搜索策略的情形为例，给出了一个优良的特征赋权算法。　　 文中提供了大量对比实验用于比较本文作者提出的算法和其他相关算法的性能，实验结果证实了文中所提出的算法的有效性。