在机器学习中,通常根据是否利用有标记样本进行学习将其分为有监督学习和无监督学习.作为机器学习的重要组成部分,前馈神经网络在模式识别、函数逼近等方面具有重要应用.对有监督学习,训练样本通过输入层映射到隐层,经隐层激活函数作用后,映射到输出层,再根据某种学习规则进行网络权值的调整.神经网络结构涉及到网络中输入层、隐层和输出层的神经元节点数及节点间的连接方式.神经网络的学习速度与泛化能力和网络结构、样本特性密切相关.本文研究的重点是单隐层前馈神经网络结构的优化,以及样本学习过程的泛化界.具体安排如下：第一章主要介绍机器学习及神经网络学习,前馈神经网络及网络结构优化和样本学习的泛化能力等相关内容和研究情况.在第二章中,注意到样本维数和前馈神经网络输入层节点密切相关,我们主要研究基于粗糙集的样本属性约简算法,提出了一种基于集合基本运算的属性约简算法,把传统约简方法中的合取、析取等运算转化为普通集合的基本运算.算例表明,该算法可以有效降低输入样本的维数,以此达到优化前馈神经网络输入层的目的.第三章主要研究在多分类问题中多重感知机输出节点,在“一对一”输出模式下和“二进制”输出模式下的关系.我们指出了当分类规模k≤8时,利用m≤[log2(k+1)]个“二进制”输出神经元的多重感知机,可等价地解决此问题,并进行了理论论证.为达到优化前馈神经网络隐层的目的,我们在第四章结合双并联神经网络结构和快速学习机(ELM),提出了双并联快速学习机,并推导了相应的在线顺序学习算法.数值实验表明,双并联快速学习机可以有效解决某些分类和回归问题,和传统的ELM相比,使用隐节点数大大减少,网络的泛化性能也有所提高.我们在第五章中,把有监督学习置于统计学习框架下,研究当样本取自某不确定随机过程时其学习过程的泛化性能.在本章中,我们设计了一种理论框架,把非独立同分布样本的泛化界,分成4个有机组成部分,分别研究了其泛化界.特别的,我们研究了Φ4的偏差不等式和对称不等式,这是对经典统计学习理论结果的有益补充.