传统的神经网络(BP网络)在网络训练和网络设计上长期受困于三个难以克服的缺陷，即网络训练速度慢、训练易陷入局部极小点和网络学习的推广性能差。本文从算法层和计算理论层两个层次对造成这些缺陷的原因和克服这些缺陷的方法进行了系统的研究。在算法层，本文对目前用于神经网络训练的各种算法，包括梯度算法、智能学习算法和混合学习算法进行了比较研究；对用于神经网络训练的BP算法的优化原理进行了详细的理论分析，找到了BP算法存在严重缺陷的原因，并对其两类改进算法-启发式算法和二次梯度算法―的优化原理，在统一的框架之下进行了详尽的理论描述；对神经网络全局优化算法主要是遗传算法进行了详细的阐述，并在此基础上，设计了一种性能改进的遗传算法；最后基于神经网络学习的benchmark问题对各种算法在网络训练中的应用性能进行了仿真研究，并提出了遗传算法受困于“维数灾难”的观点。这一层次的研究表明，算法层只是在原有神经网络的框架下利用高性能的优化算法克服网络学习的前两个缺陷，由于受目前优化理论的限制，很难有巨大的突破。在计算理论层，从机器学习的角度分析了造成神经网络设计困难的原因；对指导神经网络设计的统计学习理论和正规化方法给以了系统的阐述；并重点对由统计学习理论直接导出的先进的学习机器—支持向量机—的理论进行了比较全面的阐述；通过函数逼近和系统建模等学习任务对神经网络和支持向量机学习的推广性能进行了仿真研究。这一层次的研究表明，支持向量机可以很好地克服神经网络学习的三个缺陷。因此，从计算理论层出发，对网络学习的本质进行研究，并设计新的高性能的学习机器，从而避开传统神经网络学习机器存在的难以克服的困难，是从根本上解决神经网络学习问题的可行方法。本文最后对神经网络学习和支持向量机学习的研究领域仍需进一步研究的课题提出了自己的见解。