深层神经网络是一种高变度的函数(highly-varying function)，与许多经典的浅层结构算法相比，以深层神经网络为代表的深层结构有很多优点，近年来引起了极大的关注，并且在逐步在分类问题、回归问题以及降维等问题上得到了成功的应用。但深层结构的训练是一个非常困难的问题，一直没有很好的解决方案。之前的研究是用随机的初始化和基于梯度的优化方法进行训练，这种训练方法对于含有较少隐含层的神经网络效果比较好，但是对于含有更多隐含层的神经网络结果很差。直到2006年，多伦多大学的Hinton等人提出了深层信念网络(DeepBelief Networks，DBN)，为深层结构训练难题提供了一个很好的解决方案。　　DBN是以受限玻尔兹曼机(Restricted Boltzmann Machine，RBM)为训练组成模块的，而对于RBM的训练，我们又会用到对比发散算法(Contrastive Divergence，CD-n)。对比发散算法是一种基于随机梯度下降的算法。对于DBN的研究目前仍有许多细节问题，如构建深层结构时需要构建几层网络合适，每个隐含层内单元数的确定等等问题，需要我们进一步了解和应用，确定这些参数取什么值合适，以及它们的取值对实验结果的影响。　　本文的具体工作如下：　　(1)目前研究DBN算法，它的训练策略是贪婪逐层无监督算法，把它每一层当作一个RBM来做训练，即RBM是DBN的组成模块，而对于每个RBM的训练过程，又是基于梯度下降算法，目前主要是CD-n算法，我们要做的是确定这个n值的选取。　　(2)深层神经网络包含两层或两层以上的隐含层，这些隐含层的数目的选取是我们要研究的一个问题。这个值的选取怎样对深层神经网络的训练和分类等问题有利，是我们要获取的重要信息。　　(3)除了上面两个主要问题，我们还考虑了在训练过程中，其他参数值的选取问题，比如说学习率的选取、每层内单元数选取对训练的影响等等。