自2006年以来,随着深度学习在图像识别和语音识别领域取得的突破性的进展,深度学习逐渐成为了当前机器学习领域最热的一个研究方向。通过对人脑工作机制的深入研究,人们不断的改进深度网络,使其能够更好的模拟人脑。深度学习被认为是现在最有可能实现人工智能的方法之一本文首先介绍了深度学习中三种最常见的网络结构：深度卷积网络,受限玻尔兹曼机以及自编码网络。然后探讨了使用随机梯度下降法训练大规模深度网络时的一些技巧,并在不同的数据集上加以验证。随后我们介绍了一些二阶的优化方法并利用Hessian Free算法训练了深度自编码网络同时用MPI对其进行了并行化。对于深度卷积网络,我们利用卷积定理优化了其训练过程。接着我们关注了深度学习中一个非常核心的问题,即深度学习中特征的逐层提取,我们通过两种不同的手段对深度卷积网络和深度自编码网络的各层的特征进行了展示。最后我们提出了两种新的云环境中主机负责预测算法,第一种算法结合了相空间重构方法和基于遗传算法的数据分组处理方法；第二种算法在传统的回声状态网络前面加入了稀疏自编码网络,用以自动的特征提取。