深度神经网络已成为计算机视觉及人工智能领域的研究重点。目前,在图像分类、语义分割等任务中,已有相关研究通过使用不同结构的人工神经网络获得了良好的表现。然而,在训练过程中,一些超参数的选择,如学习率,会对模型的精度产生较大影响,较大的学习率会使模型很难收敛而较小的学习率又会导致训练耗费较长时间。在继往的研究中,学习率的选择往往依赖经验,使得训练效率下降。同时,在优化神经网络时往往使用反向传播算法使梯度由后向前逐层传递,但由于梯度在传递时采用链式法则连乘获得,如若发生损失函数在位于梯度变化较大的“悬崖”区域求梯度,或者某一层网络初始化较差而导致激活函数对梯度信息出现截断等现象,梯度信息将无法稳定传递并且可能导致出现梯度消失或梯度爆炸现象,最终导致训练失败。因此,本文受神经科学中神经元激活模式启发,通过分析ReLU激活函数的数学性质以及网络权值的更新方式,提出了一种基于ReLU激活函数且不依赖于反向传播算法的神经网络自适应学习率优化算法。该方法可以根据网络每一层的权值状态寻找适合该层的最优学习率,并不依赖反向传播算法独立更新该层权值,在不需要手动设置学习率的前提下保证算法精度,进而提高优化效率。并且,该方法还能避免出现由于梯度信息无法传递导致的训练失败,对于个数少维度高的样本具有优于随机梯度下降以及目标差传播算法的收敛速度。最后,本文通过实验验证所提出算法的性能。本文的具体工作如下:第一,本文通过分析采用ReLU函数作为激活函数的神经网络的逐层结构,提出一种基于目标传播的新型权值更新方法。该方法可以将多层嵌套的神经网络拆解,借助所训练的“近似逆映射”逐层以目标值传递形式将误差信息传回每一层网络,由此实现不依赖反向传播的神经网络更新,避免了由于梯度信息传递异常导致的训练失败。第二,在每层神经元更新过程中,神经元的更新方向与步长可通过计算该层神经网络输出值与目标值的MSE损失自适应获得。由于此MSE损失为凸函数,借助凸优化方法我们可以解析得出该层网络的最优学习率。通过使用此学习率进行训练可以加快收敛速度并降低人工调参成本。第三,由于最优学习率的计算依赖该层神经元的权值状态以及该层输入值的规模,当神经元个数以及输入规模较大时,计算最优学习率需要耗费一定算力。针对此问题本文提出两种加速算法,即线搜索方法以及批(batch)方法用以加速训练。实验表明本文提出的加速算法具有良好的精度及收敛速度。第四,本文分析了所提出优化算法的复杂度。通过分析复杂度可知此算法收敛速度为O(1/r),而最大不会超过O(m)。其中r为平均学习率而m为样本个数。实验表明,此方法对于样本量较少的数据优于传统反向传播算法,对于样本较多的数据,使用加速算法仍可得到不差于传统反向传播算法的表现。