学习率衰减策略是深度学习算法优化中常用的学习率设定方法,好的学习率设定方式可以训练出更好的深度神经网络模型。因此,如何设定好的学习率衰减是深度学习领域的一个前沿问题,非常值得研究。在本论文中,我们详细研究了不同指数的多项式学习率衰减对深度神经网络模型性能的影响,并提出了一种对任意可导的衰减函数都适用的学习率衰减函数的调整方法——k-Decay方法。基于k-Decay方法可对原衰减函数的衰减变化率进行不同程度的加强或减弱,得到新的衰减函数,利用新函数训练出的模型其精度要优于原函数。在基于该方法的新衰减函数中引入新的超参数k,可以控制衰减函数的学习率的衰减程度,而原衰减函数恰好是新衰减函数在k=1时的特例。我们将k-Decay方法应用于多项式衰减、余弦衰减和指数衰减,分别给出了基于该方法的新衰减函数的解析表达式。为了验证k-Decay方法的有效性,我们采用了基于该方法得到的新多项式衰减函数作为学习率的设定方法,选用了当前最先进架构的几个深度神经网络(ResNet、Wide ResNet 和 DenseNet),在 CIFAR10和 CIFAR100 数据集上进行了广泛的测试,证明了该方法的有效性。模拟实验表明随着超参数k的增大,模型的精度会逐步提升。在CIFAR10数据集上,可提升1.08%的正确率,而在CIFAR100数据集上,可提升2.07%的正确率。本方法在没有引入任何额外计算的情况下,就能很大的提升模型的性能。