随着人工智能领域的迅速发展,人工神经网络开始成为人们关注的焦点,因为其具有出色的拟合能力,理论上能够对任何数据分布进行拟合,所以广泛应用于各种领域,在图像分类、语音识别、自然语言处理等领域均取得了非常好的成果。但由于较高的模型复杂度,导致神经网络模型会出现过拟合现象,即模型在训练集上的效果极佳、在测试集上的泛化能力不够理想。为了解决这个问题,人们提出很多方法。其中,正则化是一种常用方法。人们提出了一些正则化模型,并且取得了一定的效果,然而这些模型并不能完全满足Antoniadis所提出的一个优秀的正则化模型应当满足的性质。基于此,本文将一种新式正则项与神经网络模型结合,提出自适应弹性网神经网络模型,从理论上证明了该模型具有优秀的性质,并且通过实验验证了该模型能够更好地解决神经网络模型的过拟合问题。另外我们发现,在数据不平衡问题中,模型对于多数类的样本也会发生过拟合现象,进行了相关实验后,在三个不同的评价指标上验证了自适应弹性网神经网络模型在解决数据不平衡问题上也可以取得非常好的效果。本文的主要工作包括:首先将自适应弹性网正则化方法和神经网络模型相结合,提出了自适应弹性网神经网络模型以及一种基于自适应弹性网的自适应矩估计优化算法;然后从理论上证明了该模型具有Oracle性质和群组选择能力,给出了证明过程;接着在多个分类和回归数据集上进行了实验,验证了该模型解决过拟合问题的能力比L1、L2和弹性网正则化模型更加优秀:最后将自适应弹性网神经网络模型引入数据不平衡问题,在多分类和二分类不平衡数据集上进行了一系列实验,验证了该模型能够有效解决数据不平衡问题,并且效果比随机过采样、随机欠采样和合成少数类过采样技术(SMOTE)要更好。