近年来,深度神经网络在各个领域都取得了最优的结果,例如卷积神经网络在图像任务上、循环神经网络在自然语言处理问题上等,得益于其优越的特征抽取能力,其性能相比于传统机器学习模型得到了极大的改进,然而最近的研究表明深度神经网络较易被对抗样本攻击导致性能下降。而数据类间样本数量悬殊的非平衡学习作为一个传统问题,可以通过改进损失函数、数据增广等经典方法进行缓解。为了缓解非平衡设定下二分类问题与升模型的抗攻击性,本文以非平衡学习下的神经网络为研究课题,重点关注卷积神经网络和最小最大概率机与其变种的结合,研究其在非平衡设定下的应用与在对抗下模型鲁棒性的升。其中卷积神经网络可以抽取图像上的高级特征,而最小最大概率机则可以最小化分类器的最大错分类概率。主要研究内容分为以下两个部分。在本文中,我们首先尝试将深度神经网络和传统机器学习算法最小最大概率机融合。由于最小最大概率机实现的是数据上的线形二分类,我们采用一对多的方式将问题处理为多个二分类问题,不仅在多个二分类问题上证明其可以得到与卷积神经网络相持的性能,少数任务上超越了卷积神经网络。然后在对抗样本攻击下表明了模型的鲁棒性。在此基础上,由于模型特性限制处理二分类问题,我们通过集成学习将多个分类器在网络结构最后一层上并联,并将多个损失函数累加,采用特征共享的方式进行训练,实验结果证明其在多分类任务上依然有良好性能。为了缓解二分类过程中数据不平衡导致的重要类精度低的问题,以上述模型为基础,我们使用最小最大概率机的变种,偏置最小最大概率机,与卷积神经网络相结合。通过区别化对待两个类,并预设不重要类的分类正确率底限后进行优化,实验结果对比上述模型在二分类上的结果,实现了在尽量保证整体精度的前下对少数类上预测精度的升。通过改进模型损失函数,将分数规划问题转化并采用拉格朗日法求解,将多个偏置最小最大概率机集成,不仅在对抗攻击场景下验证了模型相比卷积神经网络更鲁棒,并实现了多分类任务上精度的高。