基于深度神经网络（DNN）模型的智能系统在无人驾驶、人脸识别等多领域不断落地,改变着我们的日常生活。然而,DNN模型的内在决策逻辑尚不明朗,可解释性和鲁棒性的相关研究仍不充分,阻碍了其在安全攸关领域的进一步应用。因此,对于DNN模型在不同场景下的鲁棒性研究就变得至关重要。本文从广泛存在的两类异常样本——对抗样本和分布外样本出发,揭示了深度神经网络模型在处理图像分类任务中存在的潜在安全风险,并对其进行鲁棒性分析。一方面,本文提出了一种在黑盒场景下的对抗样本生成技术,即基于两阶段进化算法的黑盒对抗攻击方法Deep Evolve。该方法在只有“输入-输出”的情况下,通过对原始图像进行像素级别的变换和微小的扰动变换来生成对抗样本。两阶段的进化算法分别以变换向量和扰动图像为种群个体进行遗传变异过程,可以突破现有的防御机制,对目标DNN模型进行更强的攻击。另一方面,本文从数据分布的角度出发,在两个基准图像分类任务上,利用12个不同的分布外数据集和4个流行的网络结构,训练了8个不同的模型,对现有的6种分布外检测方法从检测性能、鲁棒性等方面进行了系统地评估比较。基于评估的结果,本文进一步研究了分布外样本感知模型与无感知模型,在准确性、鲁棒性和不确定性方面的差异,指出了在模型生命周期中考虑数据分布影响的必要性。对抗样本的实验结果显示,Deep Evolve可以在黑盒情况下更有效率地寻找到高欺骗性、强鲁棒性的语义对抗样本,从而能揭示DNN模型更深层次的缺陷。分布外样本的研究发现表明,在部署和测试基于DNN模型的深度学习系统时,要充分考虑不同数据分布对其可靠性和鲁棒性的影响。通过训练分布外感知的模型可以避免无意义、不可靠的输出结果,从而推动可信赖深度学习的发展。