软件的脆弱性是软件自身存在的安全缺陷,因软件的错误行为引发的安全故障,软件的脆弱性检测就是找到并识别出软件的安全故障。随着现代软件规模的不断增加和程序复杂度的逐步演化,软件开源逐渐成为主流的开发趋势,目前开源软件的脆弱性定位方法仍以人工检测为主,程序开发人员通过检查软件源代码来定位漏洞所在的位置。然而单单依靠手动分析找出所有的代码缺陷与软件漏洞几乎是不可能实现的,并且基于人工的软件脆弱性检测方法因耗时久、效率低等问题的影响,已无法满足现代软件的发展需求,从而导致了较高的人力成本开销、误报和漏报等问题也频繁出现。近年来,深度神经网络技术在解决特定领域知识问题上表现出了巨大潜力,研究人员开始将深度学习算法引入到恶意代码检测和软件脆弱性分析的研究中。本文在深度学习的软件脆弱性检测研究的基础上,提出了基于预训练上下文编码器的程序表示学习方法和基于自注意力机制的混合网络模型用于脆弱性代码分类,并在以上两种方法的基础上进一步提出了一款基于深度学习的软件脆弱性自动化检测系统。通过设计实现与多种模型和软件安全检测工具的实验对比,验证了上述研究成果的有效性,本文的创新工作如下:（1）为解决软件脆弱性的表征难题,本文提出了基于预训练上下文编码器的程序表示学习方法。程序表示学习是基于深度学习的软件脆弱性检测研究的核心,传统的表示方法无法捕获上下文语义的信息,由于没有考虑到前后语义的关联信息,导致嵌入模型的泛化性能不足。与传统的静态文本单词和段落的嵌入模型不同,本方法基于转换器的双向编码表征模型,设计了一款将词嵌入、句嵌入和位置嵌入三者融合的向量化方法,该方法能够高质量的捕获代码间的语法和语义信息,同时有效地解决了样本由于词汇稀疏产生的高维问题,其对软件的脆弱性特征提取性能优于传统语义表征方法。（2）为提升脆弱性代码分类算法的精度,本文提出了基于自注意力机制的混合网络用于软件脆弱性分类。针对代码脆弱性特征分类问题,研究发现与单一的循环神经网络分类器相比,添加注意力机制的融合网络模型可以有效提高隐藏层的训练效果,模型内部主要由向量化数据输入层、信息特征提取层、注意力机制层、分类层和输出层等五部分构成,该方法可以进一步实现对代码间长期依赖关系的学习,提高对软件脆弱性信息的提取质量。在与LSTM网络、GRU-attention网络和朴素贝叶斯网络三种神经网络的对比实验中,该方法对软件脆弱性的自动化检测性能优于其他三种分类模型。（3）为保证基于深度学习的软件脆弱性检测研究的完整性和实用性,本文在以上两种成果的基础上,设计并实现了一款基于深度学习的软件脆弱性自动化检测系统,并与商用软件检测工具Flawfinder、代码克隆检测系统VUDDY和基于深度学习的漏洞检测系统Vuldeepecker三种安全检测工具进行了实验对比,对比实验表明,本文提出的系统对软件脆弱性的自动化检测性能表现突出。实验评价指标表明,本系统比目前较为先进的基于深度学习的软件脆弱性自动化检测系统的F1值高出7.2%,精度值高出2.6%。