恶意代码是目前互联网安全的主要威胁之一,它以数量的爆炸式增长和自我保护技术的不断提高严重威胁着人们的经济利益,因此如何高效地进行恶意代码检测具有非常重要的意义。静态分析技术检测准确率高,但是容易受到加壳、混淆技术的影响。动态分析技术通过分析代码运行时的真实行为来判定是否为恶意样本,避免了加壳、混淆技术的障碍,但是准确率有待提升。基于以上问题,本文从动态分析入手,将API序列作为研究对象,从两个不同的角度对恶意代码检测方法进行了探讨。本文的主要研究工作如下:（1）提出了一种基于动态API序列和随机森林的恶意代码检测方法。针对通过动态方法获取到的API序列中含有大量冗余API的问题,本文提出了一种API去重方法,能够在不损失API序列信息的前提下,剔除一些冗余API片段,降低序列的长度。考虑到API调用之间的前后顺序,本文使用N-Gram算法处理API序列,并且针对使用该算法提取特征会造成特征维度过大的问题,利用信息增益算法进行特征选择。最后使用随机森林算法对生成的特征向量进行训练,实现对恶意代码的检测。本文将该方法在阿里云恶意程序检测挑战赛的数据集上进行实验,获得了较高的检测准确率,并通过与其他的机器学习算法进行比较,证明了该方法的有效性。（2）提出了一种基于Word2vec词向量表示方法和注意力层融合的卷积神经网络的恶意代码检测方法。考虑到API上下文之间的联系,本文用Word2vec模型将API进行向量化表示,通过空间距离的远近来表达API之间的相似性和关联程度,代替卷积神经网络的词嵌入层。针对传统的卷积神经网络结构单一,对于恶意代码检测准确率不高的问题,本文对网络结构进行了优化,在卷积层使用不同大小的卷积核,充分的提取API序列的局部特征,并在池化层后加入注意力机制,赋予不同的特征不同的权重值,有效的提取到更关键的局部API信息。通过与基础的卷积神经网络对比,证明本文提出的模型更有效。本文针对以上两种方法设计实验,通过不断地调整参数优化模型来提高恶意代码检测的准确率。实验结果显示,本文提出的两种方法都能有效的检测恶意样本,并与传统的类似方法进行比较,检测准确率有了明显地提升。