计算机应用已经渗透到社会生活的各个领域,给我们的生活、学习、工作带来了极大的方便,但是同时也存在着许多网络安全威胁,其中勒索软件已经成为主流威胁之一,勒索软件感染系统后会加密用户文件,传统的反病毒软件对此无能为力,针对这一问题本文考虑使用机器学习算法对勒索软件的(Application Programming Interface)API序列进行训练来提高识别性能,主要提出了以下两种识别方法:针对检测特征单一和机器学习算法过拟合的问题,在Stacking模型融合方法的基础上,提出一种新的勒索软件检测算法:XRLStacking。提取出勒索软件的全部原始动态特征,保留每个样本调用的API名称、线程编号及顺序编号三类特征;采用融合N-gram与TF-IDF算法优化去除对分类作用小的特征;使用基于Stacking模型融合算法进行分类,以多特征组合来识别勒索软件。第二,为了解决人工提取特征的问题,使用深度学习算法对软件运行特征自动提取,提出了基于卷积神经网络的勒索软件检测算法。首先,将原始样本数据输入卷积神经网络模型中,通过one-hot转换成三维向量;然后,通过一层三个卷积和全局最大池化进行训练学习,使用softmax分类模型进行分类输出检测结果,实验结果表明,检测结果在一定程度上有所提升,运行速度加快。通过使用基于Windows平台的勒索软件对上述两种检测方式进行训练学习,最后得出的实验表明这两种检测方式都取得了较好的检测准确率,而基于卷积神经网络的勒索软件检测方式在运行速度上有了进一步的提高,也证明了本文提出的方法在早期勒索软件检测中有实际应用价值。