随着信息技术的发展,计算机网络已经渗透到关系国计民生的各个行业,网络安全变得越来越重要。恶意软件检测是网络安全中的重要研究领域,可以保护计算机系统免受病毒、木马等恶意软件的破坏。基于GBDT机器学习方法和深度强化学习方法实现了一个高可用、具备抗攻击能力的静态PE恶意软件检测引擎:利用GBDT和深度学习方法实现了两类恶意软件检测模型;利用强化学习算法训练得到了对抗样本生成策略;通过对抗样本重训练的方法增强了恶意软件检测模型的抗攻击能力。主要研究工作如下:研究并实现了一个基于GBDT（Gradient Boosting Decision Tree,梯度提升迭代决策树）机器学习方法的恶意软件检测器。本文以Ember数据集为基础,比较了以GBDT为代表的传统机器学习技术和以DFN（Deep Feedforward Network,深度前馈网络）为代表的深度学习方法在Ember数据集上的训练效果,最终选取了GBDT模型作为最优模型,该模型在FPR为0.1%时TPR为88%。研究了针对恶意软件检测模型的对抗样本生成方法。在Gym-Malware的基础上设计了一个强化学习训练环境Gym-Malware-Mini,采用DQN（Deep Q-Learning）和A2C（Advantage Actor Critic）两种强化学习算法进行训练。DQN算法学到了最优的对抗样本生成策略,生成对抗样本的成功率达到83%。利用对抗样本提升了恶意软件检测器的抗攻击能力。将对抗样本加入到训练集中,重新训练恶意软件检测模型,恶意软件检测模型可以更好地检测出对抗样本,重新训练后对抗样本的检测率提升至95%。研究涉及传统机器学习方法、深度学习方法、深度强化学习方法等前沿技术,实现的恶意软件检测器效果良好,具有一定的实用价值,为后续进一步研究打下了基础。