在这个信息网络的时代,越来越多的恶意软件对安全构成了严重的威胁。如何及时有效地检测恶意软件攻击变得尤为重要。由于其严重损坏并威胁到Internet和计算设备的安全,几十年来,恶意软件检测已引起反恶意软件行业和研究人员的关注。日益复杂的恶意软件需要新的防御技术来检测和打击新奇的攻击和威胁。人工智能、深度学习也为Windows恶意软件检测提供了新的技术。但现有的检测技术仍然存在一些问题:1)对PE文件解析的特征挖掘不够,PE文件解析后会产生大量的特征包括通用文件信息、API、头文件信息、导出函数等等。而多数检测模型只对其中几个特征进行分析,而且也没考虑到各个PE文件相互间的关系这种特征;2)对于大量的PE文件特征,多数研究者只是通过常识与语义理解选择其中的个别特征,而没有系统地使用特征选择算法进行最优的特征选择。对于以上提出的这两个问题,本文对基于HIN的恶意软件检测模型做了优化,对PE文件特征的特征选择提出了改进。本文的主要内容包括:（1）对PE文件进行充分地研究,将PE文件解析后能得到的所有特征进行细致地研究。筛选出对检测恶意与否有关联的特征作为属性特征。对于PE文件各种关系型的特征,本文使用一种基于异质图的特征建模方式。异质图对于多种节点和边的关系型特征建模有很强的灵活性,使用异质图也对PE文件的特征提取更加全面。本文构建了包含五条元路径的带属性异质图,全面涵盖了 PE文件的复杂语义信息。本文通过测试实验表明,该模型解决了现在对于PE文件特征挖掘不够,不考虑关系型特征的问题,提升了检测模型的准确性。（2）对于大量的PE文件的属性特征,本文进行了特征选择工作。依据现有特征算法的优缺点,本文对特征选择算法做了一定的改进。使用Filter与Wrapper结合的特征选择算法,得到了基于Ember数据集的最优特征子集。（3）设计并实现了一个web端的windows恶意软件检测系统。将本文提出的模型作为该系统的检测引擎,让提出的模型更具实用。