随着互联网、个人计算机和移动计算平台的迅速普及,各种各样的恶意软件也层出不穷,以极快的速度增长,严重威胁各类计算机用户的信息安全。本文针对恶意软件行为检测与分析中的一些难点问题展开了分析研究。在行为分析方面,论文提出利用时间序列来判断恶意软件变种。为了解决现有算法的不足,设计了SimHash-LCS算法。为了尽量保留恶意行为的详细信息,又不降低处理效率,引入了SimHash算法思想对行为进行数值转换,并设计了对应的判断模糊相等算法。在序列分析算法上,引入了最长公共子序列,该算法适合两个长度相差很大的序列比较相似度,并且可以过滤掉其中的噪声数据。实验结果表明该算法比现行主流的动态时间变形算法、最小编辑距离算法准确性更高,能够准确地判断出恶意软件变种。该算法还可应用于其他需要进行时间序列分析的领域,在匹配序列长度相差大、对性能要求高、需要过滤噪声的场合比较有优势。论文将BP神经网络引入到恶意软件行为动态分析领域,设计了合适的数据转换算法,利用实验来寻找神经网络中各个算子和参数的最佳组合,最终设计出一个合适的BP神经网络,实验表明该网络比KNN.NB算法的分类准确性更高,已经具备了一定的实用价值。论文还利用SVM模型针对恶意软件行为结果特征进行分类,首先利用10折交叉验证法来确定SVM算法的选择；然后再设计实验来寻找SVM中各核函数和最优参数对(C,g)。为了降低实验工作量,首先对可能出现最优组合的区域进行了理论分析,然后利用网格法对此区域进行初步搜索,再利用遗传算法进行精搜,找到了基于RBF核函数的SVM的最佳参数对。实验结果表明该SVM与前述的BP神经网络有近似的分类准确性。最后,由于在现有技术条件下,在行为库的建设以及行为捕获两方面还不能完全保证数据的准确性和完备性。为了解决数据部分缺失的问题,论文尝试引入灰系统理论对失真数据进行处理。将灰系统和极限学习机融合起来,设计了灰色极限学习机模型。通过实验对该模型的抗干扰能力等指标进行了初步测试,实验结果表明,灰色极限学习机模型在恶意行为分析领域有比ELM更好的适应性。在恶意行为库的建设方面,首先对恶意软件和恶意行为给出了形式化定义;然后利用已有的安全工具架设一个综合平台,对恶意软件样本进行跟踪分析；自行设计了XML标记,对恶意行为结果特征进行了详细的描述,构建了一个较完善的恶意行为特征库。在应用层监控方面,提出了一种将有模块注入和无模块注入相结合的新方法。在注入时利用普通有模块注入方式,让恶意软件疏于防范；注入之后消除自身模块,让恶意软件无法检测到监控软件的存在。对于应用中的一些具体技术问题给出了解决方案。实验表明此方法隐蔽性好,通用性强。在内核监控方面,提出了名为Secret Inline Hook的新方法,此方法是在SSDT Inline Hook基础上做出的改进,基本思路是Hook SSDT表的下一层函数。恶意软件想反抗监控需要遍历下层所有函数,由于下层函数数目众多,这几乎是不可能完成的任务,因此该方法的隐蔽性很好。论文中给出了该方法的一个具体实现例子,并通过实验验证了该方法的安全有效性。