随着计算机软件和网络技术的高速发展,恶意软件已经成为影响网络安全的重要因素。为了增加网络安全研究人员的分析难度,恶意软件开发者不仅使用传统的布局混淆、数据混淆、控制流混淆和预防混淆等技术,而且更热衷于保护效果更好的O-LLVM（Obfuscator-LLVM）定制化代码混淆器。针对现有的O-LLVM反混淆方案在定制化混淆器中存在的局限性问题,本文对代码混淆、中间语言、模拟执行和污点分析等技术进行了深入研究,解决了现有反混淆方案仅支持单一指令集架构、不兼容定制化混淆器、不适用路径分支混淆以及由中间语言引起的缺乏动态能力等问题,显著提高了O-LLVM反混淆方案的可移植性、兼容性和适用性,具体工作如下:提出兼容定制化混淆器的真实块识别算法和复用块分割算法,然后结合中间语言IDA microcode设计与实现了控制流反混淆方案Bin Deob。该方案适用于标准混淆器和定制化混淆器,并且能够对ARM32、ARM64、X86和X64等多种常见指令集架构的恶意软件进行反混淆。在C/C++经典混淆基准和公开的高危安全漏洞数据集上的实验结果表明,经Bin Deob反混淆后的函数与原始未混淆函数之间的控制流程图相似度平均值为98.9%,优于参考文献中的Di ANa和SATURN等反混淆方案。另外,引入伪代码相似度作为评估指标,Bin Deob反混淆结果与程序源代码之间的伪代码相似度平均值为97.6%。提出适用分支目标混淆的控制流程重建算法,实现了首个IDA microcode模拟执行引擎Bin VM,并结合静态污点分析技术和IDA microcode设计与实现了分支目标反混淆方案Br Deob。该方案能够对路径分支混淆后的恶意软件进行反混淆,从而得到混淆后的分支目标地址并重建控制流程,最终生成反混淆后的伪代码。另外,模拟执行引擎Bin VM赋予了Br Deob动态能力。进而,在不运行恶意软件的情况下,Br Deob还能解决不透明谓词和字符串加密等代码混淆问题。在公共数据集上的实验结果表明,经Br Deob反混淆后的函数与原始未混淆函数之间的控制流程图相似度和伪代码相似度平均值分别为98.5%和96.9%,验证了Br Deob对抗真实威胁的有效性。