计算机软件的广泛运用,大大提高了社会生产力,同时也带来了诸多安全问题。特别是近年来移动互联网的飞速发展,安卓智能手机和Java语言的使用越来越多,安卓系统的开放性导致大量应用程序被破解甚至植入木马和病毒,不仅给软件开发者的知识产权和合法权益造成了严重损害,而且严重威胁手机用户的个人隐私和数据安全。因此,研究更加有效的软件保护技术具有十分重要的意义。代码混淆是软件保护的关键技术,它对程序的外形、数据流、控制流等进行语义保留的变换,生成功能相同却更加难以理解和分析的程序,能有效防止程序被恶意破解。本文介绍了代码混淆的国内外研究现状和几种代码混淆算法,重点分析了基于随机插入策略的控制流混淆算法,探讨了代码混淆的评估方法,研究了JVM指令集和Java字节码文件格式。基于随机插入策略的控制流混淆算法存在混淆强度和额外开销的不确定性,针对这一问题,提出一种基于嵌套复杂度的控制流混淆算法OB_NC,通过计算指令开销和循环嵌套深度来对混淆操作所引入的开销进行量化,采用嵌套复杂度对控制流复杂度进行度量,基于分组背包思想构造背包决策表,综合考虑混淆强度和开销来选择垃圾代码插入点,在开销阈值内尽可能提升混淆强度。分析和实验结果表明,与基于随机插入策略的控制流混淆算法相比,OB_NC算法混淆后的控制流更加复杂,具有更高的混淆强度,且时间开销较低。最后介绍了安卓应用程序结构,分析了目前主流DEX加壳技术的原理和不足。在此基础上,将OB NC算法运用到安卓APP的安全加固中,并验证了其可行性。