随着计算机技术的迅猛发展,与计算机安全相关的攻防技术也在不断演变进化。本文关注的是众多攻击技术中的ROP攻击（Return–oriented Programming）,攻击者控制源程序的返回地址来间接操控程序的走向,从而执行特定的攻击（一般是获取控制权限）。目前,ROP攻击通常利用的是系统内静态库和动态库中的短指令工具链（gadget）,通过拼接这些gadgets,完成特定目标的攻击。而针对它的检测防御方法也经过了长时间的演变:由最初的静态控制流逐步发展到现在的硬件检测方法。当前热门的硬件检测虽然具有检测速度快的优点,但是准确度较低,还会受到系统环境的影响。基于硬件检测准确度不高的缺点,本文设计了基于KVM的软硬件结合的新型ROP攻击检测系统,其中软件方法指的是利用动态插桩对指令进行分析,硬件方法指的是基于LBR（Last Branch Record）的检测方法。本文的主要工作内容如下:首先,通过剖析ROP攻击的原理,还原了ROP攻击过程。在还原过程中根据ROP攻击的固有属性和特征,针对call、ret、jmp三种指令特征进行筛查:例如该检测系统在某个时间点或某处函数执行时,jmp指令是否进行了函数间跳转,call和ret指令是否存在数量不一致等。根据这些指令受到攻击时的异常特征,制定了一套完备的针对不同指令的动态检测方案。然后,通过KVM和XEN两种虚拟机架构的对比,发现KVM具有可扩展性好和开源的优势,便于系统的开发和升级。另外,在KVM中虚拟机与主机交换数据的接口易于调用,代码实现简洁。综合KVM架构的以上优点,确定使用KVM架构进行开发来保障检测系统的安全。其次,本新型检测系统创新性地提出了用漏斗的方式过滤程序,在第一层用LBR检测模块先检测大部分的ROP程序,再对LBR检测不到的“正常程序”用动态指令检测模块进行深度检测,最后获取准确的检测结果。通过此种嵌套检测的方式,实际上是按照判定为ROP攻击的概率对可疑程序进行了危险性等级的划分,提高了整个系统的检测精度。最后,在本文的实验部分,利用独立构造的攻击样本集和CVE缓冲区溢出漏洞样本,对该检测系统的准确度进行了评估。实验结果表明,面对原始ROP攻击和变种ROP攻击,该系统都能保持90%以上的检测率,相较于以往的硬件检测准确度大幅提升。