随着计算机和Internet技术的飞速发展,信息资源的共享程度进一步加强,但是随着社会网络化程度的增加,开放式网络体系的安全性隐患开始日益明显的暴露出来。新的漏洞,新的病毒几乎每天都在主流计算机平台上发现。不但如此,不断涌现的计算机新技术也可能使得计算机系统的安全性比以前更难以控制。这两个因素,互连性和复杂性,使得用户对计算机的信任度降低。在开放的网络环境和系统环境下,信息安全技术亟待发展。随着计算机远程终端存取、通信和网络工程等新技术的发展,硬件安全是目前硬件水平所能达到的。因此,计算机软件安全就显得越来越重要了。操作系统是唯一紧靠硬件的系统软件,其安全职能是其他软件安全职能的根基,缺乏这个安全根基,构筑在其上的应用系统以及安全系统的安全性就根本得不到保障。因此,操作系统作为信息安全的基础支撑平台,其安全性和性能直接影响着信息系统安全的实施,是计算机信息系统安全的必要条件。设计安全操作系统时,支持与配合的其他网络安全技术,如入侵检测等,也是安全操作系统的研究重点。一般来说,用户对信息系统有以下安全需求:机密性,完整性,可用性,可记帐性等。因此需要操作系统具有以下安全功能:身份鉴别、访问控制、安全审计、入侵检测等。其中,访问控制是安全操作系统研究的核心,基于程序行为的异常检测已经被证明是最成功、最有效的基于主机的异常检测方法。基于程序行为异常检测的关键是构建一个高效、准确的程序行为模型。基于动态学习或者静态分析或者两种方法结合,研究者已经提出了若干上下文敏感或者上下文非敏感的异常检测模型。本文根据进程从系统调用抽取的信息,异常检测中使用的原子单位的粒度以及异常检测器记录的原子单位信息这3个方向研究了已经提出的各种异常检测模型,根据汇聚时间,错误报警,检测能力,空间需求,运行时间等评价标准对这些模型进行了比较。经典的安全操作系统访问控制模型有BLP模型、DTE模型以及RBAC模型,但这些模型的限制太严格,BLP仅考虑机密性,DTE仅考虑完整性,RBAC侧重访问控制角色的授权管理,而且,在模型的实现中,进程的标识由用户标识(UID)继承而来,不考虑进程的可靠性,不能确保用户和引用监控器之间的可信路径,从而造成信息泄露或篡改。实际的网络环境对系统的安全需求是多方面的,因此必须研究新的访问控制模型。本文在深入理解以往模型的基础上,提出了MACM策略,它的本质特征是:同时满足机密性、完整性以及特权分离原则,同时考虑系统的可用性。在Linux上的实现与性能分析表明,该方法的负载较低。基于静态分析构建上下文敏感的异常检测模型是准确度与效率的折衷。已经提出的模型有Abstract Stack模型,VpStatic模型,Dyck模型以及HPDA模型。这些模型的主要缺点是单个模型都不能获得完备的上下文信息,可能导致模型允许一些异常行为,而且也仅处理静态连接的程序代码。本论文提出的CPDA模型基于优化的堆栈遍历和代码改写技术获得完备的系统调用上下文信息。对于静态链接的程序部分,递归,DLL基于堆栈遍历技术处理,循环和非标准控制流使用代码改写技术处理。因此,CPDA模型改进了模型的准确度。其次,CPDA模型不需要维持内部堆栈,所以有较少的转移。由于Null调用插入有限,而堆栈遍历仅仅在系统调用点引发监视,引起的负载较小。在Linux程序上的实验表明:CPDA模型效率较高。为了检测更多针对安全关键数据的攻击,必须在控制流信息的基础上考虑数据流属性,即系统调用参数信息。本论文主要讨论数据流属性上的二元关系学习。已经提出的研究系统调用参数二元关系的方法有基于动态学习的MCC和Improving方法、基于静态分析的Environment-Sensitive方法以及PAID方法。本论文提出了一种合并动态学习与静态分析来高效学习系统调用参数属性的2PA(Two-Phrase Analyzing,2PA)方法。静态阶段,根据数据依赖图通过符号执行恢复静态可以确定的参数值,分析事件之间的关联;动态阶段,获得不能静态确定的参数值以及学习具体的关系。2PA方法的主要贡献有:首先,提出了无关参数和无用关系的概念;其次,给出了根据数据依赖图构建关系依赖图的算法;第三,提出了一种两阶段的关系依赖分析方法。在Linux上的实验表明,基于2PA方法的异常检测的准确度得到改进,检测效率较高,而异常检测负载较低。