虚拟化环境是指将多个客户操作系统运行在一台传统的物理服务器的计算环境。虚拟化环境中的每一个客户操作系统称为一个虚拟主机。虚拟机技术屏蔽了客户操作系统和底层硬件之间的差异,保证了各虚拟主机应用之间的隔离性。使得物理服务器的利用率大大提高。同时,虚拟化技术已经成为云计算的重要平台。虚拟机技术在带来诸多好处的同时,由于其自身架构的特殊性,使得虚拟主机内部之间的通信、内部网络与外部网络的通信都面临着很大的安全威胁。由于物理主机上运行了多个客户操作系统,内外部之间的通信频繁且多样,出现了各种各样针对物理主机以及虚拟主机的攻击。如何识别、分辨、防御这些攻击行为,是虚拟化环境安全的重要研究课题。另外,虚拟机之间可以通过建立共享内存的方式来进行通信,作为虚拟主机间通信最有效的方式之一,共享内存越来越受到人们的关注。但同时,关于共享内存的安全问题却缺乏相应的研究。共享内存的安全是保证虚拟机之间安全通信的基础。防止共享内存的非法访问和数据的非法篡改是虚拟化环境通信安全的首要目标。为了解决虚拟化环境中的安全问题,本文做了以下工作:首先,本文深入分析了虚拟化环境的特点。对比传统的入侵检测聚类算法,在k-means算法的基础上,提出了一种面向虚拟环境多属性权值的快速高效聚类算法(A fast and efficient clustering algorithm with multiple attributes weights FECAMAW),该算法很好的解决了虚拟化环境中入侵检测领域面临的数据规模大、属性多、动态变化及聚类数目未知等问题,对于虚拟环境中主机之间的数据连接流能够进行高效准确的划分。其次,针对虚拟环境中多客户操作系统之间采用的共享内存的通信方式,设计并实现了一个高效的共享内存安全访问模型(Shared Memory Security Access Model SMSAM)。通过记录客户操作系统编号、待访问虚拟资源编号和操作类型来信息进行共享内存访问的控制。通过实验发现,该模型能有效拦截非法的共享内存访问请求,并且对系统通信性能的影响也在可接受的范围之内。