随着Internet的广泛应用,网络信息安全变得越来越重要,有关计算机之间通信保密技术得到越来越多的研究和应用。VPN技术利用Internet等公用通信设施,通过隧道和加密技术建立了一个安全的、虚拟的的专用通道,从而确保局域网络内部数据的保密性。VPN技术不仅能提供公司企业用户数据传输的安全性,而且还节约成本。IPSec是VPN结构中应用最多的协议族,但是IPSec协议中强制要求的加密算法已不能满足人们的需求。本文主要对IPSec协议实现的安全加密算法提出了新的方法。该算法是由对称算法中的高级加密算法(AES)和非对称算法中的椭圆曲线加密算法(ECC)结合而成的一种混合加密算法。被NIST选定的AES算法,简洁、高效、安全性高而且具有良好的代数结构,而ECC算法速度快、密钥短、实现时所占资源空间少。论文首先简要介绍IPSec VPN概念及结构,接着概述密码学的基础理论及发展,然后分别对AES算法和ECC算法的加密解密过程和安全性进行分析,最后提出两种算法的混合加密算法。最后研究讨论混合加密算法的实现机制,并模拟设计了IPSec安全协议。基于IPSec VPN数据传输的混合加密算法的仿真系统由C++语言和标准Windows Winsock API实现,分为服务器端和客户端。该系统全面反映混合加密系统的性能和数据大小、客户端口数及数据传输速率之间的关系。针对测试数据,本文对该混合加密算法的安全性和抗攻击性进行了分析。两种算法相结合的混合加密算法具有更高的安全性和可执行性能,混合加密算法有效地提高VPN的数据安全和数据传输速率。