NTRU公钥密码体制(NTRU PKCS)是一种典型的快速公钥系统，其解决了困扰PKCS的速度问题，更因其密钥体积小、生成方法简单等特点，可广泛应用于电子商务、嵌入式、通信等领域。　　NTRU基于格基归约的困难性，其在实现的过程中主要涉及的运算只有截尾多项式环上的加法、乘法和求逆运算。对NTRU来说，除了安全性和速率，要处理的一个主要问题就是解密失败的问题，这个问题可以通过合理的参数选择把解密失败的概率控制在一个比较小的数值内。　　与传统公钥体制相比，NTRU公钥体制具有更广泛的应用前景，对它的研究是当前公钥密码系统研究的一个热点。本文对NTRU公钥密码体制进行了研究，对其数学基础、算法和安全性进行了讨论。论文先对密码学的发展进行简要的介绍，介绍格上的困难问题最短向量问题(SVP)、最近向量问题(CVP)、近似最短向量问题(App-SVP)和近似最近向量问题(App-CVP)，LLL算法等，而且指出了对这些问题的困难性研究仍是不充分的。接着深入分析NTRU公钥密码体制中产生解密失败的原因，研究其产生的机理，针对其特点，并结合增强型NTRU算法对原始NTRU算法提出降低解密失败发生概率的方法，为后面的研究工作打下理论基础。本文主要工作在后面三章：　　(1)对NTRU公钥密码体制加密算法中涉及的多项式模逆算法进行改进，并提出一种新的可对任意模数的多项式求解其逆元的算法。　　(2)对针对NTRU私钥的格攻击进行了成功的模拟；以含有唯一最长零部分的特殊多项式私钥g为突破口构造出一类攻击NTRU私钥的新格，缩短寻找最短向量的空间，从而更快的寻找到最逼近私钥的格向量。　　(3)在增强型NTRU的解密过程中，随机多项式ψ中较大的系数分布与NTRU解密失败的发生概率存在密切的联系，根据该思路，提出一种攻击NTRU的方法，该方法通过恶意解密失败由ψ测出g，再结合公钥h破解出私钥f。