公钥密码体制从开始提出到现在已经发展了三十余年，它的主要思想是利用了数论中的困难问题。如应用最广泛的RSA加密体制是基于大整数分解的困难问题构造的，ElGamal数字签名是基于在剩余类环中由生成元求解其离散对数困难问题来实现的。但是，近年来量子计算的发展在为人们带来巨大威力的同时，也对许多基于数论难题假设的公钥系统造成了潜在威胁。于是，探索可以抵抗已知量子分析的公钥密码系统是目前公钥密码学研究领域中十分活跃的主题之一。基于非交换群的密码系统正是符合这一主题的。因此，尝试基于非交换代数系统来设计公钥密码方案，具有重要意义。本文利用半直积、共轭闭圈构造出了两类非交换群，并基于它们分别将ElGamal密码体制、Diffie-Hellman密钥交换协议进行了推广。数字签名是公钥密码学的又一重要课题，它可以用来保证数据的完整性和身份的识别与认证。而门限代理签名是具有特殊性质的签名，即有效的代理签名人的子集可以代理原始签名人签署消息。许多门限代理签名方案被不断提出并逐渐完善。但大多数是基于证书的公钥密码体制，为简化传统公钥密码体制的密钥管理问题，Bao等人于2006年首次提出了基于身份的已知签名人的门限代理签名方案（BCW方案），并且他们的方案满足代理签名的安全需求。本文从不同角度分析了BCW方案的两类改进方案的不足。为了满足基于身份和双线性对的密码体制的安全性，对现有方案攻击再改进具有研究意义。本文的主要工作如下：首先，利用Suzuki群和半直积构造出了一类新的非交换群，并应用到MOR体制中，从内自同构群上的离散对数问题、矩阵的运算两方面来分析这类MOR密码体制是安全的。其次，基于一类新的非交换结构—附加特殊圈的左乘法群及PCSP困难问题，由一种新的映射得出一个推论，并在此推论的困难性基础上，研究Diffie-Hellman共轭问题并建立密钥交换协议，最后结合推论说明这种Diffie-Hellman密钥交换协议是安全的。最后，对基于身份的已知签名人的门限代理签名方案进行研究，分析现有改进方案的不足之处，从不同角度成功地给出伪造攻击。