网络技术的不断发展为基于公开网络的即时通信提供了便利，但随之带来的安全问题却不容忽视。在开放的网络中，密钥建立（Key establishment）是保证后续通信安全的一种重要机制。利用密钥建立协议得到的会话密钥，参与者们可以在开放的网络中建立安全信道，从而保证传输信息的安全性。作为密钥建立协议的一种，密钥协商协议允许协议的参与者共同协商建立会话密钥。这种做法尽管有计算量和通信量相对较大的缺点，但密钥协商不需要可信的第三方和安全的信道，协议的参与者也无需信任其他参与者。本文选取Ad Hoc网络中的群组密钥协商作为研究课题，首先研究了Ad Hoc网络的特点和涉及到的安全问题，随后针对Byun和Lee基于口令的群组密钥协商协议存在不可检测的在线字典攻击的安全漏洞，提出了一种实用高效的群组密钥协商协议；为了实现群组密钥协商在大规模网络中的应用，本文还研究了群组密钥协商协议的可扩展性，并提出了一种实用的具有容错功能的群组密钥协商协议，新协议具有可扩展性。在总结了群组密钥协商协议中常见的攻击以及相应的设计原则以及Ad hoc网络中的群组密钥协商协议的扩展性的概念和扩展手段的基础上，本文的主要研究成果如下：（1）研究了近期Byun和Lee提出的基于口令的群密钥协商协议，指出该协议不能抵抗不可检测的在线字典攻击并进行了改进，提出了一种新的群密钥协商协议。分析表明，新协议可以抵抗基于口令的群密钥协商协议的常见攻击。（2）提出了一种新的可容错的群组密钥协商协议，并在此基础上提出了一种基于簇的协议的可扩展性版本。新协议以较低的算法复杂度实现参与者安全的会话密钥协商的同时，具备可容错性和长期私钥可重用性的特点。分析表明，新协议可抵抗多数常见攻击。