随着各种通信设备的普及，通信设备上的各种应用已经日益交叉化、网络化。如果一些应用协议本身存在安全缺陷，那么一些恶意的用户很可能通过网络对其它用户造成安全威胁。所以，安全在网络通信应用中的作用越来越受到人们的重视。一般来讲，安全通信协议的功能主要是使在一组通信实体之间传输的信息对不参与通信的其它实体保密、及通信一方如何识别通信对方的身份等基本功能。在满足安全要求的前提下，尽量减小由于增加安全功能所带来的计算、通信、存储方面效率的降低。在一些特殊的应用领域里，比如战场通信，安全通信协议还包括如通信各方身份、位置等信息的匿名的扩展功能。本文总结了通信节点之间形成网络结构的特点，为了实现不同网络结构下安全通信的功能要求，本文以公钥加密，对称加密，离线对数等基本密码技术方法为基础，在基础理论研究方面，提出在不同网络结构下如何构建签名同时加密协议与认证密钥协商协议,以及如何在现有协议基础上通过改进得到满足更多安全要求的新协议。在安全应用研究方面，提出在敌对环境下的自组织网络中实现完全匿名的单播路由与组播路由协议的方法及在点对点网络中如何实现安全的连续事件签名协议的方法。总体来讲，本文使用了两种研究方法。一种是通过具体的攻击实例找到现有协议中存在的安全问题，然后分析产生问题的原因并找出相应的解决问题的对策，最后提高现有协议的安全性，使其可以抵御已知攻击。另一种是按照一般的协议设计要求设计新的协议，通过通用模型证明其一般安全性，再具体分析新协议如何抵抗现有的攻击方法。安全性分析的重点包括分析现有安全协议的整体功能，协议中的具体步骤所对应的子功能，以及这些子功能如何有机的结合起来最终实现整体功能，从而找到一种在目标网络环境下按照实际的通信安全需求设计协议的方法。具体来讲，本文主要从以下方面提出了创新性理论或方法：在签密协议方面，本文先从一个两方协议入手，分析伪造攻击与公钥替换攻击对签密协议的影响，并给出改进的建议。然后将协议扩展到线型网络结构下的多用户签密及门限签密协议，提出可以抵抗这两种攻击的多用户条件下的改进方案。在认证密钥协商协议方面，本文在各种不同的网络结构下，在目前主流的基于口令密钥协商协议与基于身份密钥协商协议领域进行了相对全面和比较深入的研究。基于口令认证密钥协商协议出现的较早，协议的结构简单，操作步骤较少，其特点是用户需要记住一个简短的、安全强度较低的口令，每次一组用户需要会话前，先通过认证密钥协商过程建立安全强度较高的会话密钥。这使得基于口令的协议需要较多的通信次数，但每个普通用户需要完成的计算量相对较小。基于口令的协议有两种主要形式，第一种是每个用户与一个可信的第三方共享一个口令，协商过程在第三方帮助下完成。第二种是所有用户之间共享一个口令，协商过程不依赖外界辅助。本文先提出了针对一个线型网络下的第一种形式的协议的中间人攻击、离线字典攻击及在线字典攻击方法，分析攻击有效的原因并进行了相应的改进。再利用多项式插值算法构建了一个应用于星型网络的四轮认证密钥协商协议。然后针对一个用户之间共享口令的协议提出了一种改进的在线字典攻击方法，分析攻击有效的原因并指出克服这种攻击的方法。最后，在环型网络结构下，利用DH算法构建了一个两轮的多方认证密钥协商协议。基于身份的认证密钥协商协议是在基于公钥的认证密钥协商协议基础上发展起来的。由于公钥还需要与其持有者身份相关联才能用于认证，所以其使用成本相对较高。基于身份是指直接使用用户的身份标识作为其公钥，这样就简化了公钥认证的条件，使得基于身份的协议在实现时对基础设施支持的要求相对较低。本文分别对一个星型网络结构的基于身份协议、一个树型网络结构的基于身份协议、和一个线型网络结构的协议进行了安全性分析，指出它们在安全认证方面存在的脆弱性，并进行了相应的改进，使其可以抵御伪造攻击。在匿名路由协议方面，本文针对完全敌对环境下自组织网络提出了一个基于公钥的单播完全匿名路由协议、一个基于身份的单播完全匿名路由协议和一个基于身份标识的组播完全匿名路由协议。一般的匿名协议是信息初始节点和目的节点相对其他节点匿名。这里的完全匿名是指协议执行完成后，初始节点和目的节点不知道哪些中间节点帮它们转发了路由包。每个中间节点也不知道谁是初始节点、谁是目的节点、有多少以及哪些其它中间节点转发了路由包。这对路由包的结构和路由协议提出了更高的要求。为了实现完全匿名，本文对路由包中所有包含有效信息的字段进行了不同层次的加密，使用了临时公钥与长期公钥组合应用的技术，不同节点根据自己的私有信息和相同的算法从同样的路由包中获得不同的信息。这使得本文所构建的协议不仅可以抵抗路由包分析攻击、重定向攻击、伪造攻击、重放攻击、模仿攻击、拒绝服务攻击等攻击方法，而且由于任何节点不掌握其它节点的身份、位置、节点间关系等信息，在敌对环境下，即使一些节点变节也不会威胁其它节点的安全。连续事件签名主要应用在点对点型大规模在线网络游戏领域。在连续事件签名协议方面，本文从一个基于一次性签名和哈希链的协议入手，提出对其进行攻击的方法并分析其存在的安全缺陷。然后介绍了两个在该协议基础上分别针对重放攻击和伪造攻击的改进协议，并指出这两种协议改进方法中存在的问题，最后引入离散对数的方法提出一个新的点对点网络中的连续事件签名协议。通过安全和效率分析得出了新协议的安全性和实用性。