随着便携式移动计算设备的小型化和实用化，移动无线网络在人类社会生活中的地位越来越重要，有着广泛的应用需求。移动自组织网络是移动无线网络的一个重要发展方向，路由协议是移动自组织网络研究的核心问题之一。移动自组织网络拓扑变化快，网络资源有限，要求路由协议具有较小的路由控制开销和较好的自适应性。按需路由协议仅在需要时才寻找路由，适用于移动自组织网络。本文以国家高技术研究发展计划(863计划)等项目等为研究背景，针对车载自组织网络(VANET)、无线网状网(WMN)等移动自组织网络的特点，研究按需单播路由协议。从提高路由协议性能，对路由协议的网络流量复杂度分析和提高路由协议的安全性三个方面进行研究，具有一定的理论价值和重要的工程应用价值。主要研究工作和创新点如下：1)因链路错误导致的频繁重启路由发现过程会增大网络控制开销，并导致路由协议性能降低。传统的后备路由协议仅在链路出错时才使用后备路由来进行局部修复，无法适应快速的网络拓扑变化。本文提出的后备路由协议及时对路由进行微调，减少了整条路由断开的概率，降低了网络控制开销，提高了路由协议的自适应性。同时在小范围内进行局部路由修复，提高了局部修复的成功率和效率。本文提出的后备路由协议在经典后备路由协议AODV-ABL的基础上改进而来。通过合并主路由和后备路由，并在监听数据分组时同步更新路由，路由能尽快地得到优化。本文提出的路由协议有两种实现方案：AODV-FABL和AODV-BFABL。AODV-FABL通过监听数据分组实时维护正向路由信息。AODV-BFABL则针对双向不对称流量的应用场景，同时维护正反两个方向上的路由信息。仿真实验表明，提出的两种后备路由协议提高了响应速度，减低了网络控制开销，对节点运动速度和网络负载的自适应性也较强。提出的后备路由协议平均时延仅为AODV的70%以下，表现出良好的时延性能。2)不稳定的路由会带来频繁的路由发现过程，增大网络控制开销，降低路由协议性能。车载自组网(VANET)是移动自组织网络的一种实用形式，其运动信息可作为路由判据来提高路由的稳定性。针对车载自组织网，兼顾考虑路由的稳定性和时延，提出了一种由链路有效时间、队列饱和度和跳数组成的综合路由判据。使用此综合路由判据，对经典按需路由协议AODV进行改进，实现了一种基于链路稳定性加权的路由协议AODV-CM。该协议通过寻找稳定的路由，减少了路由断开的概率，均衡了网络负载，从而提高了路由协议性能。实验结果表明，AODV-CM的路由发现频率仅为AODV的70%左右，稳定性高于AODV。3)分析路由协议导致的网络流量复杂度，可为路由协议设计提供重要依据。移动自组织网络的网络流量在不同的时间尺度下表现出不同的复杂度。网络流量复杂度成因复杂，难于精确描述。路由协议与网络流量复杂度之间关系的研究仍处于起步阶段。本文引入基于多尺度熵的复杂度分析方法对路由协议和网络流量复杂度之间的关系进行研究和分析。以经典路由协议AODV和本文提出的AODV-FABL和AODV-CM路由协议引起的网络流量为研究对象，定量的分析了其在不同时间尺度下的复杂性。分析结果验证了这些路由协议在小时间尺度下网络流量复杂度高且波动较大，在大时间尺度下网络流量复杂度低且具有长程相关性。指出并分析了这些路由协议网络流量复杂度与网络拓扑变化速度之间的关系。4)路由协议安全性是路由协议研究的一个重要问题。灰洞攻击是一种常见的内部路由攻击方式，具有隐蔽性和破坏性。传统的移动自组织网络灰洞检测方法利用邻居监听技术来判断灰洞节点，未考虑到无线网状网(WMN)的结构特点，缺乏全局判断。此外，当多个节点发现某个节点是灰洞节点时，将向全网广播此信息，导致广播风暴。无线网状网是移动自组织网络的一种扩展形式，网关节点连接其中的有线网络和无线网络。本文针对无线网状网分布式控制和中心控制混合结构的特点，提出了一种基于网关的灰洞检测路由协议GBGHD。GBGHD中，网关节点分析和综合处理无线节点收集到的监测信息来判断出灰洞节点，并通过捎带技术来降低路由开销，避免网络风暴。实验结果表明，本文提出的灰洞检测算法迅速有效，排除了灰洞节点，改善了网络性能。当预设灰洞节点丢包率不小于0.3时，在10秒内就可检测出灰洞节点。