随着互联网的迅速发展，越来越多的应用对组播通讯提出了需求。IP组播是最早出现的有效组播方式，但由于在传输技术和管理上存在严重缺陷，IP组播没有在全球范围内成功推广，因此提出了应用层组播的解决方案。应用层组播是一种覆盖网络上的组播，将主机节点自组织成一个逻辑网络，通过底层成员之间的单播链接来实现覆盖网络上的组播功能。在应用层组播中，组播服务的实现不受底层网络条件的限制，因此容易推广。由于主机实现组播功能的自身局限性，与IP组播相比，应用层组播存在相应的性能缺陷。对应用层组播的性能缺陷进行研究，尽量改进它的组播相关性能，对于实现组播的大范围推广具有重要的意义。本文针对应用层组播的性能缺陷，基于tree和mesh两种常用的覆盖网络拓扑结构，围绕如何保证应用层组播的组播效率、可扩展性、分布式特征以及QoS，开展了以下研究工作：首先，由于当前基于tree覆盖网络拓扑的应用层组播协议具有较差的组播延迟性能，本文给出一种可扩展的高效应用层组播协议——HFTM。HFTM通过分层和分群的思想构造了一个特殊的层次化结构，在进行群划分时，充分考虑了底层网络拓扑特征，尽量避免数据包在代价昂贵的链路上进行传输，从而减少组播延迟。另外，采用一种新颖的基于斐波那契序列的组播算法将群内成员构造成一棵高效的斐波那契组播树，利用此树进行群内组播。实验表明底层网络拓扑特点的考虑以及斐波那契组播树的构造使HFTM协议获得较好的组播延迟性能。其次，由于大部分应用层组播协议没有考虑主机的容量限制，本文提出一种基于tree的度约束高效应用层组播协议——DTALM。在DTALM中，所有组成员被构造成一棵满足度约束的两层斐波那契组播树结构。首先将每个本地网络(local area)构造成一棵斐波那契组播树，然后将所有树根构造成一棵顶层斐波那契组播树，另外需要对树上节点进行度调整以满足节点度约束，从而减少瓶颈产生的概率。实验结果表明DTALM的组播延迟性能与经典算法NICE和OMNI相比具有较大的优势。再次，提出一种基于mesh的分布式、可扩展、高效应用层组播协议——DSALM。在DSALM中，整个组播组成员被构造成一个两层CAN mesh的特殊层次化结构，在构造层次化结构时，协议充分考虑了mesh结构的拓扑特征以及主机的实际拓扑位置以改进组播延迟性能。在路由机制方面，分别采用不同的路由机制在两层CAN mesh上同时进行数据传输，使数据可以尽快到达较远的目的地。DSALM协议采用了特殊的组播结构及路由机制，因此既减小了维护代价又获得了很好的扩展性和路由效率。最后，研究组播服务的QoS保证，提出两种有效的平衡算法PB-B和PB-R来获得流媒体播放连续性和实时性之间的平衡，使端到端延迟和延迟抖动都不超出用户所能接受的限度范围。所提的两种算法PB-B和PB-R都需要利用探测机制获得即时的网络状态，然后根据所获得的信息分别做出相应处理。PB-B引入一个大小可调的缓存，根据即时网络状态对缓存大小进行调整；PB-R引入缓存大小和流速都可调的流量整形器，根据网络状态的变化对缓存大小和流速同时进行合适的调整。两种算法的设计目的都是为了在播放连续性和实时性之间获得较好的平衡，实验表明与经典算法相比，算法PB-B和PB-R在减小网络延迟和减小延迟抖动之间获得了较好的平衡。