近年来,随着无线通信技术和计算机网络技术的发展,无线多媒体业务已成为当前网络中的核心业务之一。多媒体业务,特别是视频业务,在传输速率、实时性以及误码率方面都具有较高要求,随着用户对多媒体业务的需求急剧增长,海量数据的传输与低带宽、高误码率的无线信道之间形成的矛盾给无线通信技术的发展带来了巨大挑战。多媒体业务在未来无线通信网络中所占的比例将越来越高,针对多媒体业务信源分层特性的无线传输优化问题成为行业关注的重点。本文分别针对点到多点的无线广播系统和无线协同中继系统中分层信源编码的传输优化问题进行了深入分析和研究。论文的主要工作以及创新点在于：第一、基于分层信源编码的叠加码(LSSC, Layered Source coding with Superposition Coding)传输模型,对无线广播系统中多媒体业务的传输优化问题进行了深入分析。推导出了LSSC广播方案的理论性能界,给出了最优的层间功率分配和速率分配方法,研究了关键系统参数对系统性能的影响,并与现有的广播方案进行了比较,分析了LSSC广播方案相对于传统广播方案的优势所在。研究表明,在无线广播系统中,分层信源编码的叠加码传输方案能够在保证边缘用户性能的前提下显著提高中心用户的性能,从而有效提升系统平均性能。第二、为克服半双工协同中继系统中传统的解码转发(DF,Decode-and-Forward)和放大转发(AF, Amplify-and-Forward)协同机制在获得高分集增益的同时复用增益损失一半的缺陷,本文提出了两种改进的中继协同转发机制：叠加码解码转发(SCDF, Superposition Coding based DF)和叠加码放大转发(SCAF, Superposition Coding based AF),并针对不同的信道场景,对SCDF和SCAF的分集复用折衷性能(DMT,Diversity and Multiplexing Tradeoff)分别进行了深入分析和研究。结果表明,在分集度方面,SCDF/SCAF可以获得与DF/AF相同的二阶分集增益,而传统的直传方案(DT, Direct Transmission)仅可获得一阶分集增益；在复用度方面,SCDF/SCAF可以将复用增益从DF/AF中的1/2提升到N/N+1随着时隙数N的增加其复用性能将逼近DT方案。第三、分析了无线中继系统中不同信源编码方式在所提出的SCDF/SCAF协同机制下的传输优化问题,分别推导出了在不使用分层信源编码、采用有限层分层信源编码以及连续分层信源编码时点到点的最大可达失真指数,并分别给出了相应的分集复用自适应方法。结果表明,与基于DF/AF的传输方案相比,基于SCDF/SCAF的传输方案在整个带宽比内均可达到更高的失真指数；与基于DT的传输方案相比,基于SCDF/SCAF的传输化方案在带宽比较大时可以达到失真指数为2的优异性能,而传统DT传输方案的失真指数仅为1。第四、针对两层分层信源编码的实际场景,提出了一种改进的DF中继协同传输机带(?)—MDF(Modified DF),并具体分析了两层信源编码在MDF协同机制下的传输优化问题,推导出了理论可达失真指数,给出了相应的分集复用自适应方法。研究表明：由于改变了传统半双工中继系统中源节点和中继节点通过正交资源进行发送的传输模式,基于MDF的传输方案能够在低带宽比条件下与基于DT的传输方案达到近似的性能,弥补了基于传统协同机制的传输方案在低带宽比时的性能损失；在高带宽比条件下,基于MDF的传输方案能够达到与基于DF/AF以及SCDF/SCAF等协同机制的传输方案相近的性能,从而能够改善基于DT的传输方案在高带宽比时所存在的不足。在此基础之上,论文进一步考虑了分层信源编码的MDF协同传输方案在无线中继广播系统中的应用,分析结果表明,该方案能够同时提高广播系统中近端用户和边缘用户的性能,从而提高广播系统的整体性能。