随着视频编码技术的飞速发展，3G/4G移动无线通信网络的日益成熟，以及诸如智能手机、平板电脑等智能终端的广泛普及，视频通信业务得到了越来越广泛的应用。视频通信综合考虑了信源视频压缩编码技术以及编码后数据的传输这两个方面，同时对高效的视频压缩编解码以及快速可靠的数据传输提出了具有挑战性的要求，即如何在视频通信系统以及异构的视频通信网络中保证诸如端到端视频失真、端到端延迟之类的视频通信业务服务质量。为了能够充分利用有限的计算、带宽、功耗等资源，以解决视频通信问题中的这一挑战，本文将具有良好压缩性能的先进视频编码技术与基于效用优化的网络传输控制有效融合，主要研究了基于效用优化的视频通信技术。按照传输场景以及相应视频编码方式由简单到复杂的顺序，本文逐层递进地解决了单信源单终端的端到端视频通信系统中的效用函数建模及码率优化控制、单信源多终端组播网络中的可伸缩视频流多码率组播的码率优化分配、以及多信源多终端无线视频传感器网络中分布式信源视频信号采集的资源优化分配这三大类视频通信中的核心问题。相应地，本文的具体研究内容分为以下三个部分：　　首先，作为其它更为复杂的信源编码方式及网络拓扑结构中视频通信的基础，本文在简单的单信源单终端视频通信系统中，研究了端到端视频通信系统的效用函数建模以及基于效用优化的码率控制技术。这部分工作包含两个创新点。第一，单独对视频编码器的延迟-功耗-码率-失真（d-P-R-D）四维参数进行了联合建模，并且为视频编码器构建了能够对延迟、功耗、码率和失真四维效用函数联合优化的码率控制算法，所提出的d-P-R-D效用模型以及基于d-P-R-D联合优化的码率控制算法为延迟和功耗受限的视频通信系统跨层设计以及性能优化提供了理论基础和实际指导。第二，将视频编码器的研究扩展到完整的端到端视频通信系统，分别分析了信源编码以及传输的延迟、码率和失真效用建模，并且通过考虑整个端到端延迟在不同延迟分量之间的分配构建了基于延迟-码率-失真（d-R-D）优化的码率控制算法，从而为传输码率和端到端延迟受限的视频通信系统实现最小的视频端到端失真。　　其次，在更为复杂的单信源多终端视频通信系统中，本文按照从静态网络的理论假设到动态网络的实际场景的顺序，研究了视频组播网络中可伸缩视频流多码率组播的码率优化分配技术。这部分工作包含三个创新点。第一，针对静态网络特性的理论假设，对可伸缩视频流在有线、无线混合网络中的多码率组播进行效用优化建模，并且利用网络编码保证组播容量，从而使得各终端节点对分层视频流的接收能够满足可伸缩视频编码层间依赖性约束以实现最小的视频接收失真。第二，考虑实际无线网络中参数的不确定性，在前述的静态效用优化问题基础之上对实际无线网络中的可伸缩视频流多码率组播进行了分布式鲁棒优化建模，通过增加与原始路径分离的备选路径并且为其预留部分带宽资源，以及引入无线介质容量的不确定集合，通过一定程度上优化性能的损失以换取对动态网络不确定性因素的适应性，并且在网络鲁棒性与系统最优性能之间找到最佳的折衷。第三，针对动态无线网络的时变特性，通过机会路由的动态路由机制的引入，采用动态网络效用最大化的多时间段建模方法提出了基于机会路由和网络编码的可伸缩视频流多码率组播的联合码率分配和传输调度的优化问题，提升了网络组播吞吐量以及对时变动态网络的适应性。　　最后，在包括了多个交织视频流的多信源多终端视频通信系统中，本文研究了无线视频传感器网络中多信源视频流分布式采集和协同传输的资源优化分配技术。这部分工作的创新点为：通过对具体编码行为的分析为分布式视频信源编码提出了一般的功耗模型，并在此基础之上综合考虑网络中各传感器节点功耗以及视频失真这两大效用因素，建立了多个相关性视频信源的联合编码/路由优化问题，实现了网络生存时间和接收视频失真之间的最优折衷。