随着无线通信技术的飞速发展,由传统视听服务和新兴触觉服务相互加持而成的多模态业务,正逐渐成为多媒体业务的主流。实现异构码流的高效传输是支撑多模态业务的核心技术之一。然而,现有研究通常将多模态信号单独处理、传输,无法满足异构码流多样化的传输需求。此外,数据量的激增和传输过程中不可避免的信号失真、延迟、丢失等问题也成为了影响用户沉浸式体验的重要因素。鉴于此,本论文探讨了多模态业务场景下异构码流传输的优化问题,从人类感知机理出发,提出一种跨模态传输策略,旨在全面提升终端服务质量和用户沉浸式体验。本文主要贡献如下:首先,本文提出了一种基于用户感知机理的跨模态传输框架。该框架从人类掩蔽效应和不同感官模态间关联性出发,分别在发送端和接收端进行高效的数据压缩和高质量的信号修复、重建,以全面提升传输质量。其中,针对融入触觉模态所引起的码流数据总量激增问题,本文深入探究人类对于音频和触觉信号的掩蔽效应,设计了一种触-听觉联合压缩方案。该方案充分利用了频域掩蔽和时域掩蔽的相关特性和性能优势,在不影响用户感知的基础上,显著降低触觉和音频数据冗余,缓解网络传输压力。其次,针对传输中因噪声、损耗等因素引起的视觉信号严重失真、部分缺损的问题,本文通过深入发掘不同感官模态间的潜在关联性,提出了一种基于注意力机制的跨模态视觉信号修复方法。该方法以编码器-解码器为基础网络,通过触感信号对部分缺损的视觉感官信号进行跨模态修复。首先,引入注意力机制精准定位缺损区域,准确建模表征视觉缺损区域的转移特征;其次,基于公共语义和监督信息不断缩小触觉特征与转移特征之间的距离,挖掘触觉信号中与视觉缺损区域最为相关的特征;最后,将像素间感知约束和对抗损失函数相结合,利用所挖掘的触觉特征对视觉信号进行跨模态修复。最后,针对传输中因高同步性要求、网络阻塞造成的视觉信号延迟、完全丢失的问题,本文充分挖掘非视觉感官模态间的一致性和互补性,设计了一种音频-触觉融合的跨模态视觉信号重建方法。该方法利用非视觉感官模态间语义相关性,通过听觉和触感信号重建视觉感官信号。首先,提取音频和触觉信号低层次特征,并将二者特征基于公共语义进行高层次融合;其次,将融合特征映射到视觉特征空间,并引入对抗机制不断缩小模态分布差距;最后,联合生成对抗损失和感知重构损失,利用具备视觉语义的融合特征进行跨模态信号重建。与此同时,引入知识蒸馏技术和层次约束结构实现高质量、细粒度重建。