随着人工智能的发展,人们除了关注数据量的问题,也开始关心数据的隐私保护和安全的问题。越来越多的国家和地区开始颁布法律来保护用户数据的隐私安全,这给人工智能领域带来了前所未有的挑战。如何在满足数据隐私安全和监管要求的前提下设计一个机器学习框架,能够让系统更加高效、准确地使用不同来源的数据是当前人工智能发展的一个重要课题。联邦学习是若干存储数据的客户端在保障数据安全和隐私的前提下能够进行协同训练的机器学习方法,可以保证不同的客户端在不共享数据的情况下进行协同训练。数据异构的问题是联邦学习重要的挑战之一,客户端的数据分布可能彼此存在显著差异。目前,已有许多方法可以用来解决多源数据异构的问题,但还存在以下问题:（1）当客户端存在多模态数据时,数据分布的差异会变大,现有的联邦学习方法大多依赖于单模态数据。尽管多模态数据受益于不同模态的互补性,但由于模态差异,传统的联邦学习方法难以解决多模态联邦学习的问题。（2）当不同的客户端存在不同模态数据时,例如某些客户端可能提供传感器信号,而其他客户端只能提供视觉数据。由于不同客户端数据模态不同,因此数据分布存在着更大的差异性。为了克服上述的问题,本文的主要工作如下:（1）为了解决客户端存在多模态数据的问题,研究了多模态联邦学习任务:本文定义和研究了多模态联邦学习任务,提出了多模态联邦学习的统一框架,使用协同注意力机制来融合不同模态的互补信息。本文提出的联邦学习算法可以学习不同模态下有用的全局特征,为所有客户联合训练通用模型。此外,还使用一种基于模型不可知元学习的个性化方法来适应每个客户的最终模型。在多模态活动识别任务上的大量实验结果证明了该方法的有效性。（2）为了解决不同客户端存在不同模态数据的问题,研究了跨模态联邦学习任务:本文定义和研究了跨模态联邦学习任务,提出了一种特征解耦识别网络,该网络有5个重要模块:共有编码器、私有编码器、共享分类器、私有分类器和模态判别器。共有编码器的目标是协作地将不同客户端的局部实例嵌入到一个模态无关的特征子空间中。私有编码器旨在挖掘特定于模态的特性,这些特性不能在具有不同模态的客户端之间共享。模态判别器的作用是以对抗学习的方式指导共有编码器和私有编码器的参数学习。通过球面模态判别损失的去中心化优化,本文的模型不仅可以利用模态无关的特征在不同的客户端之间实现很好地泛化,而且可以捕获每个客户端的模态特定的判别特征。