随着大数据驱动的人工智能技术飞速发展,机器学习技术在现实生活中被广泛应用。过去机器学习模型常采用集中式训练的方法,该方法需要在中央服务器上搜集并存储大量优质数据。现实中由于行业竞争、隐私安全和法规限制等诸多原因,数据的集中搜集和存储遭受着极大的限制。联邦学习作为一种新型分布式机器学习范式,能够在保障用户数据安全的同时充分利用设备数据。联邦学习能够在保护用户隐私的同时使得大量设备协同训练机器学习模型,并使参与者彼此从中获益。然而联邦学习中存在数据在统计上异构的挑战,该问题会使得模型训练变得低效。联邦学习中的数据由数据所有者独立产生,各参与者的数据通常具有不同分布特征。非独立同分布的数据在真实联邦学习系统中广泛存在,而现有的联邦学习算法主要基于数据服从独立同分布的假设,在非独立同分布数据下算法性能会显著变差。针对这一问题,本文在现有联邦学习算法的基础上进行了一系列的研究,本文主要研究工作如下:一、通过仿真实验验证现有联邦学习算法在非独立同分布数据下性能较差。通过常见的MNIST数据集和CIFAR-10数据集产生非独立同分布的实验数据集,并对比了现有联邦学习算法在不同数据分布情况下的性能。二、通过生成对抗网络对联邦学习中非独立同分布的数据进行数据增强。使用生成对抗网络能够在不涉及用户隐私的情况下生成虚假数据,参与者将少量的虚假数据加入本地模型训练数据,就可以增强联邦学习算法的性能。通过MNIST和CIFAR-10两个数据集上的实验验证,该方法使得联邦学习算法在非独立同分布的数据下有很大的性能提升。三、通过知识蒸馏方法聚合各参与者的模型。非独立同分布数据下,各参与者训练得到的子模型学习到了不同知识,通过知识蒸馏方法可以高效地将各子模型所学得的知识整合到全局模型中。通过实验测试,该方法在非独立同分布数据下有良好的性能。四、将上述两种方法整合到联邦学习系统中。整合后的联邦学习算法与现有的Fed Avg算法兼容,且实验结果表明该算法在非独立同分布数据下的性能显著优于Fed Avg算法。