论文部分内容阅读
当前正处于大数据火热的时代,如何有效利用大数据是各个企业、高校以及政府部门等关注研究的问题。云计算虽然实现了多个客户端将数据集中上传至云端进行联合训练,但是随着隐私安全问题的披露和人们对隐私安全问题的重视,云计算技术在当下已经不太适用了。为解决隐私保护问题,谷歌提出了具有安全性能保障的联邦学习技术,各个客户端可以在数据保留在本地的前提下进行联合训练。这种技术不仅解决了不同企业或不同设备间存在的数据孤岛、高质量数据少、数据分布不平衡以及通信速度慢且不稳定等问题,也使得训练过程中隐私信息泄露的风险大大降低。但当前的联邦学习算法中存在通信效率低下,通信开销较大以及存在服务器空等状态等问题,影响了模型整体的训练效率。在隐私保护方面,目前采用较多的方法是差分隐私技术,差分隐私会在梯度参数或者模型参数中加入随机噪声,虽然其实现了一定的安全性但是会影响模型的准确率。除此之外,当前针对隐私保护问题设计的一些方案并没有考虑到内部多个恶意参与方联合攻击的情况。本文主要解决的问题是在各个客户端可以有效参与到联邦学习训练中,并且保持较高模型准确率的前提下,减小模型的通信开销并且防御内部多个恶意参与方的联合攻击。文中针对联邦学习中横向联邦学习环境下的高通信开销进行了深入研究:（1）分析了联邦学习的整个训练学习过程,并且通过将边缘计算和异步通信应用到联邦学习中,分析了训练过程中影响通信开销的主要因素;（2）设计了一种加入边缘服务器的通信架构,且将边缘服务器与云中心服务器之间的同步通信改为异步通信,通过使用卷积神经网络（Convolutional Neural Networks,CNN）进行训练,证明了在此种架构下的模型准确率相比于异步通信模型和边缘计算这两种模型准确率有所提升,且大大降低了通信开销。（3）为了解决内部多个恶意参与方联合攻击的问题,在上述通信结构的基础上设计了一种多密钥同态加密方案,并通过安全性分析证明了该加密方案可以抵御内部多个恶意客户端的联合攻击以及深度梯度泄露攻击。