论文部分内容阅读
在人工智能领域,随着数据量和计算量的急剧增加,机器学习的计算模式出现了由集中式向分布式计算扩展的趋势。分布式机器学习环境下,数据安全和隐私保护是数据所有者和计算服务提供商都很关注的重要问题。同态加密技术因为其具备可证明安全性且支持密文计算,成为实现安全分布式机器学习的主要技术之一,引起广泛研究和应用。本文将BGV(Brakerski-Gentry-Vaikuntanathan)同态加密方案应用于机器学习中的模型参数加密,设计并开发了可以实现隐私保护的分布式机器学习平台,称为隐私保护下的联合机器学习平台。完成的主要工作包括:(1)研究了BGV方案的设计思路和算法流程,分析了BGV的实现库——HElib的层次结构及关键类与关键方法的设计;研究了线性判别(Linear Discriminant)和线性回归(Linear Regression)的模型定义及算法思想,分析了机器学习库Shark中训练任务的执行流程。(2)研究了一般化分布式机器学习平台的结构,分析了分布式机器学习环境下隐私保护的具体工作;研究了隐私保护下分布式机器学习系统的结构设计及工作机制,分析了隐私保护在分布式机器学习系统中的设计策略。(3)提出了联合机器学习的定义,研究了隐私保护在联合机器学习平台中的设计思路,分析了联合机器学习的应用场景,设计了隐私保护下联合机器学习的架构模型及模型参数更新策略。(4)根据联合机器学习架构模型,设计了联合机器学习平台的整体架构及中心服务器的关键结构;针对平台模型参数更新策略的工作原理,设计了平台数据融合、编码解码及模型参数上传下载的具体功能。(5)完成了平台基于线性判别算法和线性回归算法的系统实现,并分别采用Iris植物数据集和Somerville幸福指数调查数据集进行实验验证。实验表明,联合机器学习平台在隐私保护的前提下,通过足够次数的迭代可以取得与单机环境相一致的训练结果和优于单机环境的测试结果。上述工作设计实现了隐私保护下联合机器学习的理论模型及工作流程,实验表明,联合机器学习在使用优化器迭代更新模型参数的算法中取得了优于单机环境的测试表现,其在分布式机器学习环境及物联网领域有着深远的使用潜力。