基于差分隐私保护的不均衡数据联邦学习方法

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:zhongnan85
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,人工智能(Artificial intelligence,AI)在诸多领域已经取得了巨大成功,如人脸识别、智慧医疗、自然语言处理和语音识别等。然而,AI领域仍然存在两个主要的挑战:用户数据隐私泄露和数据量少且质量低的问题。首先,由于训练数据牵涉敏感信息,深度学习模型可能会遭遇隐私泄露的风险;其次,AI领域的企业或用户只拥有极少量且质量较差的数据。并且由于人工标注成本太大,大部分数据都是无标签或者含少量标签的数据,这样导致难以训练出预测精度较高的模型。考虑到行业竞争、数据隐私保护和复杂的行政流程的问题,各个企业想要把各自的数据协同起来训练AI模型难以实现,因此造成“数据孤岛”问题。另外,由于现实生活中存在的大多数是不均衡数据分布的场景,即有的用户的数据量大,有的用户数据量小,这也为联邦学习模型的训练带来了困难。本文主要研究不均衡数据下的具有隐私保护的联邦学习模型训练问题。针对现今AI领域的“数据孤岛”、用户数据隐私泄露、不均衡数据造成联邦学习的模型表现欠佳的问题,提出了针对不均衡数据的差分隐私联邦学习框架。首先,在联邦学习中,各用户只需分享本地模型训练过程中的模型参数更新至第三方的云平台,由云平台进行模型参数的整合并下发至各用户,如此迭代训练,共同建模。在云平台对参数进行整合后,需通过加密机制或噪音扰动机制对参数进行处理,这样可达到保护用户数据隐私的目的。用户间不分享数据,而是分享模型参数来共同训练AI模型,这样间接打破了“数据孤岛”问题。用户间无需担心数据融合带来的隐私泄露问题,提高了数据的利用率;第二,本文的联邦学习框架使用差分隐私来保护用户的数据隐私,在各用户本地模型训练过程中进行差分隐私处理,再将模型参数更新上传至云平台。并根据不同的用户拥有的数据量设置不同的隐私预算以应对不均衡数据带来的问题;第三,在联邦学习框架的用户本地模型更新中,本文提出了一种新型的具有自适应梯度下降的差分隐私卷积神经网络算法。在参数优化过程中,该算法能自适应的调整扰动梯度和选取最优梯度下降步长的隐私预算,有效的提高模型的预测精度。通过实验表明,相比于现有的工作,本文的联邦学习框架有更好的鲁棒性;在有效保护参与联邦学习模型训练的用户的数据隐私的情况下,本文的框架有很好的模型性能。
其他文献
背景:理想心血管健康评分(ICHS)用作心血管健康状况评价依据,被推荐用来预防不良心血管事件发生。Fuster-BEWAT(血压[B],运动[E],体重[W],营养[A]和烟草[T])评分(FBS)不需要
本文利用亚甲蓝光敏化产生~1O_2,对~1O_2的荧光检测法做了研究;利用滤膜过滤法研究了硒化合物保护NIH小鼠肾细胞DNA免受~1O_2损伤的作用;利用~3H-TdR掺入法研究了Na_2SeO_3对
互联网技术和移动电子商务领域快速发展的背景下,个性化推荐成为学术界研究的重点。随着推荐算法的不断演进,除了在数学上推断和验证外,很多公司选择将改进的算法实际应用到线上环境。在线测试能通过用户数据上的反馈判断算法效果、为算法改进提出决策。同时,推荐技术的兴起和飞速发展带来了管理平台的需求,一个企业内设计的推荐场景越多、算法越复杂,管理和维护的成本越大。每新增一个特定的场景,就需要重新开发和维护一套推
目的从日本血吸虫成虫cDNA文库中分离、鉴定和分析全长cDNA序列,为日本血吸虫病的防治提供候选疫苗和药物靶点.方法从构建日本血吸虫成虫cDNA文库中挑取重组阳性克隆进行5&#3
已经连续举办14届的中国国际住宅产业博览会,今年呈现出规格更高、规模更大、内容更丰富、实效更显著的发展态势.大会期间,住房和城乡建设部部长陈政高,副部长易军、王宁、倪
实验目的:目前干细胞疗法成为软骨修复领域新的研究方向,以间充质干细胞(MSCs)为细胞源构建的无支架组织工程体(TEC)在修复软骨损伤方面已取得较好的治疗效果。本研究通过提
三级甲等医院及医院人级管理扩理质量标准中规定:住院患者的褥疮发生率为零。褥疮的发生是由于身体的局部组织长期受压,血液循环障碍,不能适当供给皮肤和皮下组织所需营养,以至局
采用铜粉,还原铁粉,铸铁粉并辅助以改善铁粉和铸铁粉末冶金性能的金属添加剂做配方,研制出了适合现有生产条件的ELID磨削用砂轮磨块,并经性能检验表明,该配方满足ELISD磨削要求。
地域文化对于研究特定地域的民俗、历史、环境具有非常重要的资料记录作用;但地域文化的地域性则限制了其文化传播的范围。将地域特色文化作为纪录片的题材有利于地域文化的保
在以核心素养为主题的新课程改革和新高考改革的背景下,更强调“以人为本”、“以学生为中心”的教育理念,所以,中学教师目前的重中之重是将新课程理念融入到课堂教学中,“同