基于深度学习的联邦学习算法研究

来源 :南京信息工程大学 | 被引量 : 0次 | 上传用户:poloyzhang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在商业应用中,除了数据保密之外,个性化也是研究重点,挖掘用户的各种个性化习惯,具有极大的经济价值,但是传统的联邦学习没有考虑这一需求,此外在面对新的任务和数据时重新训练成本损失大,需要一个能够动态训练新任务和数据的学习策略。本文针对现有联邦学习的不足进行改进:(1)面向数据的个性化问题,在客户端模型上引入多头注意力机制,帮助捕捉客户端特征之间的多种相关性,增加客户端模型参数的个性化程度,提高客户端模型的性能。针对聚合时局部模型合理的个性化带来的数据差异性对全局模型的影响,在服务器模型上,本文设计和采用了一个适用于多头注意力机制的联邦学习的融合框架。该框架首先,先用随机采样30%的数据,用联邦平均模型训练,得到服务器上的全局模型。其次,对剩下的70%数据,在联邦平均模型的基础上,在聚合时,计算出当前本地模型参数和预处理后全局模型参数的距离,得出模型间的差异性,从而为本地模型制定个性化权重,然后加权平均得到全局模型。从而希望本算法可以在模型之间相互学习的基础上,保持各个模型的个性化特点。(2)面向数据的类增量问题,本文引入增量学习的icarl训练策略,帮助客户端在初步只有少量类时先训练数据,之后增加类时可以逐步添加进行学习,该策略根据样本最近均值规则进行分类,使用基于羊群行为的优先样本选择,对知识提炼和原型排练进行表征学习,在不重新训练的情况下动态处理资源的增加。针对联邦学习中各客户端样本不平衡时,大样本客户端权重参数大并且对最终模型训练结果影响大的问题。在客户端模型学习中,本文设计加入通道注意力机制,帮助在获得各个客户端各自整体样本的特征的同时,尽量减少噪声对最终模型训练结果的影响。在服务器端模型聚合上,先从所有参与的客户端各提取相同样本数的数据用联邦平均算法进行预处理,得到初始全局模型,然后在模型聚合时针对特征不平衡难捕捉的问题,加入特征空间注意力机制,以此增强模型训练对于特征关键信息的抓取性能。面向数据的个性化和数据的动态增量问题,本文提出了两个联邦学习框架。第一个框架可以在挖掘特征的相关性的同时,提高局部模型合理的个性化存在的比重,第二个框架可以在数据流中不断学习新的概念,并通过实验结果分析证明本文提出的两个联邦学习框架的有效性。
其他文献
《高中英语课程标准(2017)》强调:“高中英语课堂应充分利用信息技术进行英语教学。”但与此同时还应该注意到传统的课堂教学不能被信息技术所取代,为此教育领域的研究为了适应时代的演变和课程标准的新要求,提出了混合式教学的概念,即通过将网络学习与传统教学相结合,进行课堂知识教学。混合式教学模式的主要特点是线上和线下的联合行动,教师利用在线课堂引导学生在课前预习新知识,线下课堂主要通过各种教学活动解决疑
和平赤字与发展赤字是阿拉伯世界面临的两大挑战。在百年变局和世纪疫情相互交织的新时期,大国战略竞争影响中东的发展环境,阿拉伯国家面临发展动力不足和市场需求不旺等发展难题。中阿顺应第四次工业革命的大势,对标联合国“2030年可持续发展议程”,落实全球发展倡议,坚持发展优先和以人民为中心,践行普惠包容、创新驱动、人与自然和谐共生的新发展理念,促进中阿发展战略、发展机制和发展项目三重对接。中阿经济互补性强
功能性消化不良(Functional dyspepsia,FD)是最常见的功能性上消化道疾病,主要分为餐后窘迫综合征(PDS)和上腹痛综合征(EPS)两个亚型。目前,FD的发病机制尚未完全阐明。而十二指肠上皮粘膜屏障作为物理肠道屏障最关键的组成部分,其损伤与FD的发病机制密切相关。十二指肠上皮粘膜屏障的损伤以紧密连接损坏为主,当紧密连接发生损伤时,紧密连接蛋白表达降低,肠道通透性增强,细菌、病原体
“凤丹”在观赏、药用、生态以及油用方面都有很高的价值,是当前油用牡丹栽培中最重要的品系.但单产低而不稳导致的油籽成本价格过高已经成为影响本产业发展的重要限制因子.为此,本研究采用文献计量法,在走访调查的基础上,分析了现存数据库中油用牡丹种植模式及其效益相关资料,从油用牡丹栽植和管理过程中苗木、肥料、农药、劳动力等投入、牡丹油籽产出、与其它经济作物间作效益三个方面分析油用牡丹农田经济效益,以期为牡丹
槲皮素作为八角等调味品中天然的黄酮类化合物,具有较好的抗氧化能力及调味效果。该实验研究制备了槲皮素纳米粒,用于改善其抗氧化能力,延长食品保存期限,食品调味等。采用两步法(即固体分散体结合高压均质)制备了槲皮素纳米粒,经X射线和DSC表征显示槲皮素呈非晶态。在单因素实验的基础上,对压力、循环次数和浓度3个因素进行Box-Behnken响应面设计。最终确定工艺参数的压力为1300 bar,循环次数为2
农村集体经济兼具公共性和市场性,是推动农村居民实现共同富裕的重要经济形态,因此探讨农村集体经济的有效实现形式具有一定的现实意义。基于公共池塘资源理论,在构建内源式整合和外源式嵌入相结合的农村集体经济有效实现形式理论框架的基础上,以成都市的试点改革为例进行剖析,提出农村集体经济有效发展的实现路径。研究表明,为促进农村集体经济有效发展,对内需要借助乡贤权威,实现集体资源积累;创新制度安排,实现集体经济
<正>糖尿病是一组以慢性血中葡萄糖水平增高为特征的代谢疾病群,多伴随超重或肥胖、脂肪肝、血脂异常、高血压等。饮食治疗是糖尿病患者各项治疗的基础,是任何阶段均不可缺少的措施。即便降糖药层出不穷,若忽略食疗,也很难取得理想效果。不少患者缺乏合理饮食的知识,甚至为此付出代价。一位35岁的男性,3个月来经常口渴,常以大量可乐解渴,来诊时即刻血糖高达28.6mmol/L(毫摩尔/升),尿酮体阳性,离糖尿病酮
期刊
<正>牡丹原产于我国西部秦岭和大巴山区,是芍药科芍药属植物,为多年生落叶小灌木,具有很高的观赏价值和象征蕴意。油用牡丹的原种从观赏和药用牡丹转化而来,属于结实能力强、可用来生产加工食用牡丹籽油的牡丹类型,除传承了观赏和药用牡丹本身具有的特性外,它更有自己独特的医药和营养成分,是医药、化妆等工业的重要原料。
期刊