【摘 要】
：
现有关于神经网络推理过程中的分布式研究多是将神经网络运算的不同阶段分布在多个设备之间。运算中多个设备并未同时计算,资源利用率较低。由于依赖多个设备,其容错率较低。针对此问题,本文提出一种分布式神经网络的设计方法。使用网络剪枝将一个训练好的神经网络模型分解为多个不同准确率的子模型,通过知识蒸馏将多个子模型的知识传递给多个学生模型,使得多个学生模型在推理阶段可以协同工作。实验结果表明,基于知识蒸馏得到的模型可以单机运行亦可以多个设备协同工作,协同工作时有较高的准确率。基于知识蒸馏的分布式神经网络可以多个设备协
论文部分内容阅读
现有关于神经网络推理过程中的分布式研究多是将神经网络运算的不同阶段分布在多个设备之间。运算中多个设备并未同时计算,资源利用率较低。由于依赖多个设备,其容错率较低。针对此问题,本文提出一种分布式神经网络的设计方法。使用网络剪枝将一个训练好的神经网络模型分解为多个不同准确率的子模型,通过知识蒸馏将多个子模型的知识传递给多个学生模型,使得多个学生模型在推理阶段可以协同工作。实验结果表明,基于知识蒸馏得到的模型可以单机运行亦可以多个设备协同工作,协同工作时有较高的准确率。基于知识蒸馏的分布式神经网络可以多个设备协
其他文献
随着大数据时代的发展,利用数据分析和发布等发挥数据价值的需求与日俱增,如何保护隐私数据和防止敏感数据信息的泄露成为数据安全领域研究的重点。差分隐私是2006年Dwork提出的一种新的隐私保护机制,在数据分享时定义隐私,保证数据可用性的数据发布面临的隐私保护问题,防止基于背景知识的攻击。本文介绍差分隐私的基础理论和目前数据发布的研究进展,总结差分隐私在其他领域的应用。
随着生成对抗网络在图像生成领域的发展,人脸表情图像生成效果有了显著提升。然而,目前方法往往基于传统表情分类,忽略表情的复杂多样性。然而针对生成多样表情的数据库数据规模较小。为了解决这一问题,提出引入标记分布的人脸表情生成方法。方法在数据量较少的情况下,以标签分布对表情标签进行处理,基于生成对抗网络实现人脸表情图像生成,并在Oulu-CASIA数据库和CFEED数据库上对该方法进行验证。
在Web应用中,对输入数据进行验证在人机交互设计中非常重要。输入验证不仅保护了系统免受各种网络攻击,在一定程度上也提高了用户体验。近些年有许多以输入验证为切入点做了有关系统安全、软件自动化测试等方面的相关研究,为此进行整理和归纳,并对未来可能的研究方向进行设想。
科技创新与司法结合,能够充分彰显科技赋能司法的效率价值,助力提升批量案件审理的速度。广州互联网法院通过运用知识图谱及其他人工智能处理技术,设计完成一套知识产权要素化智能审理系统,建立知识产权案件由立案、受理、举证、文书送达到法官审理和判决文书一键生成的新型智能协同审判模式,对知识产权类案件实现繁简分流、优化法院审判资源配置、破解法院人案矛盾、提升诉讼质量和办案效率具有重要实践意义。
非负矩阵分解(NMF)方法在计算机视觉、模式识别、数据表示或聚类问题中有着重要作用。基于传统NMF算法提出了一种带有L_2稀疏约束和超图正则的非负矩阵分解(SHGNMF)方法。其优势在于考虑了数据集的内在几何信息和稀疏性。具体内容如下:首先,在NMF中加入了超图正则项,同时保持数据集的内在几何结构信息。其次,将L_2稀疏约束项引入NMF中,产生更加稀疏精确的解,并证明该算法是收敛的。最后,在公开数
飞行器的自主智能避障一直是无人机领域的研究热点。相对于平面运动物体来说,飞行器的空间信息,以及对于避障的态势动作的控制更加复杂。由于飞行器在三维空间的动作的选择都是在一个连续动作空间内,所以本文提出将深度确定性策略梯度(Deep Deterministic Policy Gradient,DDPG)的强化学习方法应用在飞行器自主智能避障场景,并通过可视化仿真模拟算法效果。实验结果表明该方法能够很好地解决连续动作空间的动作选择问题,使得飞行器在障碍环境中探索出完整的避障路径,达到较好的应用效果。
以甘氨酸乙酯盐酸盐和亚硝酸钠为原料,研究了在微通道反应器中重氮乙酸乙酯的连续流合成工艺。考察了亚硝酸钠用量、反应温度、酸用量、停留时间等工艺条件对反应结果的影响。由于该反应为强放热反应,且产物在高温下稳定性差,因此,若采用传统釜式间歇操作容易造成局部过热,存在较大的安全隐患和产物分解的缺陷;普通的管道反应器又难以克服非均相的传质障碍导致收率偏低。微通道反应器在保持良好的传热效率同时,能打破相界面障碍,保证反应液充分混合,非常适合该工艺的开发。利用微通道反应器的上述优点,进行工艺条件的筛选,提高了反应效率并
动作检测已经成为计算机视觉领域的一个重要研究方向,特别是对特定事件的检测,如打架斗殴等暴力事件。暴力行为检测任务在视频监控等场景中是十分有用的,例如监狱、学校等公共场所。其实用性使得越来越多的研究者研发相应的检测算法。传统方法提取的时空特性同时考虑运动和外观信息,进而达到不错的准确率,但是他们的计算量却令人望而却步。近年来,随着深度学习广泛应用于计算机视觉领域,暴力行为检测任务也得到了很好地解决。
2001年7月13日,当北京成功申办2008年奥运会的喜讯传遍华夏大地、大江南北的那一刻,令湘北洞庭湖南岸的女工胡宝桥心潮澎湃,激动得一夜未眠.rn中国人实现了奥运梦想,胡宝桥也
用户界面在应用程序中无处不在,它定义了用户与应用程序的交互方式。为了设计出既吸引用户又具有高可用性的应用程序,设计人员需要大量的用户界面样例做参考。为了支持这一过程的顺利进行,有很多研究者提出了用户界面检索的方法。本文通过对这些方法进行分类、总结和分析,介绍部分代表性工作,指出其中不足,并对未来研究方向进行猜想。