【摘 要】
:
众所周知,深度神经网络(Deep Neural Network,DNN)已经在计算机视觉(Computer Vision,CV)、自然语言处理(Natural Language Processing,NLP)等领域取得了巨大的成功,越来越多的神经网络设计研究发现了一个现象:更复杂的网络拥有更好的准确性。复杂模型的结构往往都具有上百个网络层以及数千万个参数,因此,复杂网络的高精度是以增加计算成本和时
论文部分内容阅读
众所周知,深度神经网络(Deep Neural Network,DNN)已经在计算机视觉(Computer Vision,CV)、自然语言处理(Natural Language Processing,NLP)等领域取得了巨大的成功,越来越多的神经网络设计研究发现了一个现象:更复杂的网络拥有更好的准确性。复杂模型的结构往往都具有上百个网络层以及数千万个参数,因此,复杂网络的高精度是以增加计算成本和时间开销为代价。与此同时,越来越多的神经网络模型被要求部署到资源受限的硬件平台满足低延迟、隐私保护的推理需求。很多工作尝试降低现有模型的复杂度,提升模型在硬件平台上的推理效率,如通过权重稀疏化、通道剪枝、矢量量化和知识蒸馏等方式。另一种加速模型推理的方法是通过动态调整模型结构以降低模型运行时的复杂度,此方法主要基于DNN模型执行时所观察到的一个特性,对于结构简单的输入图片来说,网络较浅的模型就能够实现准确地推理,而只有结构复杂的图片模型才需要更深的网络。自适应早退网络仅使用网络前几层的特征信息进行预测,尽管显著地降低了推理时间,但其不能够有效的利用后续网络层的高层抽象特征,这不可避免地丢失了深层次语义信息而影响分类效果。自适应通道剪枝网络选择性激活通道,这种过于细粒化的选择过分强调输入图片之间存在的特征差异,增加了甄别关键通道的难度,造成其配属的附加网络性能要求过高而导致附加网络的结构更为复杂,这对计算成本和推理精度都构成了巨大的挑战。相反,自适应跳层网络配属的附加网络则较为精简,却能跳过冗余层,正确执行满足精度要求所必需的关键层。自适应跳层网络相较于自适应早退网络的执行策略则更灵活,而相较于自适应通道剪枝网络的附加网络则更精简,更好地权衡了计算成本和推理精度。但现有的自适应跳层网络方法存在效率问题,即这些方法虽然有效地减少了冗余计算,但这并没有真正减少其推理时间,因为它们为每个网络层都配属了专有的控制模块,且这种控制模块的决策依据是基于上一层网络的输出,这导致了更高的延迟。为了能够真正从“跳过的层”中提高效率,本文提出了一个新的控制结构OFAS(Once For All Skip),以准确判断主干网络中每个网络层的执行/跳过。OFAS的新颖之处在于它只需要为所有可跳过的网络层计算一次便能作出合适的决策,并且可以和不同类型的模型进行结合。除了新的控制结构,自适应网络的训练一直是一个难点,实验发现带有OFAS模块的自适应网络无法在端到端训练中达到最佳精度和效率,因此,本文根据OFAS的特点提出了一种基于强化学习(Reinforcement Learning,RL)的训练方法来增强训练过程,新的训练方法可以提高模型的精度和效率。
其他文献
元宇宙是互联网发展全要素的集合体,是以虚拟现实为基础、以云计算及人工智能等新技术为支撑、以数据化生产与消费体验为核心的全新形态新型社会空间载体。在元宇宙时代到来之际,红色资源的开发与利用面临前所未有的机遇与挑战。本文通过探讨元宇宙红色文化的概念内涵界定与价值意蕴,梳理元宇宙红色资源开发利用的现状,提出红色资源的开发应坚持“虚实融生”的理念,探索基于全息成像的沉浸式互动展示模式;加强对用户需求信息的
图数据是很多现实应用的数据形式:在社交领域,Facebook,Twitter,Linkedin等社交软件可通过图数据来管理社交关系,实现好友推荐;在零售领域,沃尔玛等商店可使用图数据实现商品实时推荐,给买家更好的购物体验;在金融领域,银行可通过图数据进行风控处理等等。图数据的价值在于它能够显式地表达出数据间的复杂关联结构,帮助图神经网络算法更好地挖掘出数据背后的结构特征,提供更精准更可靠的决策支持
在近期大热的货币、基金交易环境下,大多数刚接触或不太投入精力的普通人通常都会愿意相信周围有经验的朋友的推荐或者跟随一些粉丝量大的博主进行购买,从而使自己获取利益。在现实社会中,每个群体中的个体并不是完全理性的,这些个体在做决定时往往会偏向于向团体中的某个或某些特定个体学习,这些在团体中具有一定影响力的特定个体也常常被称为领导者或者榜样。一直以来,学者们从不同的角度探讨研究博弈模型,希望通过一些现实
传染病一直被列为人类生存和进步的主要挑战,特别是新型冠状病毒于2020年初在全球范围内蔓延,截止2022年3月,全球新冠病毒已确诊病例超过3亿例,并造成了超过500万人口的死亡。因此,新冠病毒的传播预测和各地区重新开放时最佳防控策略的选择逐渐成为了研究热点。基于自适应复杂系统的多智能体模型在新冠病毒爆发初期极其缺乏高质量数据的情况下,通过敏感性分析合理设定模型中的参数,从微观层面建模来预测宏观世界
随着深度学习在各个领域的巨大成功,深度神经网络(DNN)的鲁棒性和稳定性引起了越来越多的关注。但是,最近的研究证实,几乎所有DNN都存在对抗性示例问题,这意味着将DNN部署于现实生活中存在重大的安全隐患。目前,对抗攻击已经出现在图像识别,自然语言处理,目标检测等领域。在图像分类中,对抗攻击主要分为假阴性(Type II)攻击方式和假阳性(Type I)攻击方式。根据攻击者是否能够得到模型参数等信息
<正>党的二十大报告全面系统总结了新时代十年生态文明建设取得的重大成就、重大变革,对新征程生态文明建设作出重大战略部署。报告鲜明指出,中国式现代化是人与自然和谐共生的现代化。这是以习近平同志为核心的党中央对中国特色社会主义生态文明建设认识的新突破,是习近平生态文明思想的核心主题。我们要深入学习领会,牢牢把握党的二十大关于加强生态文明建设的新部署新任务新要求,牢固树立和践行绿水青山就是金山银山的理念
边缘计算在靠近用户的一侧提供计算资源,避免了用户到数据中心的数据传输,可以有效减轻数据中心功耗和网络传输带宽的压力,提高服务的响应速度。随着5G和物联网技术的发展,很多延迟敏感性较高的应用,如自动驾驶和无人驾驶车辆等被部署到边缘网络。然而,单一的边缘服务器覆盖范围有限,且用户具有移动性,例如当用户从某个服务器的覆盖范围移动到另一个服务器的覆盖范围时,可能导致服务质量下降甚至服务中断。为了保证服务的
当下,广大求职者的就业与否往往是一个事关国家或企业人才战略发展的关键问题。随着Covid-19疫情的大肆流行,世界经济已经显现出加速衰退的趋势,这无疑给各国的就业市场造成了空前巨大的压力。因此,就业问题一直是学术界的热门话题之一。然而,国内外在相关领域的许多研究都存在着诸多缺陷,这些不足主要体现在三个方面:其一,大部分研究方法仍然局限于社会学的传统方法,并未充分应用计算机技术;其二,大量研究所依据
计算机视觉旨在识别和理解图像或视频中的内容。其具有定位、分类、检测和分割四大基本任务。其中目标检测的目标包括两个子任务:分类和边界框回归。然而在诸多研究者涌入目标检测领域,使得大量且高质量的深度学习框架被提出并开源,以提高通用目标检测的性能。这为目标检测提供了新的解决方案,当把深度学习的方法引用到目标检测后,可通过神经网络学习特征表达能力更强的特征信息极大地提高了目标检测算法的检测性能。当目标检测
软件模块聚类通过将软件系统的源代码划分为小而有意义的部分,使得理解遗留程序成为可能。有效的软件模块聚类算法能够提高软件内部质量,对软件的维护和演化具有重要意义。本文针对软件质量评估的片面性问题,提出了基于软件模块全局稳定性和执行路径复杂度的新指标作为目标函数。此外,还设计了两种基于差分进化的多目标算法来解决软件模块聚类问题。最后,通过大量实验测试了新目标函数和两种算法的效果和性能。下面是本文的主要