基于新兴神经架构的跨平台推理加速方法研究

来源 :深圳大学 | 被引量 : 0次 | 上传用户:chezhenmen
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
卷积神经网络(Convolutional Neural Network,CNN)已经被广泛地应用在许多人工智能平台中。但是,由于卷积神经网络的推理过程涉及大量的数据迁移以及复杂的数据计算,它们仍然很少被部署在移动或边缘平台上。新兴的神经架构(Neuromorphic Architecture)旨在结合存内计算技术(Processing In Memory,PIM)来减少数据迁移,它采用三维堆叠的形式将计算资源放置在存储资源的附近以降低数据迁移的开销。这种新兴的神经架构为加速卷积神经网络的推理过程提供了一种有效的解决方案。在这种架构的基础上,卷积神经网络应用能够被高效地部署在移动或边缘平台上。由于新兴神经架构上的资源仍然是有限的,因此加速推理过程的关键就在于如何充分利用神经架构中的计算和存储资源。本文针对在新兴神经架构上推理所涉及到的任务调度、资源分配等问题开展了相关研究工作。首先,本文提出一种基于有限资源推理的任务调度策略—Mobile-I策略。Mobile-I策略旨在结合新兴的神经架构通过软件调度的方法来提高卷积神经网络的推理速度。Mobile-I策略首先抽取卷积神经网络推理过程中涉及的计算任务以及数据依赖关系,并据此构建有向无环图模型。其次Mobile-I策略设计了一个高效快速的初始调度,最后根据卷积神经网络不同任务之间的时间差异来调整初始调度。实验结果显示,相比代表性的方案,在实际的卷积神经网络应用数据上采用Mobile-I策略可以降低40.21%的推理延迟,取得高达96.14%的处理器利用率。其次,本文提出一种面向存内计算架构的资源分配策略—Mobilance策略。Mobilance策略针对神经架构中的计算和存储资源设计了高效的资源分配方案以提高资源的利用率。Mobilance策略首先分别定义了计算和存储资源的分配问题,并证明了它们的最优子结构。其次Mobilance策略分别采用不同的优化模型来解决这两个分配问题,最后结合两个分配结果获得最终的组合调度。实验结果表示,相比代表性的方案,在实际的卷积神经网络应用数据上采用Mobilance策略可以降低25.76%的推理延迟,取得高达95.79%的处理器利用率。本文提出的两种策略有效地提高了卷积神经网络在新兴神经架构上的推理速度,提高了新兴神经架构的资源利用率。本文提出的两种策略能够被应用在多种基于新兴神经架构的移动或边缘设备上,具有良好的可移植性。未来,我们计划将研究能耗问题对移动边缘推理的影响,增加优化的神经网络种类,探索更多的神经架构,以提出更为通用的加速推理策略。
其他文献
强化学习是一类关键的机器学习方法,普遍应用于以目标为导向的训练环境,并基于目标在环境中自发地探索最优策略。近来已在一些领域,如游戏操控、机器人操控、车辆自动驾驶等工程应用的部分问题中,获得显著的成绩,其中包括动态规划算法,应用于已知完整的马尔可夫问题模型;蒙特卡洛算法,与时间差分算法基于无模型问题进行寻策,是本文的主要研究内容。深度学习在机器学习中作为另一大热门研究技术,使用非线性的神经网络于分析
多目标优化问题广泛存在于科学研究与实际工程应用中。由于多个优化目标之间相互冲突,单个解不可能同时使所有的目标都是最优的。因此,多目标优化问题的最优解是由多个帕累托最优解组成的集合。进化算法是一种基于种群的元启发式算法,能同时优化一组解。因此,在求解多目标优化问题时,进化算法是一种非常适合的优化算法。然而,随着多目标优化问题复杂性的变化,现有的多目标进化算法越来越难以平衡种群的收敛性与多样性。因此,
目前,物联网、边缘智能和边缘计算等技术在网络边缘上生成了大量数据,而这些日益增多的数据需要在越来越复杂的深度学习算法上进行训练,以检测、分类和预测未来事件。这个趋势在未来还会继续扩大,为了加快深度学习算法的训练速度,分布式计算正变得越来越重要。然而分布式训练在主节点与计算节点间进行着频繁的梯度交换,这使得训练承受着巨大的通信开销,并且限制了分布式深度学习的训练效率。为了降低分布式深度学习的通信开销
多任务学习作为机器学习的一个重要分支,在处理多个小样本相关联任务和挖掘相关任务之间的内在联系与共享信息等方面发挥了重大的作用。其中多任务支持向量机(Multi-task Support Vector Machine,MTSVM)是多任务学习中的一个重要的发展方向。然而现有的多任务支持向量机大多并不具备特征选择的功能,在面对高维度任务或者高噪声任务并不能达到很好的效果。此外,多任务支持向量机通常假设
近年来,预测股价对国家,社会具有深远意义而引起了研究者们广泛的关注。使用深度学习算法预测股票是该领域重要的一个分支。由于股票数据集较小,不平稳,存在不稳定性,使预测股价难度增加。并且传统的算法难以有效提取股票序列的非线性特征。随着深度学习算法的发展,循环神经网络和卷积神经网络因有较好的非线性特征提取能力而逐渐在股价预测应用中崭露头角。尽管使用传统的神经网络算法预测股价能取得一定准确度,优化算法的预
近年来,随着新兴社交媒体的火热发展,越来越多的人们使用在线社交平台来获取感兴趣的信息,而随着用户网络规模的越来越大,在线社交平台上信息鱼龙混杂,真假难辨,这就导致在线信息系统的治理出现诸多问题。例如不实新闻大肆传播导致社会公信度降低,哄抬物价非法赢利,传播不当言论导致的舆情监控等问题,本文从以下两个小方面切入,旨在为在线信息系统的治理做出贡献。一是从信息的传播过程。在追踪一条信息的传播时,我们通常
准确地预测股票价格对降低投资者的风险有着十分重要的意义。投资者可以通过对股价的合理预测来确定自身的投资组合,从而规避风险,获取更大的收益。虽然深度学习已经在股票价格预测上拥有很多的研究成果与实际应用,但是,仍然存在着泛化能力较弱,训练容易导致过拟合等基本问题,模型在预测阶段的表现较差。通常,数据增强以及合理调整模型架构能够有效地避免这类情况发生。本文主要针对长短期记忆网络(LSTM)在股票价格预测
股票市场作为社会经济的重要组成部分,为我国的经济发展发挥着重要的作用。投资者可以通过准确的价格走势预测,降低投资决策的风险。然而由于股票数据的非线性和非平稳特性,股票价格走势的准确预测往往非常困难。当前基于神经网络的深度学习算法(LSTM),在股票价格预测中初步显示重要的算法优势。然而在训练过程中,仅仅采用梯度下降算法进行网络优化,预测的准确性有待提高。进化算法作为一种鲁棒性强全局寻优算法,可以用
物流行业发展面临着激烈的市场竞争压力和消费者服务要求不断升级的挑战。物流企业要在如此激烈的竞争环境中生存,提高企业的核心竞争力,物流车辆路径规划是物流管理中的关键环节之一,优化物流车辆路径规划对于减少运营成本和提高服务质量至关重要。由于车辆路径规划问题属于组合优化的NP难问题,该问题的求解存在诸多的困难,如算法的收敛速度慢,求解目标过多,问题约束苛刻等。为了平衡问题求解的时空复杂度,本文基于演化计
动态多目标优化问题无论在科学研究还是在实际应用中都广泛存在。此类问题不仅具有多目标优化问题的基本特征,主要表现在多个目标互相冲突无法同时达到最优,而且这些目标还会随着时间的变化而发生改变,如目标函数、目标函数的数目和限制条件都可能会随时间变化。这些动态变化可能引起问题的帕累托最优前沿(Pareto optimal front,PF)和帕累托最优解集(Pareto optimal set,PS)随着