【摘 要】
:
增加神经网络的宽度和深度是提升模型精度的有效方法,然而计算设备的内存资源成为了限制其发展的主要瓶颈之一。为了缓解该问题,本文提出了两个可行的方案,一是设计出更紧凑的神经网络,降低训练资源消耗;二是减少训练框架本身带来的调度开销,为训练过程提供更多可用的内存资源。全连接层的低效和冗余是广为人知的,却仍然是循环神经网络(RNN)的基本模块之一。当RNN面临高维数据输入时,全连接设计的输入层将成为阻碍模
论文部分内容阅读
增加神经网络的宽度和深度是提升模型精度的有效方法,然而计算设备的内存资源成为了限制其发展的主要瓶颈之一。为了缓解该问题,本文提出了两个可行的方案,一是设计出更紧凑的神经网络,降低训练资源消耗;二是减少训练框架本身带来的调度开销,为训练过程提供更多可用的内存资源。全连接层的低效和冗余是广为人知的,却仍然是循环神经网络(RNN)的基本模块之一。当RNN面临高维数据输入时,全连接设计的输入层将成为阻碍模型进一步提升的瓶颈。为此我们对比了低秩矩阵分解和张量分解模型,发现张量分解模型在模型参数量和模型表达能力方面具有优势,于是引入了新的Block-Term低秩张量分解模型,提出了紧凑设计的BT-RNN模型,以低秩的张量乘法替换了低效的矩阵乘法,相当于用稀疏连接的方式替代了原全连接的设计。对比现有的低秩模型设计如Tensor-Train RNN(TT-RNN),BT-RNN不仅在设计上更简洁(超参数的设置更为简单),同时能以更低的参数量获得相同甚至更高的模型精度。在视频分类和图像描述任务中,BT-RNN在模型精度和收敛速度方面全面超越传统的RNN模型和TT-RNN模型。尤其是在视频分类任务中,对比LSTM模型,BT-LSTM以极低的参数量获得了超过15.6%的精度提升。为了训练更庞大的网络,常见的做法是以数据并行或模型并行的方式,分别把数据和模型分割并分配到多个计算节点上,但是同时会带来大量的通信开销,严重降低性能。为了提升单节点的模型承载能力,本文提出了一套动态内存调度管理方案,包括:1)张量生存期分析,复用存活期不同的张量内存;2)逻辑统一的内存池实现,以及对应的异步数据传输和LRU缓存策略,以极低数据传输开销带来了充足的内存资源;3)代价最优的再计算策略,以少量额外的前向计算开销大幅度降低了网络训练的内存开销。本文所提出的方案能为模型训练过程带来更为充足的内存资源和更快的训练速度,使得探索更宽更深的网络模型成为可能。
其他文献
不同产地的羊皮厚度不一,故产胶率亦不一,但均能获得优质明胶。
改革开放以来,中国农村在改善基础设施、精准扶贫、农民增收奔小康、农业生态化转型等领域取得了有目共睹的成就,但与此同时在激进推进治理的进程中,外界对其的影响与其自身
目前,我国社会转型的速度过快,涉及范围较广,导致社会问题的不断累积和社会矛盾的频繁出现。在这样的时代背景下,一方面由于青年在社会参与过程中因刺激源不断的增多产生大量
<正>从民族与民族主义的角度来看,清末以来中国面临的是一个如何从传统的边政以及朝贡体系中解脱出来,在能够抵御列强侵略的基础上,建设一个现代意义上的民族国家的问题。传
<正>随着高薪技术的迅速发展,种类繁多的血凝仪被广泛应用于临床检测中,选择一个良好的检测系统,以便更加及时、准确地为临床提供诊疗资料,就显的越发重要。我室使用SysmexCA
目前,在农业行政执法系统中还没有应急调度系统,农业行政执法应急调度不及时、指挥不力以及工作效率低下。因此,省农业行政执法总队在“江苏省农业行政综合执法信息系统”(二期)开发时,提出了农业行政执法应急调度系统开发要求。应急调度系统需要在应急事件发生时,对外勤执法人员进行实时定位,并且以可视化的界面显示执法人员所处的区域、地理位置,根据应急度调度策略以地图的形式推荐该区域的执法人员,以便应急调度使用。
中等职业教育事业已经受到社会广泛的重视。中职学校的学生相对于普通中学的学生来讲,是有其独特特征的群体,作为这一群体班级的管理者,需要具备相应的能力与素养。此项研究
军队院校的训练模拟器材采购管理是保障实战化教学训练活动正常进行的重要手段。当前,军队院校的训练模拟器材设备采购面临着许多问题与挑战,如何科学管理军队院校的训练模拟
修订版布鲁姆教育目标分类理论包括知识维度和认知过程维度,两个维度均采用由易到难的思路分别对知识和认知进行分层。为提高网页设计课程的课堂教学效率,结合课程特点,依据
微信群如何承担社会化媒体功能?其发展态度如何?本文基于社会交换理论对微信群用户参与行为及其影响因素进行考量,考察其信息效用性、信息社交性、信息娱乐性、用户满意度、