【摘 要】
:
近年来,深度神经网络在计算机视觉、语音、自然语言处理等领域取得了持续的突破性进展。随着算法的进步,在云、端、边缘等场景部署神经网络应用的需求也逐渐增加。现有的神经
论文部分内容阅读
近年来,深度神经网络在计算机视觉、语音、自然语言处理等领域取得了持续的突破性进展。随着算法的进步,在云、端、边缘等场景部署神经网络应用的需求也逐渐增加。现有的神经网络计算复杂度高、参数量大,给在移动设备等硬件资源和功耗要求较为严格的场景下的部署提出了很大的挑战。细粒度模型剪枝算法能够在几乎不损失精度的情况下,大幅度的缩减参数量和计算量,大大降低了神经网络部署的难度。本文对现有的细粒度剪枝算法进行了调研,并针对现有算法存在大量难以优化的超参数和如何进一步提升压缩比的问题,分别提出了自动化的细粒度剪枝框架和基于L1/2正则项的剪枝算法。针对现有算法存在大量难以优化的超参数的问题,本文对算法的关键步骤进行抽象,基于强化学习实现对超参数的自动优化,提出了自动化的细粒度剪枝框架。通过与现有算法对比,本算法可以以自动化的流程进一步提升压缩率。通过引入L1/2正则提升预训练模型的稀疏性,本文提出的基于L1/2正则项的剪枝算法有效的减少了错误剪枝的影响。通过与现有算法对比,本算法进一步提升了压缩率,在多个模型上取得了最优的压缩率。本文还提出了一种软硬件联合设计的访存系统优化方案,利用细粒度剪枝算法带来的稀疏性,验证了细粒度剪枝算法对于硬件加速的重要意义。
其他文献
微型全分析系统(Miniaturized total analytical system, μTAS)在短短的十余年内,已经发展成为分析领域的重要前沿。但是目前在微型全分析系统中应用较为普遍的检测方法激光
随着社会的不断发展和教育事业的深入改革,人们越来越注重素质教育重要性。钢琴具有丰富的音色、宽广的音域,钢琴课程对学生音乐素养的提升具有重要作用,由于钢琴演奏具有较
随着铀的大量工业应用,铀矿冶领域每年将产生数以万吨的含铀废水.本文拟用对排水环境中铀的一种新的吸附材料——硅胶来吸附模拟废水中铀的性能,这为进一步的理论研究提供了
实施学生评教,其逻辑前提是大学生具有客观评教的能力,但这一前提并不成立,大学生对教学形式的判断存在明显的个体差异,而对教学内容的判断力则更加缺失。学生评教试图落实“
第一部分:首先探讨紫外线UVC 对人血清白蛋白和牛血清白蛋白的影响,血清白蛋白被紫外照射后发生荧光迅速猝灭,紫外吸收缓慢增强,共振散射峰大幅度位移等现象。进一步实验表明
土壤盐渍化是限制农作物生产的全球性非生物胁迫因素之一,土壤饱和浸提液电导率等于4.0dS m-1的土壤即为盐渍化土壤(相当于40mM NaC1)。提高农作物的耐盐抗旱能力已成为现代
伴随移动互联网技术的普及,大数据时代悄然来临。青少年群体作为中国网民的主力军且深度融入大数据时代的现状,给共青团工作带来前所未有的机遇和挑战。强化"数据治团"理念,
<正> 关于伤寒论桂枝去芍药汤、桂枝去芍药加附于汤条的注释,诸家互异,迄无定论,其争辨之焦点,在“若微恶寒”一句,为了便于讨论先录其条文如下:“太阳病,下之后,脉促胸满者,
基于模糊理论和证据推理理论提出了一种基于模糊证据推理的物流园区选址方法.该方法首先确定"一带一路"下物流园区选址的评价维度,然后采用专家评分的方式得到每个备选选址在
在水利工程建设中最主要的环节就是施工管理,并且在水利工程中施工管理还起着至关重要的作用,因为水是生命的源泉,在人们生产活动中处处离不开水,在生活中更是处处都需要水,