【摘 要】
:
深度神经网络由于优异的预测性能而得到了广泛应用。而传统计算平台由于并行度不高、遇到存储墙问题而无法高效实现神经网络的计算。神经网络推理时的核心计算是矩阵向量乘法。忆阻器交叉阵列由于能够存储权重矩阵,且能够以常数计算复杂度实现矩阵向量乘法,因此被视为较为有前途的神经网络加速器设计解决方案。然而,忆阻器在制造过程中无法避免硬件缺陷的出现。存在缺陷的忆阻器在使用过程中的电气表现是故障。故障忆阻器不能正确
论文部分内容阅读
深度神经网络由于优异的预测性能而得到了广泛应用。而传统计算平台由于并行度不高、遇到存储墙问题而无法高效实现神经网络的计算。神经网络推理时的核心计算是矩阵向量乘法。忆阻器交叉阵列由于能够存储权重矩阵,且能够以常数计算复杂度实现矩阵向量乘法,因此被视为较为有前途的神经网络加速器设计解决方案。然而,忆阻器在制造过程中无法避免硬件缺陷的出现。存在缺陷的忆阻器在使用过程中的电气表现是故障。故障忆阻器不能正确表示已经训练好的网络的权值,会降低部署在忆阻器交叉阵列上的神经网络的分类精度。权重映射方法是一种低成本的缺陷容忍方法。我们通过调整权重到忆阻器的映射,在缺陷存在的同时提高部署在忆阻器交叉阵列上的神经网络的分类精度。已有的故障感知的权重映射方法大多基于权重行粒度进行映射,限制了最优解的搜索空间。为解决上述问题,我们提出了两种操作单元级的权重映射方法,实现更细粒度的优化。我们将忆阻器交叉阵列划分成许多小的操作单元(Operation Unit,简称OU)。这些操作单元可以独立激活并进行运算。我们提出的第一种映射算法是通过调节每个OU内部的映射来提高网络精度的,首先在完成以权重行粒度实现权重矩阵到忆阻器交叉阵列的初步映射之后,进一步地调整每个OU内部权重的映射,从而可以实现更细粒度的优化、更好地容忍缺陷和故障。另一方面,OU内部的权重映射调整之后,随着权重在行维度位置上的调整,输入向量里的元素位置也需要调整。因此,不同的OU进行计算时需要不同的输入向量。输入向量数目的增加,不仅要求更多的存储空间、导致控制电路更为复杂,还降低了交叉阵列的计算性能。我们由此提出输入统一算法减少输入向量的数目。该算法根据欧几里得距离量化不同OU的输入向量的相似性,并将最接近的输入向量统一为一个向量并用于这些OU的计算中。以可接受的精度损失为代价,减少输入向量的数目。第二种映射算法是基于KM改进算法的OU粒度级的权重映射算法,KM改进算法综合考虑了权重梯度和偏差的影响。该映射算法对处于同一列的OU所对应的子权重矩阵统一进行优化映射,这样每一列OU只需要存储一个输入向量,减少了输入向量的存储。本文提出两种OU级权重映射方法,将三种深度神经网络映射到含缺陷的忆阻器交叉阵列上进行实验验证。实验结果表明,缺陷率为20%时,与基于行粒度的映射方法相比,Alex Net,VGG16,VGG19三种网络采用第一种映射算法进行映射后,其精度分别提升了11.07%,3.91%,2.24%。同时,相比较于不考虑输入向量数目优化的情况,采用输入统一算法后,输入向量数目减少了10%以上,而网络精度损失限制在1%以内。由实验结果可知通过第二种映射算法映射后的网络精度是最高的,在缺陷率为20%时,Alex Net,VGG16,VGG19三种网络经该算法映射后的网络精度比经第一种映射算法映射后的网络精度提高了1.2%,1.31%,0.8%,并且输入向量的数目也比第一种算法优化后的输入向量的数目少。
其他文献
随着风力发电的快速发展,风电的装机容量呈现上升趋势。而风电场由于受到土地资源与风能资源的限制,常位于偏远地区,使得所接入的系统逐渐呈现弱交流电网特性。近年来,我国西部地区频繁出现直驱风电场与弱交流电网之间相互作用引发次同步振荡(SSO)问题,对系统稳定运行造成巨大威胁。本文针对直驱风电场接入弱交流电网引发的SSO问题,进行了如下研究。建立了直驱风电场接入弱交流电网各个部分的数学模型,并用短路比(S
随着我国电力系统供电可靠性要求的提高以及干式变压器制造技术的不断发展,干式变压器具有环境性能优越、安全可靠性强、运行效率高等特点,干式变压器在配电网中所占比重越来越大。但由于干式变压器散热效率差,在过负荷运行及冷却系统故障时,更易发生局部过热的情况,从而加速绝缘材料劣化,降低运行可靠性,因此精确计算干式变压器热点温度是保证其安全稳定运行的关键。为了满足干式变压器日益增长的热点温度快速计算及实时评估
作为判断电缆绝缘状况的重要手段,局部放电检测对于预防电力事故、保障电力系统安全稳定地运行具有重要意义。传统脉冲电流测量法存在抗干扰能力弱、灵敏度易受影响等缺点,而光学电流传感器因为抗电磁干扰能力强、绝缘性能好等优点日益受到重视,具有良好的发展前景。作为传感元件磁光晶体相比于光纤有着体积小、维尔德常数大、灵敏度高等优势,本文主要针对反射式磁光晶体探头进行了研究。本文首先通过琼斯矩阵推导并分析了磁光晶
随着输电网络规模的扩大,可用架空线路走廊资源的减少,并架线路引起的电磁耦合问题日渐突出。特高压并架输电线路在日常运行维护中,会遇到长距离不带电作业线路平行于带电运行输电线路的情况,作业线路处在复杂的电磁环境中并面临严重的感应电问题,输电线路平时带电运行维护和同塔双回输电线路一回运行、一回检修时产生的感应电都会威胁作业人员的安全。因此,有必要对输电线路感应电进行研究分析,进一步保障检修作业人员的安全
随着能源需求增长与化石燃料资源枯竭的矛盾日益突出,大规模发展低碳、清洁的新能源是我国实现能源转型和应对全球气候变化的重要措施之一。但风、光固有的不确定性也对电力系统稳定运行提出了巨大挑战,由于电力系统消纳能力不足造成了严重的弃风、弃光。因此,研究大规模新能源接入情况下的电力系统电源规划方法具有重要意义。为从根本上解决该问题,需要在规划阶段同时考虑风光不确定性和电力系统运行条件。一方面要准确描述风光
随着特高压输电的发展,特高压换流变压器的容量也在逐步增大。特高压换流变压器一般采用单相结构(三相变压器组),而随着单相变压器的容量增大、运输宽度的限制以及降低磁密的需求,单相换流变压器均采用多柱并联结构,如单相四柱式。但目前PSCAD/EMTDC等电磁暂态软件内置的模型库中尚不包含单相四柱式结构,故构建一个适合工程应用的单相四柱换流变压器饱和模型是非常有必要的。为了准确快捷的对单相四柱换流变压器进
输电线路巡检是电能安全传输的保障,基于计算机视觉的智能巡检技术是输电线路巡检的发展需求,金具作为输电线路上种类最多、用途最广的功能型金属部件,是其最容易发生故障的部件之一。金具及其缺陷目标是输电线路巡检任务中的主要巡检目标,如何快速准确地定位到金具目标并检测出金具目标是否存在缺陷是电力系统研究的重点问题。利用基于计算机视觉的方法对输电线路航拍图像中金具及其缺陷目标的快速检测是解决问题的有效途径,本
架空输电线路的安全运行对社会生产、人民生活有着非常重要的意义。输电铁塔本身具有质量轻、阻尼小和柔度高的特点,对风载荷十分敏感。因此,对东南沿海地区的输电线路而言,频繁发生的台风灾害对其正常运行造成了极大的威胁。为了进一步开展输电线路抗台风设计,对台风载荷进行模拟进而研究输电线路在台风载荷下的失效机理显得尤为必要。本文以上述工程背景为出发点,提出一套基于多点实测数据的输电线路台风载荷模拟方法。该方法
电力线通信作为一种重要的通信方式,凭借着其广泛分布的低成本优势,具有较高的发展潜力,因此在结合智能电网实际需求的基础上,开发具备良好通信性能和可靠性的多载波中压电力线通信系统具有重要意义。首先,通过对中压电力线信道特性的测量分析,将电力线信道中的阻抗特性、噪声特性和衰减特性进行了分析归类。此外结合窄带通信、扩频通信、正交频分复用等通信技术的原理及适用性分析,有针对性的选择OFDM作为中压电力线通信