【摘 要】
：
近年来,神经网络加速器与IoT设备相结合的AIoT设备被广泛应用到多个领域。但较小的晶体管尺寸和较低的供电都会提高AIoT处理器软错误发生的概率,从而导致神经网络加速器出现大量计算错误。在这种情况下,若直接将离线训练好的神经网络部署到加速器上,会导致相当大的预测精度损失。而传统的容错技术（如三重模块化冗余）会带来相当大的功耗和性能损失。因此,国内外学者通过研究神经网络自身的特点发现可以对神经网络进
论文部分内容阅读
近年来,神经网络加速器与IoT设备相结合的AIoT设备被广泛应用到多个领域。但较小的晶体管尺寸和较低的供电都会提高AIoT处理器软错误发生的概率,从而导致神经网络加速器出现大量计算错误。在这种情况下,若直接将离线训练好的神经网络部署到加速器上,会导致相当大的预测精度损失。而传统的容错技术（如三重模块化冗余）会带来相当大的功耗和性能损失。因此,国内外学者通过研究神经网络自身的特点发现可以对神经网络进行再训练来提高网络模型的容错能力。然而,在CPU和GPU等通用处理器上进行神经网络训练,无法很好地捕捉到加速器的计算错误。为了解决这个问题,本文所做的工作总结如下:1.本文提出了一个针对有计算错误的远端AIoT处理器的远程再训练方法。在训练循环中引入带有软错误的远端AIoT处理器,使服务器上的应用数据能够学习到现场计算错误,这样训练得到的再训练模型对软错误具有一定的弹性。同时,本文设计了一系列客户端-服务器通信API,以促进在传统训练框架（如Py Torch）和物联网软件堆栈上远程再训练方法的实现。2.本文从训练总时间和模型精度的角度对远程再训练方法进行了进一步优化。具体而言,本文提出了一种稀疏增量压缩方法,以减少再训练过程中需要传输的数据量;本文还提出了一种基于启发式算法的局部三模冗余保护策略来提高再训练模型的精度,该策略可以在保证精度损失的情况下降低容错成本。3.本文实现了远程再训练方法并对一组典型神经网络模型进行了实验。实验结果表明,相比于离线训练的神经网络模型,当性能损失为0%～200%时,远程再训练方法使模型的top-5精度提高了1.79%～15.04%;与直接的远程再训练方法相比,稀疏增量压缩方法可减少38%～91%的再训练时间,而精度损失可以忽略不计。
其他文献
柔性力学传感器由于具有随形性、延展性等特点,其在可穿戴电子、服务型机器人等新型领域上具有较大应用潜力,从而成为当前研究热点之一。碳系导电高分子复合材料符合柔性力学传感器良好体表共形要求兼具成本优势被大量应用。利用实验手段来探究碳纳米管和石墨烯共混对传感器电学性能上的提升难以揭示它们行为的物理规律。通过建立数值模型或解析模型才可以准确探究粒子微观参数与材料宏观参数间的联系。本文创新的通过建立适合于三
聚氨酯是一种具有广泛用途的高分子材料,国内的聚氨酯消费总量占据全球的半壁江山,聚氨酯的化工生产在旺盛的市场需求下具有巨大的市场潜力。近几十年中国聚氨酯生产技术发展迅速,生产规模显著扩大,但是随之产生了生产现场分散管理困难和生产数据的“信息孤岛”等问题限制了企业的进一步发展。搭建统一的生产数据中心,设计可以集中监控生产现场和查询统计生产数据的信息系统具有重要意义。课题组之前为安利公司开发了一至三期聚
随着机器视觉在自动化生产领域的广泛应用,在测量和装配设备中加入视觉系统,根据视觉定位的结果引导设备执行后续任务,对提高设备的感知和决策能力具有非常重要的意义。本文以机器视觉和图像处理技术为基础,主要对测量仪器及装配机械臂等设备的视觉引导及定位技术进行研究。对相机的成像原理及双目视觉成像模型进行分析,对张氏标定法进行了详细的推导,选取合适的相机与镜头设计并搭建了标准的双目视觉系统实验平台,通过标定实
随着计算机视觉技术的不断发展,图像已经成为传递信息的重要媒介,如何从海量的图像数据中获取人们需求的高质量的图像显得尤为重要,图像修复作为图像处理中的关键技术,已经成为计算机视觉领域重要研究课题之一。近几十年年来,国内外学者基于数学建模等理论对图像修复做了深入研究,并尝试将其从实验推广到实际应用。然而,实际应用中图像受损区域复杂多变,传统图像修复算法难以完成高质量的修复过程。近年来,深度学习凭借其对
人工智能自出世以来几经沉浮,终于在算法突破、算力提高及海量数据的推动下于21世纪迎来了质的飞跃。卷积神经网络（Convolutional neural network,CNN）作为代表算法之一,在医学、无人驾驶、语音识别等领域都表现优异。CNN需要对大量测试样本进行训练从而更新网络参数,想要获得更高的识别精度,其代价是更多的网络参数和更大的计算复杂度。Winograd算法可通过减少卷积层所需的乘法
目标检测作为计算机视觉的重要研究内容之一,在工业,军事,智能监控,人脸识别,多目标追踪,自动驾驶技术等领域有着广泛的应用。当前,随着人工智能与自动驾驶等技术的研究不断推进,基于深度学习的目标检测越来越成为国内外学者们研究的热点。基于Darknet53特征提取器的YOLOv3网络模型具有检测精度高,检测速度快等优点,但仍存在对于小目标检测能力不够强,边界框定位不够精准以及模型权值文件较大等问题。为此
食品中添加食用色素来吸引消费者已经成为了一种常用的手段,但生产者往往基于利润或其他原因对食用色素的使用量控制不当。在本项工作中,我们以日落黄为研究对象,基于电化学检测,成功制备了一种基于电解质溶液栅控石墨烯场效应晶体管（SGGT）的高灵敏度日落黄传感器,可以用来检测饮料中日落黄的浓度。日落黄传感器的检测机理主要是利用日落黄分子可以在栅极附近发生一个单电子的氧化还原反应,造成等效栅极电压的变化,进而
光学成像系统对处在焦深范围内的物体成像清晰,超出焦深范围的部分,会产生成像模糊现象。在显微光学成像系统中,由于成像物镜的焦深随着光学倍率的增大而减小,导致倍率越大的成像系统,只能获得更小景深的清晰像,如Mitutoyo M Plan Apo2X显微物镜的焦深只有±91μm,20X的焦深只有±1.6μm。因此,研究大景深成像方法具有重要的应用价值。叠焦合成扩展景深是显微成像中一种获得大景深图像的有效
随着国内经济的高速发展,越来越多的国民拥有汽车,但是车位的供需矛盾不断凸显。相比以前的停车库,立体停车库因停车使用率高而且智能等很多优势,立体停车库将取代传统停车库。立体停车库作为高大空间建筑,其内部结构极为复杂,运行机制较为繁琐,一旦发生火灾,车辆无法及时撤离,很容易造成二次爆炸等事故。因此对立体车库内部火灾的早期探测、精确定位以及自动灭火是非常必要的。立体停车库内部结构极为复杂,本文针对立体车
随着网络和计算机视觉的发展,各式各样的媒体和应用出现在人们生活当中,随之带来的网络和信息安全问题,受到了广泛关注。人脸识别技术,以其非侵入性的特点,成为人工智能领域备受关注的技术之一,在视频监控、人机交互和安全系统等实际应用中具有重要意义。现阶段的正面人脸识别技术在精确度方面已经达到很高,但是在有部分遮挡时,算法识别精确度有待提高,且模型比较庞大。针对这些问题,本文改进了一种基于FaceNet的算