面向图像文本描述的轻量级神经网络算法研究及FPGA设计

来源 :东南大学 | 被引量 : 0次 | 上传用户:zyf115
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像文本描述有很多应用场景,可以为图像自动搭配标题,也可以转化为文本帮助视障人士更好地理解生活中图像的内容。卷积神经网络(CNN)具有特征抽象提取的能力,长短期记忆网络(LSTM)能处理时序数据,将两者结合,能够自动生成图像文本描述。但是面向实际需求时,深层神经网络计算量大并且CPU串行的执行方式不能很好地利用网络并行性完成计算,对设备的性能提出了很高的要求,因此不能支持低功耗移动端的实时应用。针对以上问题,本文从算法研究和硬件设计两个层面,对图像文本描述的轻量级神经网络进行研究。在算法层面,CNN把来自输入的图片处理为包含特征信息的向量,LSTM把包含特征信息的向量变成可读的句子。本文通过对菱形感受野的分析,改进了一种对硬件设计友好的菱形卷积和菱形池化的方法,减少了参数量和计算量。将菱形卷积与轻量化的分组卷积结合,辅以特征图通道重排的方式,量化为8比特数据位宽后,得到了轻量化图像文本描述算法。将轻量化图像文本描述算法在Flicker30k图像标注数据集进行实验,测试其BLEU-1指标得分达到45.2。在硬件层面,本文改进了CNN内部的实现顺序来减少网络的中间存储。在分析卷积的并行性后给出了合理的卷积计算方式及存储方式,并规划计算单元以及矩阵乘法的实现方式。在分析矩阵乘法的计算特点后制定了LSTM网络的设计方案,通过分段线性函数实现激活函数。在此基础上,本文通过Verilog HDL语言实现硬件加速器并在PYNQ-Z2开发平台上搭建了包含加速器的验证系统,综合的功耗为0.993W,计算能效为9.2GOP/s/W。本文面向图像文本描述的轻量级神经网络加速器使用较少的资源取得了较低的功耗,满足了图像文本描述应用在移动端的实时性和功耗方面的要求。
其他文献
AGV叉车作为智能物流工具之一,是未来仓储物流、智能工厂的重要组成部分。本文以AGV叉车为研究对象,针对国内现有AGV叉车自平衡性较差、精度不足等问题,研发一款基于麦克纳姆轮的AGV叉车,并对其关键部件的力学特性与整车的动力学特性进行进一步研究。针对AGV叉车自平衡性较差的问题,设计了专用的动态配重装置,完成了可实现动态自平衡的AGV叉车总体方案设计。在总体方案基础上,对其动力装置、工作装置、动态
为了给福建永安会清桥提供更好的保护,汲取传统建筑经验,弘扬其背后的传统文化,本文通过田野调查、模型分析、图表绘制、文献研究等手段,对福建永安会清桥的设计与建造特点进行探讨。得出结论如下:第一,会清桥的选址是从水陆交通、水文地质、风水形势角度综合考虑的结果。便利的水陆交通体现选址的必要性,特有的水文地质条件决定选址的唯一性,最终形成的良好风水格局验证选址的正确性。第二,会清桥是村落中具有交通、祭祀、
铸造起重机工作级别高,工作环境恶劣。在服役过程中,大车的起吊、运行、启动、制动、啃轨等工况产生的冲击载荷以及高温高粉尘环境对其金属结构疲劳性能带来很大影响,这些影响将造成起重机金属结构力学性能退化,并且这些退化过程具有随机特征。针对铸造起重机金属结构性能退化引起的故障,目前冶金厂大多采用日常巡检、定期维修等简单的维修策略。这些维修策略并没有考虑金属结构性能退化特性,而且频繁巡检、定期更换的维修方式
随着建筑能源消费在全国能源消费中的比例逐年上升,如何通过有效地能源管理,实现建筑节能,减少能源消费对环境的影响受到了广泛的关注。而中央空调系统作为建筑中最主要的耗能设备之一,研究其负荷特性以及优化系统运行策略对于减少建筑能耗,缩减运行成本具有重要意义。根据实际的负荷需求调整运行策略可以大大减少中央空调系统的能耗。然而,中央空调系统是一个非线性的复杂系统,受到很多因素的影响,系统设备之间也存在相互作
随着环保要求的日益提高,我国发电行业进行了深刻的产业升级和调整。燃煤发电行业受到诸多限制,清洁高效的天然气发电逐渐受到大家的关注。但是,燃气轮机的核心制造和调控技术大都掌握在国外燃机企业手中,国内燃机发电企业却承担着日常运行的重任。NOx排放过量、燃烧不稳定以及成本较高等问题对于燃机燃烧系统安全高效运行提出了巨大挑战。因此,建立高效且系统化的燃烧优化方法迫在眉睫,本文以某在役300MW重型燃气轮机
注入电流探头作为大电流注入测试系统中的关键仪器,其性能指标对最终测试结果有着显著影响。为规范注入电流探头的设计流程,优化电流探头性能,本文针对注入电流探头流程化设计方法展开研究。本课题首先对注入电流探头的基础理论进行分析,相关分析表明注入电流探头使用时与待测设备的线缆构成变压器结构,并建立了注入电流探头及其校准夹具的等效电路模型,利用该等效电路分析集总参数对注入电流探头插入损耗的影响。论文针对探头
近年来,随着地铁上盖物业的兴起和发展,我国的各大城市,包括北京、上海、深圳、杭州等进行了地铁上盖物业的尝试和开发。但是,由于地铁上盖物业的基础直接布置在振源之上,致使其振动敏感性比地铁沿线建筑更强。尽管地铁列车引起的振动一般都低于结构的破坏振级,不会造成像地震那样的直接破坏,但它能引起结构及室内设施的局部振动,产生二次结构噪声,使人明显感觉不适,造成失眠、烦躁等困扰。为了研究振动在上部结构中的传播
传统的核磁共振仪器体积庞大,难以移动,限制了其在生物标记物现场即时检测中的应用。为此,本文通过设计与制造一种便携式的Halbach永磁体结构,研制便携式核磁共振仪器探头、双工器和前置放大器等关键部件,组装一台面向生物标记物现场快速检测的便携式核磁共振仪器,以人体免疫球蛋白G(IgG)为实验对象,实验验证便携式核磁共振检测仪的可靠性和准确性。论文取得的具体成果如下:(1)便携式Halbach磁体的设
随着科技的进步,新能源汽车的发展日新月异,其安全性也备受关注。由于新能源汽车采用大量高压大功率线缆进行能量传输,从线缆辐射的电磁场不仅可能会影响车辆周围的无线电设备,还可能导致车厢内部电气设备在工作时出现故障,从而引发车辆行驶的安全性问题。为抑制从线缆辐射的电磁场对周围电子设备的电磁干扰问题,工程上常采用屏蔽线缆来传输信号,定量评估屏蔽线缆与连接器的电磁屏蔽性能是屏蔽线缆与连接器选型及线缆辐射发射
随着我国农业机械化的不断发展,国内对动力换挡拖拉机的需求越来越大。动力换挡拖拉机因其在换挡过程中动力连续且充足、作业效率高、能耗低而备受关注。变速器设计作为动力换挡拖拉机开发过程中的重要环节,一直以来也是各农业大国拖拉机技术的研究焦点。国外在这一领域起步较早,并开发了一系列优秀的变速器产品。近年来,国内对拖拉机变速器的开发研究也投入了大量资金,但大部分投入量产的产品依然借鉴了国外的技术,自主开发、