基于FPGA加速器的实时像素级场景感知技术研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:robertrobertrobert
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
移动机器人安全自主工作要求系统能够进行智能地图绘制、快速定位和避障,需要准确且实时地感知环境信息,而像素级的场景感知则可以为其提供更多的信息。基于深度学习的语义分割和单目深度估计任务在像素级场景感知问题上取得了很好的成绩。为了在资源和续航受限的嵌入式场景下快速而准确地完成语义分割和单目深度估计任务,从硬件加速器设计和轻量化神经网络设计两个方向开展了深入研究。对比主流的硬件加速平台,选择低功耗且高算力的FPGA作为硬件加速器。设计了以XCZU2CG芯片为核心的硬件加速电路,并基于硬件电路设计进行加速器软件系统的搭建,包括集成DPU的FPGA工程设计和嵌入式Linux系统的搭建。针对语义分割任务,分析了几种常用的轻量级语义分割模型的网络,再基于所设计的加速电路的硬件性能对ENet模型进行改进。在Cityscapes数据集上训练和测试了这几种轻量级语义分割模型,并对其精度与推理速度进行对比分析。针对单目深度估计任务,对轻量级单目深度估计Py D-Net模型进行了改进优化设计。在KITTI数据集上训练和测试了改进后的模型,与常用模型的深度估计精度进行比较与分析。对轻量化的语义分割和单目深度估计模型进行量化、编译,并且部署在所设计的加速电路上。部署后的模型精度损失在3%左右,运行速度比CPU快20倍,比树莓派快80倍。总功耗为4.53W,满足低功耗的需求。在实际场景下,轻量级语义分割和单目深度估计模型也能保持良好的效果。
其他文献
肺癌是世界上致死率最高的癌症之一,肺腺癌(Lung adenocarcinoma,LUAD)是其最致命的一种亚型,严重威胁全人类的健康。准确识别肺腺癌疾病标志物对患者的早期诊断、预后和生存率的提高具有重要意义。随着高通量测序技术的发展以及人类基因组项目的实施,积累了大量隐藏着丰富生物信息的组学数据,为挖掘肺腺癌相关的疾病标志物提供基础。孤立分析某一类型的组学数据会割裂生物功能,如何基于多组学数据进
学位
铌作为一种重要的战略性关键金属矿产资源,被广泛应用于钢铁冶金、高端电磁、航天航空、化工等领域中。我国铌储量极低,十分依赖进口,因此急需找到新的铌资源类型,摆脱资源安全受人制约的现状。近年来,越来越多的学者都发现并报道了围绕上二叠统峨眉山玄武岩风化壳中产出的以铌为代表的多金属矿层,这一发现有力推动了我国西南地区关键金属矿产的研究。但目前的研究仍存在诸多问题亟待解决,一是对铌的物质来源难有定论;二是铌
学位
近年来,计算机视觉在社会生产生活中逐渐发挥着越来越大的作用。从原始图像中获取准确有效的信息,对各种视觉任务都至关重要。然而,图像从采集、传输到保存的过程中,都会受到各种噪声干扰。噪声扰动不仅使图像视觉质量下降,而且会影响后续对图像信息的理解。图像去噪的目的是通过抑制图像中的随机噪声,估计原始干净图像,同时尽可能多地保留图像细节特征。随着卷积神经网络的广泛应用,基于深度学习的图像去噪算法取得了超越传
学位
能源短缺和环境污染问题制约着当今社会的可持续发展,而可再生能源的蓬勃发展可以有效地解决此问题。由于可再生能源发电存在间歇性、不稳定的特点,采用储能技术可以有效提高可再生能源发电的利用率。但是,大容量储能系统高额的投资成本限制了其发展,为了解决这一难题,共享储能的模式应运而生。本文针对电、热混合的多能源微网,探索了电、热混合储能共享模式,研究了单个微网和微网集群两种运行模式的优化调度策略。论文首先研
学位
随着全球工业化的发展消耗了大量的自然资源,在化石能源日益枯竭、环境污染日益严重的情况下,高效、清洁的可再生能源转换方法对于可持续发展至关重要。固体氧化物燃料电池(Solid Oxide Fuel Cell,SOFC)系统以其高效、低排放等特点成为最有前景的发电设备之一。SOFC电堆由多个电池片串联组装而成,为保证其可靠性和稳定性,电池片数目不宜过多,单个SOFC电堆额定功率一般控制在1k W以内。
学位
上门服务大量出现在现代服务业的各类场景中,如IT运维服务、家庭医疗服务、家政服务等,优化服务调度对提升服务组织的效率意义重大。此类问题对应于文献中的劳动力调度和路径规划问题,已有研究常把任务视为一个点,路径直接由任务执行顺序确定。而现实中的上门服务任务往往存在点、线、面等结构型的区别,不同结构的任务在路径规划中对应的地理连接点数量不同,路径无法直接由任务顺序确定。同时,任务具有拖期惩罚级别差异、服
学位
定制公交是一种为起讫点和时间窗相近的乘客提供巴士共享服务的新型公共交通模式,具有经济、舒适和个性化的优点,能够帮助解决城市公共交通灵活性不足的问题。定制公交线路的合理规划能降低公交运营成本、提升乘客体验。目前有关定制公交线路规划的研究大多只考虑提前预约乘客的需求,线路形成后不会为新增的实时需求重新调整,导致失去部分乘客。实际运营中定制公交存在上座率不足,实时乘客又因未提前预约而无法乘车的情况,因此
学位
复杂海况下的无人水面艇航迹规划研究对海洋资源的开发和运用具有重要意义。目标定位与路径规划是无人水面艇航迹规划任务的关键环节,但目前仍存在以下局限:1)观测过程的非线性特性可能导致以拓展卡尔曼滤波等为代表的传统目标定位方法存在解算时间长、解算精度低等问题;2)在多动态障碍物的复杂场景下,A*等传统路径规划方法仍存在环境适应性与规划实时性较差等缺陷。针对以上问题,本文运用深度学习与强化学习方法,从目标
学位
多飞行器协同作战是全球信息化的发展趋势,一经提出便受到各军事大国的重点关注。多飞行器协同作战中目标分配可以规划合理方案,实现作战效益最大化,协同制导可以提高飞行器突防率,增强整体作战能力。然而,协同作战目标分配及再入制导方面仍存在难点,因此本文对这些问题展开分析和研究,完成的具体内容如下:研究了基于改进生物地理学算法的目标分配方法。首先分析作战任务和特性,以层析分析法为基础,引入三角模糊数限制不确
学位
目的探讨狭颅症合并婴儿痉挛症的临床表现、诊断、治疗及预后情况。方法对山东大学齐鲁儿童医院神经内科2017年12月收治的1例狭颅症合并婴儿痉挛症患儿的临床表现、诊断、治疗(给予促肾上腺皮质激素,疗程14天,颅盖重建术式,随后给予托吡酯治疗)以及预后(随访2年)情况进行回顾,并结合文献进行分析。结果先证者通过临床、影像学检查、视频脑电图确诊为婴儿痉挛症和狭颅症,通过激素冲击治疗和外科治疗阻止了癫痫发作
期刊