【摘 要】
:
我国目前残疾人总数超过8000万人,其中肢体类和视力残疾占比最多。为了解决视力、肢体类残疾人拿取生活必须品困难的问题,最新研究将目标检测算法移植在移动机器人上,通过摄像头拍取室内照片,并利用目标检测算法搜索物品所在位置,可以有效辅助视力、肢体类残疾人进行日常活动,解决该类残疾人在日常生活中常见的问题。本文对适用于室内小目标数据集的目标检测模型及硬件加速进行研究。论文基于YOLOv3 模型进行改进,
【基金项目】
:
陕西省创新能力支撑计划项目(2021TD-25);
论文部分内容阅读
我国目前残疾人总数超过8000万人,其中肢体类和视力残疾占比最多。为了解决视力、肢体类残疾人拿取生活必须品困难的问题,最新研究将目标检测算法移植在移动机器人上,通过摄像头拍取室内照片,并利用目标检测算法搜索物品所在位置,可以有效辅助视力、肢体类残疾人进行日常活动,解决该类残疾人在日常生活中常见的问题。本文对适用于室内小目标数据集的目标检测模型及硬件加速进行研究。论文基于YOLOv3 模型进行改进,提出了 YOLOv3-ShuffleNetv2、tiny-YOLOv3-ShuffleNetv2 两种轻量级目标检测模型。为验证模型的有效性,创建了室内小目标物品数据集indoor2020,将其作为评价模型性能的标准,对比了 YOLOv3、YOLOv3-ShuffleNetv2、tiny-YOLOv3-ShuffleNetv2三种模型的检测精度和检测速度。为了进一步提高检测速度,使用HLS 工具对目标检测模型各模块进行SoC硬件设计加速。论文采用了将轻量级网络ShuffleNetv2与目标检测网络YOLOv3结合的方案,既能够保证网络检测效果较好,又可以减轻模型,使其满足轻量化的要求,以便于移植到移动机器入中,并针对数据图像对模型进行改进优化,使其可以适用于室内小目标数据集。硬件加速部分采用Zynq-7000系列SoC开发板对训练好的模型进行分模块设计,本文设计的目标检测模型主要包含标准卷积、深度可分离卷积和最大池化层,因此硬件加速部分分别对这三个模块进行硬件结构搭建以及仿真综合。实验结果表明,YOLOv3模型大小为235M,检测速度为12帧/s;将YOLOv3与Shuffle-Netv2结合的YOLOv3-ShuffleNetv2模型大小为82M,检测速度为26帧/s,相对于YOLO-v3,模型减小为之前的1/3,速度提升了一倍;适用于小目标数据集的tiny-YOLOv3-Shuffle-Netv2模型大小为仅为20M,检测速度高达38帧/s。与YOLOv3相比,模型减小为之前的1/10,速度提升了 3倍。在Indoor2020数据集上进行评估,YOLOv3模型mAP为0.61;YOLOv3-ShuffleNetv2 模型 mAP 为 0.65;而 tiny-YOLOv3-ShuffleNetv2 模型 mAP 为 0.78。仿真和综合显示,这三种卷积核在SoC开发板上的资源利用率都较小,均不超过10%。可见,本文提出的tiny-YOLOv3-ShuffleNetv2模型可以满足实时性与轻量化的要求,并且准确率在三种模型中最高,可以实现移植入移动机器人中的目标。本文设计的目标检测模型及硬件加速方案可以为室内小目标数据集的检测提供算法与硬件实现参考。
其他文献
仿生爪刺式爬壁机器人模仿昆虫足部尖爪和倒刺在粗糙表面上抓附的原理,能够实现在陡峭甚至垂直的粗糙墙壁上爬行,在桥梁检测、灾难搜救、军事侦察、小行星探测等领域具有广泛的应用前景。目前仿生爪刺式爬壁机器人通常采用腿足式结构,足部交替抓附爬行,相对机器人本体来说其足部抓附面积较小,且足部爪刺对粗糙壁面复杂形貌的适应性不足,影响了机器人爬行的稳定性和可靠性。本文考虑实际壁面的表面形貌分布特点,建立了爪刺在粗
偏频技术是激光陀螺的关键技术之一。目前,已经实用化的各种偏频技术引入了活动部件、非互易光学器件、谐振腔额外损耗等,这些因素影响着激光陀螺的测量精度和稳定性。棱镜式激光陀螺的环形光路由全反射棱镜构成,其避免了反射镜的后向散射对陀螺闭锁效应的影响,使其闭锁阈值变小。此外,研究发现当激光陀螺工作在特殊的双纵模非对称频率状态下,两纵模的振荡强度比满足确定的关系时,陀螺呈现自偏频状态,即:陀螺可以无偏频的检
随着我国煤炭开采技术的持续发展,煤矿综采区域机械设备的稳定性与可靠性日益引起研究人员的重视。刮板输送机链轮组件经常由于密封失效导致频繁升井维修,不但增加企业运营成本,还严重影响了企业的产能,是煤矿企业面临的一个重要问题。本文针对链轮组件浮动油封失效问题展开分析与研究,提出一种新的链轮组件的密封方式,即指尖密封。论文主要研究内容如下:1.通过企业的实地调研,掌握了刮板输送机链轮组件工作原理,对链轮组
静脉穿刺作为普遍的医疗手段,应用于采血、输液及靶向治疗等场景。近年来国内外研究的静脉穿刺机器人能够代替医护人员执行静脉穿刺,实现医疗过程的高效率和自动化。目前的研究过程中,对于血管的穿刺仿真和实验大都基于单层血管组织,没有考虑实际穿刺过程中上层软组织对血管层的影响,且穿刺生物软组织时很少考虑力稳定控制。因此,本文针对穿刺皮肤-血管组织过程中,皮肤等软组织变形对血管目标区域挤压导致偏移、穿刺力变化规
电主轴作为数控机床的核心部件,其性能好坏直接影响机床的加工质量。数控机床在加工过程中,主轴的生热不可避免,由此带来的热变形是造成加工质量下降的重要原因。本文以型号为150MD2412.5的磨削电主轴为研究对象,建立考虑轴承动态参数在内的轴承拟静力学模型,分析轴承内部的生热机理,通过有限元仿真分析结合实验验证的手段对其内部的温度场以及变形场进行分析,依据仿真结果优化机械轴结构。具体研究内容如下:(1
科技的发展带动机器人技术不断提升,目前多机器人系统的应用逐渐走向普及化和实用化。对机器人进行精确定位是保证生产作业顺利进行的前提,对于提高机器人工作效率和促进现代化水平具有重要的意义。机器视觉测量技术作为一种新兴测量技术,原理上具有非接触、实时性强、信息量丰富等显著优点,在工业生产及机器人定位方面取得了广泛的应用。针对目前多机器人系统很难实现多目标定位这一问题,本文提出了一种应用机器视觉测量技术对
电容层析成像(Electrical Capacitance Tomography,简称ECT)是一种可视化多相流参数检测技术。由于其具有非侵入性、时间分辨率高、无辐射、适用范围广、成本低廉等优点,在涉及气固两相流、气液两相流以及三相流等相关应用领域得到了广泛的关注和研究。ECT传感器本身存在的灵敏度低且空间分布不均匀、输出信号动态范围大等问题,不仅影响图像重建质量,还对数据采集系统提出了很高的要求
随着互联网技术的不断发展,图像作为一种重要的信息交换载体,在信息传递的过程中始终占据主导地位,由于原始图像在存储过程中会占用大量的存储空间,传输时又会占用较大的带宽。因此,对图像进行压缩以便存储和传输一直是研究的热点。在硬件实现方面,由于专用集成电路(ASIC)其高度专用化使其不适合设计灵活的神经网络同时它的开发效率较低,FPGA在流程控制方面能力相对较弱及其特有的硬件结构,使得FPGA在算法的实
可重构型索驱动并联机器人(Reconfigurable Cable-driben Parallel Robots,RCDPRs)通过改变出索点或引入其他机构,以此改变索位置分布的一类机器人。主要分为两类:一类是索与末端执行器进行重新配置,另外一类是索与机架进行重新配置。本文主要对第二类索与机架重新配置的工作空间分析与控制进行研究。RCDPRs更能发挥其有大的工作空间、更好的运动性能、提升系统刚度、
脑机接口(Brain Computer Interface,BCI)是一种非肌肉的通讯系统。具体来说,它是一种利用一定的技术手段,通过直接提取脑电信号来分析识别大脑思维活动,进而实现大脑与外界环境直接交互的系统。目前,脑机接口在脑卒中康复治疗等医疗领域以及军事、娱乐等领域应用广泛。脑电识别算法是脑机接口系统的核心部分,其识别效果直接决定系统的性能。本文针对脑电信号的特点,结合现有研究存在的对脑电信