基于深度学习的户外盲道障碍目标检测与跟踪研究

来源 :江西理工大学 | 被引量 : 0次 | 上传用户:sinohydromusc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视觉是人们感知世界的重要通道,而随着世界人口的增加,全盲或具有视觉障碍的人口数量也在随之增长。视力的缺失不仅从心灵上给他们带来了伤害,更给他们的生活带来了极大不便,特别是在户外出行活动。随着科技的进步和社会的发展,他们也正受到来自各方面的关注,特别是在盲人户外出行导航及避障方面。目前,已有许多导盲设备及避障系统相继被研发,其中多数设备的主要原理就是采用超声波、红外传感器、激光雷达等对障碍物的距离进行探测,并通过震动或蜂鸣等提示盲人障碍物的距离。近些年,随着人工智能第三次热潮的兴起,机器视觉成了主流的研究热点,其应用非常广泛。而在导盲方面的应用,机器视觉主用来识别盲人所处的场景、对障碍物的识别与检测、人脸识别及文字标识的检测等,相较于传统的导盲方法,利用机器视觉技术能给盲人的出行及日常生活带来更大便利。针对利用机器视觉研制的导盲系统中对障碍目标的识别、检测与跟踪问题,本文提出了基于深度学习的户外盲道障碍目标检测与跟踪方法,为导盲系统的研制及盲人导航提供了新的检测模型和方法。本文主要工作和取得成果如下:首先,对盲人出行空间信息需求进行分析,并通过查找相关文献和实际调查将盲道周围常见的障碍要素归为15类,在此基础上进一步建立障碍目标数据集和实例分割数据集并将其分为训练集、测试集和验证集,对数据集的各项指标进行分析。然后,针对建立的障碍数据集,利用YOLO、SSD、Faster R-CNN等系列算法训练障碍物检测模型并针对障碍数据集进行优化改进。在使用YOLOv3算法训练数据时,针对障碍物数据集的特点选用K-means聚类方法生成anchor,提升了模型的平均检测精度。在使用SSD算法训练数据时,为提升其中多尺寸目标检测的精度,通过增加Conv3_3层和修改先验框的生成比例改进SSD算法,改进后的算法对多尺度目标检测的精度提升较为明显。针对盲道及斑马线的检测与识别,采用Mask R-CNN实例分割的方法建立数据集,使用FPN+Res Net101和FPN+Res Net50训练数据集得到盲道与斑马线实例分割检测模型,该模型能够以较高的精度检测出图像中的盲道和斑马线。最后,结合训练的YOLOv3-Kmeans和YOLOv4障碍检测模型,利用Open CV中深度学习模块对这两种框架下的模型进行解析并建立了目标跟踪模型。在这两种框架下分别输入视频流进行检测与跟踪,通过实验得出,利用目标检测模型对目标进行跟踪能够取得良好的效果。分析两种模型对视频连续帧的跟踪效果得出基于YOLOv3-Kmeans的模型跟踪效果较好,漏检较少。
其他文献
新一轮国家机构改革,党中央赋予自然资源部“统一行使全民所有自然资源资产所有者职责,统一行使所有国土空间用途管制和生态保护修复职责”的“两统一”职责。建立健全全民所有自然资源资产所有权管理体系,是落实统一行使全民所有自然资源资产所有者职责的必然要求。
期刊
“十四五”期间预计国内将有7 000万kW的年均光伏增量,而2015年台风“彩虹”在广东对光伏板矩阵造成破坏的事件距今并不遥远。近年来,光伏组件风致响应的研究有了一定程度的进展,对不同的倾角、间距比、安装位置、遮挡物和遮挡形式等不同的条件都得出了相应的研究结论。笔者在对现有的研究进行总结分析的基础上,对未来光伏组件抗风性能的提升方向提出了几点简单的展望,仅供参考。
二元一次方程组是继学生学习了一元一次方程之后所研究的一类最简单的线性方程组,其代入消元和加减消元的思想和方法,不仅是解二元一次方程组的最基本方法,也是解三元一次方程组和二元二次方程组的基本方法,同时也是学习其他数学知识乃至物理、化学等学科知识的重要基础.
期刊
近年来,尽管人们生活水平显著改善,但现代人们也面临着越来越大的生存和工作压力,伴随着高血压的发病率也越来越高,高血压疾病日益成为公共卫生领域一个广泛引起关注的问题。高血压会引发各种并发症而心力衰竭是高血压患者最常见的并发症,研究预防心力衰竭的发生对于临床医护人员和高血压患者具有重要意义。此次翻译实践报告以医学书籍《高血压与心力衰竭》的第五章节为翻译原文。原文本是一篇典型的医学文本,主要介绍了非药物
随着互联网技术的不断发展,人类逐渐步入大数据时代,数据资源成为推动经济增长和社会发展的基本要素。目前,中国正在大力发展大数据产业,也在开展相关的大数据研究。中国的大数据产业虽然规模庞大,但仍处于起步阶段。从某种程度上说,中国的大数据产业有巨大的升值空间。因此,互联网大数据领域的翻译研究,有利于促进国内外学者在该领域的交流。本报告包含四章内容:翻译任务介绍、翻译过程的准备工作、案例分析以及实践总结。
本文主要介绍了传感器、智能传感器和智能传感技术的概念、工作原理、组成部分以及技术应用,智能制造中的关键技术——智能传感技术应用,如机器视觉技术、RFID技术和工业机器人技术,阐述了智能传感技术是实现智能制造的关键所在,智能制造是中国实现制造强国必经之路,最后总结了智能传感技术发展趋势。
党的十九届六中全会是在建党百年重要历史时刻,召开的一次具有里程碑意义的历史性会议。习近平总书记在全会上发表的重要讲话和全会审议通过的《中共中央关于党的百年奋斗重大成就和历史经验的决议》(以下简称《决议》)贯通历史、现在、未来,是新时代中国共产党人牢记初心使命、坚持和发展中国特色社会主义的政治宣言,是我们党在新时代团结带领人民以史为鉴、开创未来、
期刊
中共中央办公厅、国务院办公厅日前印发《全民所有自然资源资产所有权委托代理机制试点方案》(以下简称《方案》),并发出通知,要求各地区各部门结合实际认真贯彻落实。《方案》指出,为统筹推进自然资源资产产权制度改革,落实统一行使全民所有自然资源资产所有者职责,探索建立全民所有自然资源资产所有权委托代理机制,开展试点工作。
期刊