服务机器人行人检测与跟踪系统研究

来源 :南京信息工程大学 | 被引量 : 0次 | 上传用户:xiaozhu222
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
行人检测与跟踪是计算机视觉研究的重要领域之一,通过对行人进行定位获取其运动轨迹,实现对行人目标持续跟踪。随着深度学习与人工智能的发展,行人检测与跟踪技术广泛地应用于自动驾驶、无人机、智能监控等领域。近些年我国服务机器人行业发展迅速,智能公共服务机器人愈发普及,对于服务机器人智能感知技术也提出了更高要求。本文以行人检测与跟踪为研究对象,研究行人检测、跟踪等感知算法,并将算法移植至服务机器人上,为服务机器人能够在复杂场景中实现精准服务、主动避让等操作提供帮助。针对行人检测算法,考虑到行人检测算法计算量大,服务机器人平台计算能力有限,并且复杂场景下对于行人检测精度和速度要求较高,本文对YOLOv4算法进行研究,参考了YOLOv4-Tiny算法的网络结构,使用改进的YOLOv4-Tiny网络代替YOLOv4原有的基础网络,实现YOLOv4轻量化改进,同时手动重新标注INRIA数据集,采用Canopy算法和K-means++算法相结合对改进后的YOLOv4所需要的锚框初始值进行重新设置。将改进后的YOLOv4与其他先进算法在公开数据集上进行对比测试,测试结果表明,改进后的YOLOv4算法在速度上相较于YOLOv4提高了70%,满足服务机器人对检测速度要求较高需求。在检测精度上相较于YOLOv4-Tiny提高了8.21%,通过主观实验分析得出改进后的YOLOv4可以很好地检测出复杂场景下的行人,满足检测精度要求较高的需求。针对多行人目标跟踪算法,为了满足服务机器人对多个行人目标实时跟踪需求,本文对Deep SORT算法进行研究,使用DIOU代替IOU加入级联匹配中,应对行人目标跟踪中出现的遮挡问题和漏检问题,使用改进后的YOLOv4目标检测算法代替Deep SORT中原有的Faster R-CNN目标检测算法,有效提高Deep SORT算法的跟踪精度和运行速度。与Deep SORT对比实验测试表明,改进后的Deep SORT跟踪准确度提高了18%,速度提高了68%。在相同场景下检测跟踪结果对比发现,改进后的Deep Sort算法可以有效提高中远距离行人检测跟踪能力和改善高遮挡下的行人漏检问题。针对行人检测与跟踪系统,设计系统整体框架,完成了系统软硬件平台搭建。以MOT16数据集和南京信息工程大学校园实际场景作为测试集,选取了行人遮挡、密集人群、夜间行人、光照变化等不同场景对系统进行测试,实验结果表明系统始终检测跟踪准确,没有出现漏检和误检情况发生,鲁棒性好,处理帧率保持在8到10帧,系统运行稳定,基本满足服务机器人在实时场景的应用需求。
其他文献
随着我国汽车保有量的逐年攀升,私家车通勤在日常出行中的所占比重越来越大。上路车辆的增多带来了许多交通问题,而通勤时段的拥堵问题尤其突出。目前推行的尾号限行、拥堵收费的方式未能充分考虑通勤者的临时出行需求。合乘出行正是缓解通勤时段交通压力和有效利用资源的良策,也是许多出行者倾向的选择。网约拼车近年来得到快速发展,但现有互联网打车平台未能摆脱以盈利为目标的营运性质,利益驱动下的上路汽车只会增多。本文结
目前,随着“海洋牧场”的快速建设和海洋资源的深入探索,水下机器人(Unmanned Underwater Vehicle,UUV)正广泛运用于海洋矿产、渔业等资源的开发。针对水下机器人小型化、大众化过程中出现的操作难、易受干扰、易损坏等问题,本文以自主设计的“Aquaman V3”小型水下机器人为基础,通过优化硬件和控制算法,提高小型水下机器人的稳定性与控制精度,使之能够对抗海流、碰撞等外界扰动,
我国海洋资源丰富,但并未得到充分的开发,相较于河流、湖泊等水域,海洋的水下环境更加复杂和危险,人工进行探索和开发的危险系数过高。水下机器人成为了人类对海洋探索的重要工具,而视觉图像在水下机器人探索与感知周围环境时扮演着重要的角色。由于水体的吸收和散射,水下图像具有对比度低、图像模糊、色偏等问题,影响水下机器人后续的视觉任务。因此,获取高质量的水下图像对人类探索开发海洋有着十分重要的意义。本文根据水
近年来,由于多智能体系统包含控制在航空、工业、运输等领域的广泛应用,引起许多专家学者的关注。多智能体系统包含控制可以看作一致性和编队问题的特殊情形,是指通过设计包含控制算法,驱使一组跟随者在多个领导者的引领下,最终进入并保持在由领导者所形成的凸包中运动。与传统多智能体系统问题相比,包含控制更能突出分布式协同控制的优势。针对系统收敛速度、智能体状态不可知以及信息传递过程中出现时滞、外界扰动、Do S
气候变化带来的影响是方方面面的,并且人们常采取手段对负面的影响进行干预。近年来,人们对于降雨的预测需求越来越多,传统的降雨预测手段需要收集大量的物理信息,增加了复杂度,并且过于规律的预测手段会导致预测不精准。随着深度学习的发展,图像处理在许多任务上取得成效。本文提出利用图像序列预测任务的方法来处理降雨预测任务,取得了令人满意的效果。图像序列预测即给定若干张连续图片,预测后续一张或若干张连续图片的时
六轴工业机器人在现代制造业中有着广泛的应用,是工业机器人的典型代表。为解决六轴工业机器人示教耗时费力和无法适应变化的作业场景等问题,使机器人能够在复杂的环境中实现自主规划,本文以IRB 120机器人为对象,研究了六轴工业机器人的运动规划问题,包括机器人运动学、轨迹规划、碰撞检测和避障路径规划,主要内容如下:首先,对机器人的运动学进行了求解。利用D-H法对机器人进行运动学建模,通过齐次变换得到了机器
行人重识别是计算机视觉中的一项重要任务,其目的是为了检索存在于图像或者视频中的特定行人。近年来,随着深度学习的发展,行人重识别研究也取得了许多突破,并且在安防和刑侦等多个领域取得了广泛的应用。目前,传统的行人重识别方法大多致力于提取丰富的图像特征。但是,当面对实际场景下常见的遮挡问题时,它们的识别精度都会出现大幅下降。根据遮挡情况的严重程度,本文将遮挡式行人重识别分为局部遮挡和部分遮挡两种。本文基
运动物体的目标检测和跟踪是当下计算机视觉领域中的重要研究课题之一,它在视频监控、自动驾驶、人机交互、防空预警等领域具有广泛的应用。目前,尽管目标跟踪已经取得了很多研究成果,但在一些复杂多变的场景中,由于目标受到部分遮挡、几何变形、快速运动、尺度变换等因素的影响,现有的算法跟踪目标的精度和鲁棒性不佳,因此,目标跟踪仍然是一个非常具有挑战性的任务。近年来,随着深度学习在计算机视觉的火热发展,深度学习在
当前的点云分割方法主要分为基于多视角的方法、基于体素的方法和基于点特征的方法,以Point Net为代表的基于点特征的点云分割方法准确度通常高于多视角和体素方法。因此,本文考虑点云的点特征信息,为点云结构建模。现有的基于点特征的方法大多是通过多个多层感知机将点云映射为高维特征,并使用池化操作捕获特征,其捕获的点云特征学习过程是孤立的,通常未考虑点云间的邻域关系,损失大量的空间几何信息。不仅如此,由
降水现象观测是气象观测的重要内容之一,实现降水的自动观测,可以提供更好的气象服务,而提高降水自动观测的准确性,是其研究的重要内容之一。本研究基于航天科工23所航天新气象科技有限公司的农业气象自动化观测站项目,利用贵州省近百个台站在2017年至2018年的降水数据进行分析,发现目前的降水现象仪还存在某些方面的误差,主要体现在:出现雨夹雪时容易误报为雨和雪,对毛毛雨和冰雹的识别准确率较低,以及面对某些