论文部分内容阅读
人体骨架点检测是指对图像或者视频中的人体进行主要关节点定位的过程,其作用是服务于人体动作的分类或识别。安全监控,人机交互,数字娱乐,体育分析等领域都离不开对人体动作的分析。因此,对人体骨架点检测的深入研究,有着广阔的应用前景。人体骨骼关键点的定位是计算机视觉领域中最具挑战性的任务之一。一方面,人体姿态和观察角度的多样性,关节点遮挡和自遮挡,光照和背景环境的复杂性等因素的存在,提高了关节点定位的复杂度;另一方面,很多应用场景不仅对关节点定位的准确性要求高,还要求具有较好的实时性。传统的视觉算法在如此多的复杂因素下,已经很难满足应用高准确率的需求,而当下火热的深度学习虽然在精度上有着很大的提高,但是大部分情况下他们是离线的,尤其在应用要求三维骨架点定位时,单帧或单幅图片的处理速度很慢,对硬件的需求很高,并且实时性需求很难满足。针对上述问题,本文改进和优化Stacked Hourglass网络,提高了单人骨架点检测的速度与精度。改进和优化了主流目标检测算法,提高了人体检测的精度。结合改进和优化后的目标检测算法与单人骨架点定位算法,实现了基于图像和视频的多人骨架点检测。并且利用双目相机实现了三维的多人骨架点检测。其中,基于视频的多人骨架点检测和三维多人骨架点检测不仅有着较高的精度,又能满足应用实时性的需求。主要工作内容概括如下:(1)运用Stacked Hourglass网络,实现了单人骨架点检测,研究了不同阶数的Hourglass网络在人体骨架点检测上的效果。改进和优化Stacked Hourglass网络,分别在MPII Human Pose Database和AI Challenger人体骨骼关键点数据集上完成了对该网络进行单人骨架点检测准确率的评估。(2)完成了对主流目标检测算法进行人体检测在准确率和速度上的评估。针对人体检测,改进和优化了目标检测算法Faster R-CNN与YOLO,提高了人体检测的召回率和精确度。结合改进和优化后的目标检测方法Faster R-CNN与单人骨架点检测方法Stacked Hourglass(N-4OSH),实现了较高精度的基于图像的多人骨架点检测。整合了优化后的目标检测方法YOLO和单人骨架点检测方法Stacked Hourglass(FN-3OSH),在较高精度的关节定位下,实现了基于视频的多人骨架点实时检测。(3)在基于视频的多人骨架点实时检测基础上,选择双目相机,根据立体视觉原理,利用最小二乘法,实现了三维多人骨架点检测,并且满足实时性的需求。