随着深度学习技术的不断发展,越来越多的研究者投身于神经网络算法的开发中,使得众多的AI智能产品相继落地。视频安防监控场景的智能技术也在蓬勃发展,家居智能安防摄像头的落地使子女能够在外地实时监控老人的一举一动,当危险情况发生时能够及时地提醒和救助,能够一定程度上保证老人的安全健康。因此本文针对智能家居摄像头在老人安全健康方面的应用,利用深度学习目标检测、目标分类等技术对老人跌倒情形进行算法研究。基于家居摄像头硬件平台设计了一种结合人体跌倒检测、人体行为分类和人体骨架关键点对老人跌倒情况进行检测的算法,实时检测老人跌倒情况的发生以及在保护老人隐私的情况对老人跌倒情况发生时的场景图片进行上传保存。本文设计算法进行的主要工作如下:1.跌倒检测数据与人体检测数据预处理,本文在数据的收集方面调研了互联网上公开行人跌倒与行人检测公共数据集,通过对所需数据集的标签提取和清洗操作,然后对数据集进行分析,发现数据集的图片质量与图片的尺寸分布极度不均衡,因此采用了图像归一化、减均值与图像提升的方法对数据集进行初步处理。由于本实验基于家居摄像头跌倒检测场景,场景数据集中图片的背景与数据集的目标特征数量会对跌倒检测网络模型产生很大的影响,因此本文采用了马赛克、泊松融合、红外数据、高斯模糊、图片加雨、图片不同角度旋转等数据增广方法对数据集进行增广,增加数据集的样本,提升了模型的训练检出精度与模型的鲁棒性,同时通过设计模型对数据集中的目标进行提取,送入目标分类网络中进行人体分类操作,提升了目标分类网络对跌倒行为的检出准确率。2.通过对Yolov5s目标检测网络修改,构建出行人目标检测网络Yolov5s-C与跌倒检测网络Yolov5-f。原始Yolov5s目标检测网络能够有效对数据集中的人体显著特征提取学习进行人体目标检测,但是对于本文所基于的家居摄像头拍摄的视频场景数据具有:光照强度、物品遮挡和人体运动导致的图像模糊、人体距离摄像头远导致的人体在视频中的成像小等因素,原始Yolov5s网络对人体特征的提取能力下降,不能对图像中的人体进行有效检出。因此本文在Yolov5s网络中加入P2特征检出层、插入CBAM注意力提取机制与精确边框回归EIOU Loss设计出Yolov5s-C人体检测模型,并通过模型迁移与微调等方法得到最终的跌倒目标检测模型Yolov5-f网络。本文设计的老人跌倒目标检测模型具有网络模型小、运行速度快、模型检出率高等优点,能够满足家居摄像头开发板的需求。Yolov5s-C人体检测模型能够克服家居环境的干扰,快速定位出摄像头视频中的人体位置,为下一步人体行为分类模型提供人体特征数据,降低老人跌倒检测流程的工作量。3.通过调研深度学习在老人跌倒检测场景的应用,结合目标检测、目标分类、骨架关键点检测等算法,构建出PSSTG老人跌倒检测网络。利用Yolov5s-C模型与卡尔曼滤波对场景中的人物进行目标检测与定位,然后将所得的人体数据送入人体分类模型Res Net50-f中进行人体动作分类。最后设计STG网络对视频中的人体骨架关键点进行检测,对老人的人体关键点信息进行覆盖,降低老人隐私信息泄露的风险。本文设计的级联网络架构采用了大量的Conv 1*1加Conv 3*3加Conv 1*1的Bottleneck结构,大大降低了模型的计算量,组成具有模型体型小、网络运行速度快等优点的人体排序时空图卷积网络架构,能够对家居场景中发生的跌倒行为快速检出。最后本文通过two-stage方法结合老人跌倒目标检测模型Yolov5-f与PSSTG人体排序时空图卷积网络,运行在搭载安霸芯片的家居智能摄像头的开发板中,通过对两个流程的检出框的IOU与中心点运动变化的判定,检测出老人跌倒行为的发生。其最终的准确度达到了97.5%,并且其检测时间为49ms,符合落地产品对精度的需求。通过与当下热门的网络架构进行比较,验证了本文所设计老人跌倒检测系统具有可落地、精度高与鲁棒性强的优点。