论文部分内容阅读
随着自动扶梯在公共场合的广泛应用,自动扶梯上的安全事故也出现得越来越频繁。绝大部分的安全事故都是由乘客搭乘扶梯时的行为不规范导致的。监控自动扶梯的运行状态以及乘客的搭乘状态是避免安全事故发生的主要手段。然而人工看护的成本高、效率低,导致无法大规模应用。近年来,随着人工智能和嵌入式技术的飞速发展,将智能视频监控系统应用于自动扶梯安全管理逐渐成为可能。然而自动扶梯的场景复杂、情况多变,需要精准高效的软件算法和稳定的系统硬件平台配合,确保各项功能平稳运行,并且及时发送警报信息。现有智能视频监控系统的软件性能和硬件性能有待提升,不适合直接应用于自动扶梯场景。本文通过深入研究和分析现有智能视频监控系统中的关键技术,提出了一系列的改进算法。本文主要的研究工作如下:（1）针对现有用于目标检测的Adaboost算法训练时间开销大的问题,本文提出了基于快速训练Adaboost算法的目标检测算法。该算法提出了一种基于自适应权值裁剪的Adaboost算法（Adaptable Weight Trimming Adaboost,AWTAdaboost）,其根据Adaboost算法训练过程中的样本权值分布特点,设计了自适应权值裁剪规则用于筛选出对分类器生成具有重要影响的样本,优化了参与训练的样本数量,并且设计了算法重启规则避免训练迭代提前停止。为了更好地进行自动扶梯场景下的行人检测,本文构建了自动扶梯上的行人检测数据集（Pedestrians on Escalators,POE2018）。实验结果表明该算法在实现了大幅度加速训练过程的同时,具有优秀的准确性。（2）针对现有目标跟踪算法在复杂情况下出现性能退化、实时性有待提高等问题,本文提出了一种基于多分支注意力孪生网络的多目标跟踪算法（Multi-Stream Attention Siamese Network for Multi-Targets,MT-MSASiam）。该算法首先构造了超分辨率模块用于提升孪生网络目标模板的分辨率和数据增强模块用于增加目标模板的特征多样性,然后利用孪生网络提取原始目标模板、超分辨率目标模板和数据增强目标模板的特征并进行融合,并且在孪生网络的主干网络中构建了联合注意力模块用于加强特征提取能力,接着利用区域生成网络得到跟踪目标在后续视频中的尺度和位置信息,最后提出了基于置信度规则的多目标匹配策略解决视频序列中的多目标匹配问题。实验结果表明该算法在多种复杂跟踪场景下仍然能精准高效地完成多目标跟踪任务,并且具有较强的鲁棒性。（3）针对现有图卷积行为识别算法中固定的邻接矩阵泛化能力不强、注意力模块效率低下等问题,本文提出了基于双流自适应时空注意力图卷积网络的行为识别算法（Two-Stream Adaptive Spatial-Temporal Attention Graph Convolution Network,2SASTAGCN）。该算法首先在图卷积网络中设计了能够自适应优化图拓扑连接关系的自适应拓扑图,并利用自适应连接参数平衡自适应拓扑图和原始拓扑图的权重,接着基于数据特点设计了新型时空注意力模块,最后基于骨架图数据的关节信息生成了骨骼信息,并设计了双流框架整合了关节信息流和骨骼信息流,得到最终识别结果。实验结果表明该算法在复杂场景下能精确高效地识别行人异常行为,并且具有较好的实时性。（4）为了解决自动扶梯场景下乘客异常行为图数据缺乏的问题,针对现有图像数据增强算法无法应用于非欧几里得结构图数据的局限性,本文提出了基于自适应图卷积的图数据增强算法（Graph Data Augmentation Based on Adaptive Graph Convolution,AGCN-GDA）。该算法首先利用自适应图卷积网络对图数据进行识别分类,然后根据其自适应邻接矩阵构建图数据增强矩阵,最后利用图数据增强矩阵对待增强的图数据进行扩增。为了更好地实现自动扶梯场景下的乘客异常行为识别,本文收集了大量自动扶梯场景下的乘客异常行为视频,建立了乘客行为骨架图数据集（Skeleton Graph of Human Action on Escalator Dataset,SAE2020）,并且利用AGCN-GDA进行增强,得到增强后的数据集（Skeleton Graph of Human Action on Escalator Dataset with Augmentation,SAE2020-A）。实验结果表明该算法能有效地对图数据进行扩增,本文构建的数据集切实有效,能在数据缺乏时帮助行为识别算法提升性能。（5）针对现有图卷积行为识别算法中时空信息关联性较弱、对多模态数据流识别结果的利用效率低等问题,本文提出了基于多流自适应时空注意力三维图卷积网络的行为识别算法（Multi-Stream Adaptive Spatial-Temporal Attention Graph Convolution Network-3D,MS-ASTAGCN-3D）。该算法首先在图卷积网络中设计了最优化高阶邻接矩阵来自适应优化高阶邻接矩阵中不同阶次的权重,接着利用最优化高阶邻接矩阵对图卷积进行多尺度拓展,并且设计了多尺度注意力模块以聚合局部注意力信息和全局注意力信息,最后基于骨架图数据的关节信息和骨骼信息生成对应的高阶信息,并设计了新型多流融合框架整合多模态数据流,得到最终识别结果。实验结果表明该算法在复杂场景下的行人异常行为识别性能得到了进一步提升。（6）针对现有智能视频监控系统的局限性,本文对提出的各种算法进行整合和移植,基于NVIDIA Jetson Xavier平台设计并开发了自动扶梯智能视频监控系统。该系统实现了自动扶梯上的乘客检测、乘客跟踪和乘客异常行为识别功能。实际场景中的性能测试结果表明该系统在复杂的自动扶梯场景下仍然能保持优秀的综合性能,满足合作企业的要求,具有重要的工程应用价值。