【摘 要】
：
近年来,基于视频的人类行为识别受到计算机视觉领域研究者广泛关注。行为识别主要分为群体行为识别和个体行为识别。群体行为,即多个可数的人在一定的环境下执行的能够持续一段时间的交互性运动,它的识别在智能监控、体育运动分析以及视频字幕生成等方面有很高的应用价值。而个体行为,即单个人执行的持续一段时间的简单的运动,它的识别在安防、智能家庭监护以及视频内容检索等领域也有很多需求。目前,基于深度学习的行为识别方
论文部分内容阅读
近年来,基于视频的人类行为识别受到计算机视觉领域研究者广泛关注。行为识别主要分为群体行为识别和个体行为识别。群体行为,即多个可数的人在一定的环境下执行的能够持续一段时间的交互性运动,它的识别在智能监控、体育运动分析以及视频字幕生成等方面有很高的应用价值。而个体行为,即单个人执行的持续一段时间的简单的运动,它的识别在安防、智能家庭监护以及视频内容检索等领域也有很多需求。目前,基于深度学习的行为识别方法已经成为群体与个体行为识别方法的主流,本文通过分别分析国内外群体与个体行为识别研究现状,针对参与者关系图网络和时间金字塔网络做了研究,通过改进后的网络来完成行为识别任务。论文主要工作如下:（1）基于参与者关系图网络的研究与改进参与者关系图网络以卷积网络提取视频原始特征,通过参与者之间外观关系与位置关系构建参与者关系图,再通过图卷积网络输出关系特征并与原始特征聚合,最终输入到行为分类器中。本文在现有参与者关系图网络的基础上,针对原网络外观相似度方法不够稳定的问题,提出采用绝对误差和作为外观关系。同时,针对模型训练收敛比较慢的特点,引入深度相互学习网络来辅助模型训练,最终在CAD集体活动数据集的扩展数据集上取得了群体行为识别准确率的提高。（2）基于时间金字塔网络的模型研究与改进本文在现有时间金字塔网络的基础上,提出基于双通道帧率网络的时间金字塔网络。双通道帧率网络采用以Res Net-50为基础的三维卷积网络,通过两种不同采样频率来进行两个通道特征信息捕捉,以此改善输入层方面特征的提取。同时时间金字塔网络再以双通道帧率网络为骨干网络,在特征层方面加强特征的融合,促进整个网络在个体行为识别上的提升。经过Something-Something V2数据集的验证,本文提出的最后优化过的模型可以表现出比原金字塔网络更好的识别效果,优于同类型其他网络。最后本文在上述研究的基础上,设计并实现了行为识别分析系统,实现了群体行为识别与个体行为识别两个功能。
其他文献
在日常生活中保持社交距离有助于保护人们的生命财产安全不受侵害,尤其是在疫情时期,保持一定的社交距离是防止病毒传播的有效途径,然而个体并不习惯自己与其他人之间保持2米以上的距离。因此,能够探测行人间距并向他们发出警告的社交距离检测系统可以有效减缓致命疾病的传播。当前,国内外研究人员分别在行人检测、跟踪与距离估计等领域有深入研究,但针对以上领域的融合研究仍相对较少。本文提出了一个包括行人检测、行人追踪
据世界卫生组织（WHO）统计,每年全球大约有180万人直接或间接死于胃肠道类疾病,然而目前存在专业内镜分析医生较少,患者产生的内镜数据较多导致的医患矛盾问题。故考虑使用人工智能“AI”辅助消化道疾病识别,而基于人工智能的消化道辅助诊断技术面临数据量大,分类网络模型众多,数据隐私安全得不到保障导致的网络模型选择困难。因此,本文针对前述关键问题做出相关研究。本文针对深度学习在医学图像领域面临的:数据隐
被动锁模技术是目前获得超短脉冲输出的重要手段。基于被动锁模技术的超短脉冲激光器,其输出脉冲具有持续时间极短,与物质相互作用过程超快的特性,是各学科研究微观超快现象的理想工具,并且在生物医学、工业加工以及军事国防等领域发挥着不可替代的作用。超短脉冲掺镱光纤激光器不仅具有上述特点,而且汲取了三价镱离子和光纤的优点,成为了一种输出脉冲持续时间短、输出功率高、结构紧凑、散热优良、使用成本低的特殊激光器,拥
许多预防和治疗癌症的药物都以DNA为靶分子,研究抗癌药物与DNA分子之间的相互作用位点及作用过程,对阐述药物抗癌活性和毒性机理,寻找低毒性、高效率的抗癌药物,指导合理用药以及预防药物污染具有重要意义。阿霉素（Doxorubicin,DOX）是一种以DNA为靶分子的广谱蒽醌类抗癌药物,对乳腺癌、肺癌、多发性骨髓瘤等多种癌症的治疗效果显著。然而,由于DOX具有心脏毒性、胃肠道毒性、皮肤毒性等副作用,使
深度神经网络等人工智能技术应用到了社会生活的各个领域,并取得了重大的进展,如语义分析、军事应用、图像识别、动作捕捉和语音识别等。然而训练深度神经网络模型需要花费大量时间,有些复杂深度神经网络模型在单个计算设备独立训练需要几天的时间,还有些神经网络模型在单个计算设备训练时会出现内存不够的情况。为了减少深度神经网络的训练时间,本文将重点关注深度神经网络训练加速技术的研究与实现,包括基于混合精度训练的并
近年来,能源短缺和环境污染的问题日益突出,如何高效的利用能源减小污染成为了热点话题。太阳能界面光热转换是一种清洁的太阳能利用技术,在海水除盐、废水净化等领域展现出极大的应用前景。本文通过界面不对称润湿性（Janus）结构的构建实现持续高效的界面光热转化。论文主要以二维（2D）Janus平面膜和三维（3D）Janus结构器件入手,研究内容和结果如下:（1）二维SiO2/MXene/HPTFE Jan
随着互联网时代的发展,人们获取信息的媒体载体发生了变化,人们更加习惯从视频中获取需要的信息,通过分享视频来分享生活、传递情感。以Deepfake为首的深度伪造视频技术在深度学习技术的发展中孕育而出。通过这些技术,使用者可以随意对目标视频中的人脸进行篡改替换。深度伪造视频具有欺骗性强、成本低的特点,很容易在主流视频网站上被大肆传播。这些虚假视频的传播不仅会侵犯个人的隐私,同时还会给社会乃至国家的稳定
超材料（metamaterials）是一类由亚波长的几何形状阵列所构成的人工复合材料。其几何结构的可设计性使得超材料容易实现对电磁波振幅、相位、偏振等属性的控制。因此,在不违背基本物理规律的前提下超材料可以实现各种各样的特异性光学效应,例如:负折射效应、完美吸收、模式耦合等。非线性光学是一门研究强光与物质相互作用的学科。当强光与介质相互作用时,介质的极化强度不再正比于光的电场强度,而是正比于光的电
随着移动设备兴起和人工智能的发展,基于传感器的人类活动识别已经有了较大发展,在医疗健康、智能家居以及交通运输等领域已经有了广泛应用。目前基于传感器的活动识别,现有工作没有很好地解决模型普适性差的问题,原本训练好的模型很难应对不同用户、不同佩戴方式以及不同设备的变化。另外现有活动识别方法主要针对闭集识别,传感器的开放式活动识别仅有少量研究,对于新加入的活动会将其误分类为已知活动。因此本文主要研究基于
高重复频率激光器在光通信、精细加工、测量传感等领域具有广阔的应用前景。如在激光通信、时间分辨双光梳光谱、超快异步光学采样、高精度时频计量和非线性生物采样等众多方面表现出不可替代的应用价值。但是重复频率固定的激光器会存在使用频率不可变从而造成资源冗余以及频率切换复杂等弊端而限制了其应用范围。如何获得激光重复频率可变的高重频脉冲序列成为至关紧要的问题。由于光纤激光器光束质量好、结构简单、价格低廉因此被