基于时空采样的卷积长短时记忆网络模型及其动作识别的应用

来源 :中南民族大学 | 被引量 : 0次 | 上传用户:shulin370
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人工智能掀起信息革命的热潮,人体动作识别也成为了人工智能和计算机视觉领域的研究热点。近年来,基于机器学习的方法作用于人体动作识别取得卓越的成效,其中以计算机模拟生物体视觉神经系统视觉感知机制的仿生机器学习法最为有效。然而,视频中的人体动作是由一些连续而非单独的帧序列表示的,人体行为属性在空间和时间上呈现不可分割性,同时空间属性和时间属性又是有区别的,但现有的动作识别方法主要采用时、空信息分离处理或仅提取单独域信息的方法处理来实现人体动作识别,从而导致识别性能仍然不太理想。为此,本文在研究经典卷积神经网络的基础上,建立时空采样相关的卷积长短时记忆深度学习神经网络模型,实现人体行为识别。
  首先,基于空间卷积神经网络(CNN)和序列学习的 LSTM模型,建立了既有空间深度,又有时间深度的―双重‖深度学习的时空相关卷积长短时记忆神经网络模型结构(ConvLSTM)。该网络结构既充分发挥了空间卷积神经网络模拟视觉系统感受野的属性,能较好的感知视频中人体动作的结构特征,感知并提取图像中的空间局部相关性信息,又能发挥 LSTM模型在长时序列处理的问题上的联想和记忆功能,提取视频的时空特征,获取在时间上流动的动作的结构特征。该网络模型是一个二维的时空结构,提取序列空间维度和时间维度的特征,捕获了在多个相邻帧中编码的运动信息。
  其次,依据ConvLSTM模型搭建其网络架构,提出在架构上三种不同的时间采样方式,提高ConvLSTM神经网络实现动作识别的效率。结合所建立的ConvLSTM模型,在原有空间采样的基础上,提出了在时间上采用状态微分、三维池化、帧间采样等三种时间采样形式的网络模型,提高了系统的效率。
  最后,将搭建的网络框架在KTH和UCF101两个数据库上进行实验,在KTH简单背景和UCF复杂背景下验证该模型的有效性。实验结果表明,本文提出的双重―深度‖学习的时空相关卷积LSTM神经网络模型表现出优良的实验性能,高效地识别视频中的人体行为。
其他文献
阿片类药物一直是临床镇痛的主力军,但使用过程中常常发生与镇痛作用完全相悖的痛觉过敏现象(OIH)。临床用药中已有作用于蓝斑核(LC)的药物可用于预防OIH的形成,但是LC在OIH的形成和调节中的作用机制尚不明确,所以本文旨在揭示LC在OIH中的调控作用。  目的:本文的主要研究目的是,通过对OIH大鼠的 LC进行神经网络解析和对LC—去甲肾上腺素(NE)系统在OIH大鼠中的变化进行探究,来进行LC
学位
功能磁共振成像(fMRI)是一种通过检测神经活动的血氧水平依赖变化的磁共振成像(MRI)技术,可以对感官刺激或认知活动导致大脑活动的区域高质量显示。fMRI技术具有时间分辨率高和非侵入性等优势,目前已在健康个体、病人及动物的大脑的功能研究中得到了广泛应用。脑功能磁共振成像技术的关键是对 fMRI数据的处理与分析。我们对 fMRI数据的处理方法包括预处理和激活区提取算法两大核心部分进行了深入的研究,
随着人们生活水平的提高,各种肝脏疾病的发病率和死亡率也在逐年上升,对人类的健康造成严重的威胁。在临床上,肝脏疾病的诊断主要是由经验丰富的医生对肝病患者的计算机断层扫描(Computed Tomography,CT)图像进行手动分割,获取肝脏的准确解剖信息,从而对肝功能进行有效评价。然而,普通肝病患者的三维肝脏图像大约有几百层二维切片,仅依靠医生手动分割将是一项繁琐、费时且不可重现的工作。利用计算辅
学位
随着经济生活的迅猛发展,心血管疾病已成为人类健康的严重威胁,借助于医学影像技术的辅助,医生能够准确快速地进行临床诊断以及病情跟踪。在传统的心脏疾病诊断中,需要有丰富经验的医生手动分割出心脏影像中的各个组织结构,以便对心脏功能进行评价。因此,研究心脏影像的分割具有深远的意义。对于心脏分割而言,图像特征表达的有效性直接影响到分割的精度。而怎样处理医学影像数据以得到优良的特征表达是重要初始步骤。  近年
随着医学成像技术的不断发展,医学图像所能包含的病人病理信息越来越丰富。然而不同的成像设备所获得的图像有着其各自的特点,医生在临床诊断的过程中往往需要结合不同时间多种模态图像所提供的信息以做出更精确的诊断。医学图像配准作为医学图像处理领域的重要组成部分,可以将不同时间或者来自不同设备的医学图像所提供的病理信息融合到一起,使得医生对病人的身体情况有更加全面的认识。医学图像配准算法,按照对图像信息处理方
神经系统是生物体中最为复杂精密的系统,它肩负着生物体内各种信息的传递工作。神经系统疾病日益成为影响人类身体健康和生活质量的重要因素。神经系统的功能主要依赖于神经细胞彼此间在时间维度上的信息交换,这种信息交换通过Ca2+离子触发的,由突触前膜向突触后膜的神经递质释放而实现。上述的信息交换过程则需要以神经细胞空间维度上的正常生长发育和形态维持前提。神经细胞在时间和空间维度上的功能相互联系也互为保障,共
大脑是人体的重要器官,由其神经元细胞活动产生的脑电,在神经系统疾病诊断、情绪状态分析、心理活动研究、脑-机接口应用等方面,扮演着重要角色。目前,常借助于现代化软件工具—脑电信号处理及分析软件,获取脑电信号并对其进行有效地处理及分析。而在国内,脑电信号处理及分析软件的使用,被国外费用昂贵的软件所占据,所以需要自主开发一款具有核心竞争力、功能良好的国产脑电信号处理及分析软件。  本文结合生物医学工程、
对视频序列的分析是计算机视觉领域的重点研究方向之一,视频人体行为识别是其中富有挑战性的研究任务。近年来,随着深度学习的热潮席卷计算机视觉各个领域,人体动作识别的研究也涌现出新的解决方案。目前广泛使用的人体动作识别模型采用独立提取或等同提取的方式得到视频中的时空特征,忽视了人体动作是空间结构特征在时间上流动展现的特点,从而导致模型的识别性能不甚理想。针对这个问题,本文在研究经典卷积神经网络(CNN)
学位
阿片类药物有很强的镇痛作用,常用于治疗急、慢性疼痛及癌症痛,但其有一个副作用即痛觉过敏(opioid induced hyperalgesia,OIH)。OIH限制了阿片类药物的应用,而其机制尚不清楚。本文在前期研究的基础上,对中央杏仁核外侧包膜区(laterocapsular division of central nucleus of amygdala, CeLC)在代谢型谷氨酸受体1(met
近年来,肝脏疾病对人类健康和生命造成了极大的危害。我国作为肝病高发区国家,情况尤为严峻。计算机断层扫描作为重要的成像设备常用于肝脏疾病诊断与手术规划中,如活体肝脏移植手术与肝脏肿瘤切除手术。从CT医学图像中将肝脏进行分割是计算机辅助手术规划中一个至关重要的步骤。传统肝脏分割主要依靠专家对每个切片进行划分,这无疑是一项耗时且枯燥的工作,而肝脏与邻近器官的低对比度和复杂的结构使得自动化肝脏分割任务仍然