基于RGBD和三维姿态特征融合的小鼠行为识别和分析

来源 :燕山大学 | 被引量 : 0次 | 上传用户:shihongxin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人们常通过小鼠等啮齿类动物行走、蜷缩和直立等行为学实验,量化研究药物、化妆品和生物制品的毒性、安全性和有效性等问题。目前有关小鼠的行为分析通常采用普通相机提取图像特征实现小鼠行为识别。该方法在小鼠实验中有广泛适用性,但在小鼠三维运动分析任务中,普通双目相机存在参数复杂、效率低、易受光照影响等问题。因此针对实验场景下小鼠行走、蜷缩和直立等行为研究需求,本文基于RGBD深度相机获取的小鼠RGB、Depth特征,提出了一种基于深度神经网络的小鼠行为识别方法。此外,结合姿态追踪模型提取的小鼠背部姿态关键点轨迹以及深度信息映射方式获取小鼠三维姿态信息,研究一种基于随机森林的识别方法。为了进一步提高小鼠行为识别的准确率,本文同时结合了小鼠RGB、Depth和三维姿态特征,提出一种多模态特征融合的行为识别方法。本文的主要工作内容如下:(1)研究基于单模态的小鼠行为识别方法。首先,利用深度相机采集视频数据,制作小鼠静止、行走、蜷缩、有支撑直立和无支撑直立五种行为RGBD图库;然后在此基础上研究两种不同深度学习框架Res Net50和Mobile Net V2,在深度相机获取的小鼠RGB以及Depth单模态信息上的可转移性。结果表明,该两种网络针对小鼠RGB模态对小鼠五种行为识别平均准确率分别为91.2%和88.6%,Depth单模态对应准确率为90.8%和87.6%。由此表明,针对小鼠的RGB和Depth单模态信息卷积神经网络在小鼠行为识别任务中具有较好的可行性。此外通过姿态追踪获取小鼠背部姿态像素坐标,将深度信息映射到像素坐标点获得真实距离值,再根据像素坐标、深度值以及相机内参获得小鼠背部三维姿态信息,利用随机森林实现小鼠行为识别。最后五种行为平均准确率为86.8%,表明三维姿态信息在小鼠行为识别上的可行性。(2)研究基于多模态特征融合的小鼠行为识别方法。首先,在前文基础上根据Res Net50和Mobile Net V2网络小鼠行为识别的结果对比,本文采用Res Net50作为特征提取的主干网络,加入注意力机制模块用于提高网络对重要通道特征提取能力。然后在单模态识别结果的基础上,将小鼠RGB、Depth模态和三维姿态信息三种模态信息的特征进行串联融合,最后使用Softmax输出小鼠静止、行走、蜷缩、有支撑直立和无支撑直立五种行为识别结果。结果表明本方法可将准确度提升至92.4%。(3)开展实验小鼠的运动行为定量分析研究。首先,按照小鼠行为发生的维度,选择在水平和垂直两个方向上对小鼠五种行为进行定量分析,分析计算小鼠在水平维度和垂直维度上各行为评估指标。然后,在水平维度上量化小鼠静止行为的持续时间、次数,行走行为的时间、运动距离、速度变化,蜷缩行为发生的时间、次数。其次,在垂直维度上计算小鼠有支撑直立和无支撑直立发生的次数以及时间。最后进一步地开展了小鼠头部细微动作的分析研究,结合三维姿态模态信息对小鼠在直立过程中的头部仰角和头部旋转扫描角度进行了分析。研究结果表明,本文方法在不干预小鼠行为的非侵入式条件下,对小鼠静止、行走、蜷缩、有支撑直立和无支撑立五种行为具有较高的识别准确率,研究成果将有助于为实验小鼠的行为学研究提供一条可靠的技术路径。
其他文献
中等收入群体扩容有助于缩小收入差距,降低社会不平等,加快实现共同富裕。文章从收入阶层流动的视角探究数字经济发展在共同富裕目标中的作用,从理论上分析数字经济发展对低收入群体收入阶层向上流动的影响,并利用中国家庭追踪调查数据(CFPS)进行实证检验。研究发现:第一,截至2018年,我国仍有68.67%的家庭处于低收入阶层,“金字塔型”收入分配结构明显,低收入阶层向上流动缓慢;第二,数字经济发展促进了低
期刊
创伤性脑损伤(Traumatic Brain Injury,TBI)是一种外力引起的脑外科常见疾病,会造成神经细胞损伤和炎症反应,目前对于TBI尚缺乏特效的治疗策略。经颅超声可以有效消除TBI后产生的脑水肿,黄芩苷-黄芩素复合物能够有效保护神经纤维完整性。本研究旨在探究经颅超声联合黄芩苷-黄芩素复合物对TBI大鼠的神经保护作用及其作用机制,为其应用于临床提供一定的实验依据。本课题的研究工作如下:采
学位
报纸
选取2010—2020年我国省际面板数据,运用超效率SBM模型和熵值法分别测度生态福利绩效和绿色金融发展水平,然后基于Tobit回归模型和空间计量模型实证分析绿色金融对生态福利绩效的影响。研究结果表明,我国生态福利绩效和绿色金融发展水平总体上呈现上升趋势,但区域间存在差距;在传导路径上,绿色金融能够通过技术进步效应和产业结构转型效应两条路径提升生态福利绩效;考虑空间因素后,绿色金融发展能够显著提升
期刊
由于含有酚类化合物的工业废水具有浓度高、毒性大、不易降解等特性,因此如何高效去除水中酚类污染物一直是污水处理技术领域的研究热点。最近,超声波协同吸附分离技术的出现为高效处理含酚工业废水提供了新思路,与传统的吸附技术相比,超声介导吸附技术具有分离效果明显、运行成本低、无二次污染等优点,但是,目前该技术在原子水平上的行为机制以及影响因素尚不清楚,使其在不同的工况下效果差异显著,进而限制了该技术在实际工
学位
汞是一种剧毒重金属,以Hg(Ⅱ)的形式广泛存在于制药、染料、有色金属冶炼等工业废水中。当含有Hg(Ⅱ)的工业废水排到自然环境中,会对水体、土壤等造成污染,进入人类食物链后,更会对人类健康造成严重威胁。石墨烯材料是近年来出现的一种二维碳基纳米材料,因其独特的微观结构及物化性质,在环境、航天、医学等领域具有广泛的应用前景。其中,石墨烯作为吸附剂,具有比表面积大、吸附点位多等特点,尤其适合吸附去除污水中
学位
目的:探究分析小切口无张力疝修补手术治疗腹股沟疝患者的效果观察。方法:选取我院2019年12月—2021年12月收治的腹股沟疝患者62例作为研究对象,随机数字表法分为两组,对照组常规开放性无张力手术修补治疗,研究组实施小切口无张力疝修补手术,观察两组患者临床疗效、住院时间、手术时间、下床活动时间、疼痛评分、并发症情况。结果:研究组临床总有效率为96.77%(30/31),高于对照组的80.65%(
期刊
柔性蒙皮中的自适应可变形结构作为满足变体飞机变后缘机翼变形以及气动要求的核心部件,其变形效能直接影响到变体飞机的结构安全性能评估及安全阈值的确定,使用镍钛合金粉末经增材制造制备的U形蒙皮支撑结构兼具面内变形能力强及面外刚度大的优点,在柔性机翼自适应变后缘蒙皮结构中具有非常好的应用前景。本文针对选择性激光融化(SLM)技术制备的U形蒙皮支撑结构开展了微孔缺陷数值模拟研究并评估该结构在柔性蒙皮中使用时
学位
海生软骨鱼的行为学实验对于认知神经研究、水域监测等领域具有重要意义。但在行为学研究中实验人员往往采用直接观测、手动计数或者搭载传感器侵入性方式获取鱼体游速、行程、滞留时间等指标,以计算机视觉技术和模式识别理论为基础的视频分析方法可将动物伤害和行为干预降到最低。本文以条纹斑竹鲨为对象,面向鱼体智能养殖和行为学实验研究需求,提出一种基于Shark-Keypoints的条纹斑竹鲨运动行为视频分析方法,并
学位
采用电阻率法检测混凝土的早期受冻损伤,研究了环境温度,水灰比、外加剂、矿物掺合料对立即受冻和预养后受冻混凝土电阻率及抗压强度的影响。结果表明,混凝土受冻时电阻率随龄期的变化符合四参数Logistic函数方程,根据电阻率斜率的发展可将混凝土的早期受冻分为三个阶段-温降及冰晶形成阶段、冰晶快速生长阶段以及结冰稳定阶段。受冻过程中电阻率的最大值与负温混凝土转入正温养护后的强度发展以及强度损失均满足幂函数
会议