基于多分辨率特征融合的人体姿态估计研究

来源 :南昌航空大学 | 被引量 : 0次 | 上传用户:lindashu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人体姿态估计是指在给出的图像数据中准确定位出人体的各个关键点,比如肩部、头部、肘部,将定位出的关键点按人体结构进行连接,形成人体姿态的过程。人体姿态估计是计算机视觉中极具挑战性的任务,在人机交互、智能安防、行为识别等领域都有着重要的应用价值。近些年,随着深度学习方法的引入,深度神经网络结构的不断革新致使人体姿态估计算法在性能上有飞跃式的提升。本文从改进深度神经网络结构的角度出发,分析人体姿态估计任务本身的特点,提出新的网络模型,主要工作包含以下两个方面:(1)人体姿态估计任务的目标是准确定位关键点的位置,对空间灵敏度要求较高,因此网络学习的特征需具备很高的定位精度。同时,由于人体姿态复杂多样、关键点之间区分难度大,网络学习的特征应具备很强的判别性。基于上述考虑,提出多分辨率特征融合网络(MR-FFN)。网络由并行的两个分支构成,上分支维持高分辨率的特征,以保留浅层的空间信息;下分支将高分辨率特征下采样至低分辨率特征,以提取深层的语义信息。为了增强网络学习的高分辨率特征,将下分支中多分辨率的特征信息融入到上支路的高分辨率特征中,加强其语义信息的表达能力。多分辨率的特征融合使网络持有丰富的空间及语义信息,是关键点准确定位的必要条件。为了让网络学习的特征更具判别性,提出多感受野融合模块(MFF)。该模块通过并列堆叠不同大小卷积核的方式产生多种感受野,将得到的不同感受野特征进行融合,充分利用上下文信息增强各分辨率特征的判别性。MR-FFN最终输出具备高定位精度及强判别性的高分辨率特征,用于预测关键点的位置。实验表明MR-FFN在人体姿态估计两个经典数据集上都能达到较高的任务精度。(2)从注意力机制的角度思考人体姿态估计任务,针对特征进一步精炼提出组合注意力模块,并以该模块为核心构建姿态注意力网络(PAN)。PAN由并行的三路分支构成,旨在对特征图中与任务相关性强的特征区域进行特征增强。其中,两路分别为空间注意力模块和通道注意力模块,用于提取注意力权值,并对相应的特征加权强化;剩余一路引入级联的MFF模块增强原有特征,并与注意力权值强化后的特征进行融合,作为网络最终的输出特征。PAN提取融入注意力机制的强判别性特征,可达到特征精炼的效果。实验结果表明,在人体姿态估计两个经典数据集上PAN都能提高MR-FFN的精度,并且具有一定的通用性。
其他文献
弗朗切斯科·保罗·托斯蒂(Francesco·Paola·Tosti)是意大利浪漫主义时期具有盛名的作曲家、歌唱家,其作品旋律充满着丰富的情感,歌词优雅、简洁、和声色彩蕴含着感性,托斯蒂在整个人生中所创作的歌曲多达三百余首,涵盖意大利语、法语、拿波里语、英语等多元化语种的艺术歌曲。他的很多歌曲迄今为止依旧在流行,并且他本人在意大利艺术歌曲的历史上有着无可替代的地位,被称为意大利的艺术歌曲之王。托斯
学位
<正>应用AniRes2003动物肺功能仪研究卵白蛋白(OVA)诱导的哮喘小鼠在不同时间点气道高反应性的动态演变及其雾化吸入布地奈德后的疗效反应。36只雌性BALB/c小鼠随机挑选6只作为阴性对照组(C组),其余30只小鼠在第0天和第5天经腹腔给予Al(OH)3(2 mg/只)+OVA(15μg/只) 混悬液0.5 ml致敏,同时C组给予Al(OH)3(2 mg/只)0.5 ml。所有小鼠于第12
会议
本纪录片的片名与南昌航空大学的一部校园原创话剧同名,纪录片与话剧的内容都是围绕着陆孝彭先生的生平事迹展开的。二者都叫《归来》,讲述的是“强-5之父”、中国工程院院士、南昌航空大学首任校长陆孝彭先生,在青年时期经历日军轰炸,立志航空救国,后辗转英美学习先进的航空工程技术,多年后,毅然放弃国外一切优渥待遇,突破重重阻难回到大陆报效祖国的感人故事。纪录片《归来》主要想通过话剧重温历史事件,把历史的故事讲
学位
<正>随着小学数学课堂教育改革的不断深入,对教师的教学质量要求也在不断提升。素质教育要求培养学生的独立思考能力,增强学生的学科核心素养。数学教师应积极创新课堂教学方法,从学生的兴趣出发设计教学内容,激发学生的求知欲,并鼓励学生质疑、探究,从解决问题的过程中提升数学的学习水平,培养学生的独立思考能力。其中,独立精神指的是人在思考问题时能突破传统思维,不照搬他人模式,根据实际情况来思考问题并制定相应的
期刊
泥土滋养万物、繁衍生息、诞生文明,在中华文明历史的发展进程中占据着举足轻重的地位。泥土从为人类提供最基础的衣食住行开始,逐渐演化为泥塑上升到一门艺术种类。从造型到使用价值,泥塑作为中国古老而又独具特色的民间艺术,承载着人们生活、生产、祭祀等重要的历史与文化传承。专题片《生而为泥塑者仁心》是一部讲述民间手艺人杨会民关于创办、传承杨氏泥塑的作品。杨会民师承于三痴斋泥塑大师宋寿富,凭着对泥塑艺术40多年
学位
想要让学生在小学数学的学习中具有较高的学习能力,就需要从小学低段对其进行数学独立思考能力的培养,因此,在如今的数学教学中,教师不可再按照传统照本宣科的方式进行教学,打造民主和谐的教学氛围才是如今小学教学的导向和目标,从而实现学生在课堂中的主体地位和课堂参与度,引导学生自主分析问题和解决问题,并由此提高学生的数学综合能力。
会议
纪录片作为文化传播的载体,越来越多地出现在人们的视野中,承担着传播社会主流价值观的重要作用。人物纪录片作为纪录片的一种类型,可以使观众超越当下的生活空间,打破时间、地域的桎梏,了解纪录片主人公的生活状态,感受他们的喜怒哀乐,从而达到情感上的共鸣。本毕业设计作品为人物纪录片《吧赫西点店》,将镜头对准一位在中国扎根19年致力于助残事业的德国人吴正荣。本作品阐述报告将以毕业设计作品人物纪录片《吧赫西点店
学位
“以人为本”展开叙事的人物纪录片,作为纪录片创作的重要类型,往往更能引起观众的共鸣。影片《破茧》从两位年轻的杂技演员——邓李想和潘玮翔入手,围绕中国传统技艺“杂技”展开叙事。本毕业设计旨在将男女主人公不同的“梦想”整合呈现,即融入杂技班,完成一场精彩的演出和完成爸爸的遗愿。影片力图传达人物在“破茧”路上永不言弃的精神和对杂技技艺的坚守与传承。在内容安排和叙事结构上,运用“线性”结构、交叉式手法叙事
学位
卷积神经网络很适合处理与数字图像相关的任务。但目前常见的卷积网络框架并不能很好地处理具有多个通道的数据,例如彩色图像。多通道数据在通道之间有着非常紧密的联系。但利用卷积网络处理多通道数据时,常会将其视为多个单通道数据分开学习,这就丧失了通道之间的相关性,从而陷入性能上的瓶颈。而超复数是解决此问题的一个具有潜力的工具,它的特点是包含不止一个虚部单位,所以先天具有对多通道信号的编码能力,这种优势是实数
学位
每个人都有属于自己的记忆。而一个地方,也有着一群人共同拥有的记忆。这种记忆,演化成地域的文化形态,成为一种恒久的文化能量。莱芜地处鲁中,有着丰富多彩且极为珍贵的地域特色文化资源。它是千百年以来形成的文化积淀,是人们彼此认同的有形无形的真实存在,也是当今社会发展的独特推动力。俗话说:“一方水土养一方人,一方文化培育一方精神。”一个地方有一个地方的特质文化,在莱芜,正是具有莱芜特质的文化形成了现在的莱
学位