三维手势识别与手姿态估计研究及实现

来源 :中国舰船研究院 | 被引量 : 0次 | 上传用户:scamponline
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着深度学习技术的迅速发展,基于计算机视觉的手势识别逐渐成为人机交互领域的主流研究方向。完整的手势识别包括手势检测、手势识别和手姿态估计,而手势识别准确率和手姿态估计精度,往往受手势动作本身自由度高、自遮挡严重和受光照背景影响等问题的影响,存在网络训练较为困难、模型复杂度较高、实时性较差等挑战。为了解决上述问题,本文分别对手势识别和手姿态估计两个任务进行了深入研究,有针对性地提出了解决方案,并实现了一种实时手势识别与手姿态估计系统,应用于人机交互实际场景。本文贡献包括如下方面:(1)提出了基于注意力残差网络的静态手势识别模型。该模型在Resnet50网络基础上引入注意力模块,能够有效提高静态手势识别准确率,在ASL和Ego Gestrue数据集上的对比实验验证了其有效性;(2)提出了基于TSM框架的动态手势识别模型。该模型通过使用一种高效的时间移位模块来融合不同时间维度上的手势特征信息,大大降低了动态手势识别模型的复杂度和计算量。该模型在Ego Gestrue和Charlearn Iso GD LAP数据集上仅使用RGB模式就能达到接近RGB-D模式下的识别率;(3)研究了两个手姿态估计模型V2V-Pose Net和Deep Prior++。通过自行采集应用场景下的手势深度图像样本,制作手姿态估计数据集,并在该数据集上对两个模型进行实验,验证了两个模型在实际应用场景下的预测精度;(4)实现了实时手势识别与手姿态估计。该系统使用多线程和多模型结合的方式实现手势数据获取、手势识别以及手姿态估计结果的实时显示,达到了实际应用的水平。本文针对手势识别的两个关键问题,提出了基于深度学习的算法和模型,进行了理论分析,并在手势识别公开数据集,以及实际应用场景采集制作的手势数据集上进行了实验,验证了该方法对手势识别准确率与手姿态估计精度有明显提升,最后将本文研究的算法模型应用于实时手势识别与手姿态估计系统,体现其较高的应用价值。
其他文献
在市场经济条件下,员工是实现企业发展和企业价值的有生力量,与企业的经营稳定性和连续性息息相关。近年来,不少企业开始探索新的人员管理制度和激励措施,尝试解决人员激励问题,内部创业即为诸多创新战略中颇具可行性的一种。本文从微观角度入手,以X公司这一具备代表性的中型非标设备企业为研究案例,以调查研究等方式分析公司人员激励主要状况及主要存在问题,进而提出以内部创业为主的解决方案与保障措施。首先,本文广泛收
学位
香豆素结构广泛存在天然产物中,由于其优异的药物活性和光学性质,在医药领域和光电材料领域已经被广泛的研究。因此,香豆素的简单、高效的合成策略一直广泛受到科学家们的关注。我们开发了一种在可见光催化下,四溴化碳参与的溴自由基对炔键的直接自由基加成反应,是一种从芳基炔酸酯到3-溴香豆素的简单、直接、高效的合成策略。主要研究内容如下:开发了一种在四溴化碳参与的,无光催化剂的直接合成3-溴香豆素衍生物的反应体
学位
研究背景:良性前列腺增生是引起中老年男性排尿障碍最为常见的一种良性疾病,严重影响患者的生活质量,且它的发病率随年龄的增加而增加。目的:通过将经尿道钬激光前列腺剜除术与腹腔镜下前列腺剜除术治疗大体积良性前列腺增生(>80ml)手术风险及疗效、收益做对比研究,从而探究在治疗大体积良性前列腺增生中,何种手术方式更值得被推荐。方法:(1)收集2018年3月至2021年5月期间,在三峡大学第一临床医院泌尿外
学位
氧化铝由于具有优良的物理化学性能,作为载体在油品加氢领域发挥着重要作用。随着环保要求的日益严苛,我国车用柴油质量标准不断提高,强化重质柴油中大分子硫、氮化合物的深度脱除以及多环芳烃等烃类大分子的深度转化,对柴油加氢精制催化剂载体提出了高比表面积和较大孔容的要求,制备适用于重质柴油加工的高比表面积和较大孔容的氧化铝受到越来越多的关注。本论文采用Na Al O2-Al2(SO4)3并流沉淀法制备氧化铝
学位
招商引资即通过对自身地理优势、交通、人文等优势的展示,引入外部资金、优秀人才、先进技术,以期达成人聚财来的效果。40多年的改革开放证明了通过招商引资,我国经济增速迅猛,许多城市得到空前的发展,上海、广州、重庆、深圳、成都等先后跻入国际大都市行列,享誉全球。本文通过对营商环境优化背景下的X区招商引资环境建设为研究对象,利用比较优势、新公共服务、产业集聚等理论工具,用文献资料、比较分析研究方法,研究分
学位
近年来,机器人在石油行业的应用逐渐增多,其具有安全告知、智能巡检和图像识别等功能,同时机器人能够进行全天巡检和实时报警,相较于传统人工巡检,效率更高。本文针对天然气计量检定站场,设计一款智能巡检机器人,主要研究内容如下:首先,进行系统功能需求分析,提出智能巡检机器人系统总体方案。整个系统由机器人本体、无线传输设备和上位机组成,其中机器人本体搭载有摄像头、气体传感器和车载AP等。无线传输系统负责现场
学位
重质油是制备多孔碳材料的理想组分,在本工作中,采用重质油(石油沥青)为原料制备了纤维状多级孔碳(HPCNs)和六边形状多孔碳纳米片(HPC),并探究了他们在超级电容器和锂离子电容器中的电化学性能。本工作的主要研究内容分为以下两个部分。通过模板导向与活化结合实现了分层多孔碳纳米纤维(HPCNs)的构建。由于沥青前驱体中富含S和N的有机化合物,在制备过程中还实现了杂原子(S和N)的原位掺杂。通过控制原
学位
时深标定是将地震数据从时间域转换至深度域或将测井数据从深度域转换至时间域的过程,它地震与测井解释中非常重要的一环。目前人机交互的时深标定技术有以下几点不足:首先,对人的依赖较重;其次,以合成地震记录的方法进行时深标定需依赖声波、密度数据,二者缺失其一的井则无法完成单井时深标定;最后,时深关系的确定是通过插值得到单井整个井段的时深,或者用线性、多项式、幂函数等常规方法拟合全区时深关系完成的,这类方法
学位
实际化工过程一般都是多输入多输出的高维多变量系统,内部存在着复杂的耦合关系,可能存在相对独立的子系统。因此,在进行过程控制系统设计时,应进行合理的控制结构设计,根据耦合强弱划分子系统并以分块或独立回路的方式进行控制,兼顾较高的控制性能和较低的复杂程度。Nyquist阵列设计可以实现多变量系统的对角优势化,从而简化控制系统设计。本文基于逆Nyquist阵列设计法求取包含系统内部耦合信息的常数预补偿阵
学位
消费者享受着网络购物带来的极大便利,也承担着一些特定风险。电商平台海量增长的商品数量和交易数量,使处于监管之外的商品越来越多,商品质量无法及时把控。消费者参与的评论数据在一定程度上能够反映商品质量的相关情况,本文通过对评论等信息进行获取和处理,为监管部门提供产品质量可能存在缺陷的线索信息,协助质量监督管理部门降低对电商平台中有形商品的监管难度。本文将信息抽取问题转化为序列标注任务,通过构建Ro B
学位