基于TOF设备的三维手势姿态估计方法

来源 :浙江理工大学 | 被引量 : 0次 | 上传用户:doudou2008
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着智能驾驶、虚拟现实、机器人领域的发展,人们通过手在空中发出命令,实现更加自由的人机交互方式。传达高自由度的手势指令,要求计算机能够读懂通过设备扫描获得的三维手势数据,因此三维手势姿态估计引起人们的广泛关注。然而手势存在自遮挡性、高自由度以及易被环境影响的特点,导致设备采集的手势数据存在环境噪音、特征缺失问题,对手势姿态估计的准确性造成负面影响。针对上述三维手势姿态估计中存在的问题,研究选择基于单光子雪崩二极管(SPAD)的直接飞行时间(D-TOF)设备,作为采集手势点云的工具,并完成了以下工作:复杂的环境噪音会导致算法无法正确识别手势,为完成精准的三维手势姿态估计,需要将手势从繁杂的噪音中分割出来,因此研究设计了一种针对复杂环境的手势分割方法。研究采用MSRA15手势数据集作为基础数据集,并对数据集进行增加噪音处理,制作三个受复杂环境影响的手势数据集。手势分割需要考虑外部环境噪音与设备噪音,因此,先通过高斯滤波去除部分环境噪音和环绕在手势附近的设备噪音,完成初步去噪。之后,利用改进的空间FCM算法对初步去噪后的数据进行聚类,聚类完成后,再去除环境噪音,获得去噪后的手势数据。针对分割后的手势残留少量噪音、局部特征缺失问题,研究提出从三维与二维两个维度提取特征信息。三维特征获取是将复杂环境中分割出来的手势点云直接放入网络,使用Point Net模块对点云分层次提取点云特征,同时为适应稀疏点云情况,缩减每一层级所需的点云数量。二维特征提取结合Inception网络多尺度卷积核提取特征思想,将手势点云的正面二维投影输入多卷积核的卷积神经网络(CNN),获得多尺度二维特征。融合三维与二维特征,增加手势回归时的特征信息,通过回归网络输出手关节坐标。最后,通过对比实验的效果展示,从手势分割效果与手势姿态回归效果证明研究方法的可行性与有效性。不同维度特征输入带来丰富的特征信息,提升了网络的精准性与鲁棒性。在验证实验中,通过D-TOF设备采集真实情况下受环境影响的手势点云数据进行手势姿态回归,结果表明研究方法能够回归效果良好的手势姿态。对比实验与验证实验都展现出良好的效果,研究为人机交互、机器人等领域复杂环境下的手势姿态估计提供了一种方法。
其他文献
癌症,也称为恶性肿瘤,具有高发性和难治愈性等特点,严重威胁着人类生命健康。化疗作为癌症传统治疗手段之一,在癌症治疗中起到了很大的作用,但仍具有选择性低、耐药性差和毒副作用大等局限性,会对人体正常的组织和器官造成损伤。目前由于单一的治疗手段无法彻底治愈癌症,因此急需寻找一种新型的联合治疗手段以期实现癌症的彻底治疗。光热治疗和光动力治疗在增加癌症治疗效果和减少副作用上具有巨大的优势,引起了广泛的研究关
学位
移动机器人可以帮助人类完成各式各样的任务而无惧于环境的艰险,并且正在快速渗透进国计民生的各个领域。路径规划是移动机器人完成各项任务的基本需求,也是移动机器人领域的重要研究课题之一。在动态变化的环境中进行实时碰撞规避仍然是移动机器人路径规划中的一个巨大挑战。在复杂拥挤的环境中,传统的路径规划算法往往需要更高的计算成本,这就导致实时效率的降低,从而影响运动性能。为了提高计算效率,研究人员引入了深度强化
学位
服装作为人体的第二层皮肤,其合体性及舒适性逐渐成为除服装时尚度之外的重要评价指标。对于女性而言,胸部尺寸是服装设计尤其文胸设计最重要的数据支撑,直接影响合体性和穿着舒适性。目前,对于女性服装尤其是文胸而言,其不合体的主要原因有胸部边界定义模糊、胸部形态细分体系不完善以及文胸号型档差较大。为使个性化合体设计能够得到更加广泛的应用,需要对消费者胸部形态进行细分研究。我国标准中采用罩杯大小将胸部分为不同
学位
“像素艺术风格”源于数字艺术,是一种具有独特“远实近细”与鲜明“锯齿状”视觉效果的现代艺术风格,是一种像素点在网格体系中经过拟定规律进行排列组合和布局后,高度概括图案产生的装饰性较强的视觉表现风格。现有像素艺术风格图案是由像素点堆叠构成的,仅注重图案整体视觉与色彩表达,而忽略了像素点的个体特征;在工艺表达中一般使用数码印花、手工刺绣与羊毛毡工艺,很少涉及提花工艺。本论文是基于像素艺术风格审美特征,
学位
在网格表面鲁棒且灵活地设计曲线在计算机图形学与计算机辅助设计领域中有着较为广泛的应用,如网格分割、孔洞切割、特征识别、艺术设计、制造业中切割路径生成、虚拟现实、曲面计算几何等。现有大多数方法主要运用两种策略来解决该问题:一种首先将曲线离散化为折线,通过松弛部分约束并运用优化方法使之逐步满足所有约束。该类方法往往需要对曲线进行足够稠密的采样达到视觉光顺的效果,可能导致计算量大大增加。另一种方法则通过
学位
随着数字媒体技术的发展与各类视频创作平台的涌现,网络上的同源视频数量急剧增加。大量的同源视频不仅不利于用户高效地检索视频信息,也给网络平台的管理增加了负担。因此准确且高效地检测出海量视频中的同源视频是当下的研究重点。当前的同源视频检测方案主要存在三点问题:第一,仅依据视频帧间时序特征来判定视频同源性,未充分考虑视频的空间特征;第二,仅判断视频的同源性,未能实现对同源片段的定位;第三,在检测准确率和
学位
作为城市发展的物质基础,邻避型(Not In My Backyard,NIMBY)基础设施项目的选址、建设既关乎城市功能的改善,又关乎民生福祉。然而,因其潜在利益(收益)由全社会共享,但成本(经济损失、健康/环境风险等)却由当地社区承担,该类项目的选址通常会受到周边居民强烈的抵触。在学界,有关邻避型基础设施项目社会接受的相关研究依然存在不足,难以指导中国相关行业实践。在过去20余年里,作为研究新范
学位
背景:神经胶质瘤是最常见的恶性原发性脑肿瘤,传统疗法包括手术、化学疗法和放射疗法,临床预后效果十分有限,而血脑屏障的存在使靶向药物的研究进展推进缓慢。对胶质瘤进行分子标志物的分型是评价肿瘤恶性程度以及设计治疗方案的重要方法。CD146是一种粘附分子,在包括脑胶质在内的多种肿瘤中发现高表达,且与肿瘤的侵袭和浸润性相关。目前靶向CD146的药物治疗已经在多种肿瘤中获得良好的效果,如何能够高效穿透血脑屏
学位
随着各类医学影像设备的升级与影像处理技术的发展,医学影像辅助诊断已成为临床诊断的重要依据。然而在临床检查中产生了超大量的医学影像数据,传统的管理方案已经无法满足需求,亟需采用计算机信息化技术对影像数据进行集中、统一的管理,确保数据的安全性、可共享性,同时为满足医学影像诊断医生的临床需求,提升诊疗水平与诊断准确率,需要为诊断人员提供可视化的影像处理、标注、测量与重建等辅助诊断功能。为此,本课题结合医
学位
中华民族养蚕缫丝、纺纱织布,留下无数瑰丽珍品。针织工业历史悠久,针织书籍担任科普信息、传播知识之重任。针织翻译及其研究有利于增进人们对针织发展历程的理解,有利于国内外针织技术的交流和发展。该翻译实践报告以《针织技术》(第1-4章)英语原文和汉语译文为研究对象。原文属于技术型文本,多专业术语与科学定义。该报告主要涉及以下几个方面:纺织翻译研究意义和目的,翻译实践过程描述,关联理论指导的译例分析,以及
学位