【摘 要】
：
近年来,动作捕捉技术已经广泛地应用于影视制作、游戏、康复医疗和体育竞技等领域中。专业动作捕捉系统能够获取精确的人体运动数据,但是价格昂贵、需要较大的采集空间和复杂穿戴过程,难以为普通消费者所用。伴随着虚拟现实技术的快速发展,市场上将涌现更多的体感应用和游戏,将对通过价格低廉的动作捕捉设备获取高精度人体姿态信息的方法产生广泛的需求。本文基于可见光相机、Kinect和IMU传感器,提出了多模态多阶段去
论文部分内容阅读
近年来,动作捕捉技术已经广泛地应用于影视制作、游戏、康复医疗和体育竞技等领域中。专业动作捕捉系统能够获取精确的人体运动数据,但是价格昂贵、需要较大的采集空间和复杂穿戴过程,难以为普通消费者所用。伴随着虚拟现实技术的快速发展,市场上将涌现更多的体感应用和游戏,将对通过价格低廉的动作捕捉设备获取高精度人体姿态信息的方法产生广泛的需求。本文基于可见光相机、Kinect和IMU传感器,提出了多模态多阶段去噪方法,并开发了面向低成本设备的多模态运动数据融合去噪系统。本文的主要研究工作如下:1、针对运动数据去噪问题,提出了融合Kinect和IMU两种模态数据的多阶段运动数据去噪网络MMCap Net,其中两种模态的融合提高了网络对于高噪声数据的鲁棒性,多阶段预测的结构使得网络具有更优的位置精度。在日常运动和高噪声多模态数据集上的实验结果表明,本方法在位置精度上优于现有去噪方法。2、在MMCap Net的基础上,提出了能够融合RGB图像、Kinect数据和IMU数据的运动数据去噪网络MMCap Net V2,引入自监督对比学习的预训练方式提高了RGB图像特征的提取质量。实验证明任意双模态运动数据融合均可以不同程度地提高输出结果的精度,其中Kinect融合IMU具有最高的位置精度,明显优于另外两种双模态融合方案。而三模态运动数据的融合进一步提高了输出结果的位置精度。3、在多模态去噪网络的基础上,开发了一款基于Kinect相机和IMU设备的多模态运动采集与去噪系统。系统由设备驱动模块、数据预处理模块、融合去噪模块,数据后处理模块和用户交互模块组成,能够根据接入设备组合,实时调用相应的融合去噪算法,输出更高精度的实时运动数据。
其他文献
车联网作为智能交通系统中的重要组成部分,在交通管理、智能运输和缓解交通拥堵等领域都发挥了非常重要的作用。其中车辆自组织网络（Vehicular Ad Hoc Network,VANET）是构成车联网的重要一环,通过车辆间的通信来传输有效数据。而随着车辆节点的增多,车辆密度的增大所带来的交通拥堵等一系列问题,可能会导致VANET中通信性能的下降。如何在当前复杂的道路交通环境中提高VANET的传输性能
轴承是旋转机械中的关键部件,在现代工业系统中得到了广泛的应用。对轴承进行健康状态管理,准确地预测轴承的剩余使用寿命,能有效地改善机械系统的可靠性、安全性,防止出现重大故障,从而降低维护费用。随着大数据和人工智能等先进技术的发展,深度学习已经成为剩余寿命预测领域的热门话题。然而在实际工况下,基于深度学习的轴承剩余寿命预测方法的研究方法通常会有以下两个问题:（1）样本数据量不足,导致模型无法收敛;（2
随着大数据及高性能计算技术的发展,深度学习近十年得到迅速发展,在人脸识别、自然语言处理等领域也取得了巨大成功,并于近年开始进入工业产品表面缺陷检测等工业领域。虽然深度学习在表面缺陷检测方面取得了很大进展,但仍然存在一些亟待解决的难题,小目标检测精度低和样本均衡性差便是其中的两个典型难题。通过充分调研了目标检测算法、小目标检测和样本不均衡的相关研究,本文选择以通用目标检测算法RetinaNet为基础
视频的获取及传输过程中,由于物理环境及算法性能的限制,其质量难免会出现无法预估的衰减,导致其在实际场景中的应用受到限制,并对人的视觉体验造成显著影响。因此,作为计算机视觉领域的一项重要任务,视频质量评价应运而生。其目的在于通过构建计算机数学模型来衡量视频中的失真信息以判断其质量的好坏,达到自动预测质量的效果。在城市生活、交通监控以及多媒体直播等多个场景中具有广泛的应用前景。本文主要针对使用较多的自
行人轨迹预测是计算机视觉领域的一个热点方向,在无人驾驶、智能交通、智慧城市和机器人自动导航等领域具有较为广泛的应用。基于传统统计模型的方法受限于人工确定的行人运动特征,并且缺乏在复杂拥挤环境中能通用的模型。近年来,基于深度学习的轨迹预测模型,凭借高效的特征提取方法、出色的可移植性、应用面广等优势而成为主流,但现有研究工作仍然存在两点不足:行人运动的不确定性对行人轨迹预测十分重要,然而大多数基于深度
时间序列预测在许多工业和商业应用中发挥着重要作用,例如金融市场、网络流量、天气预报和供水行业等。在这些场景中,人们可以利用大量关于过去行为的时间序列数据来预测将来的值。水是经济和社会发展的重要因素,它在工业生产、居民生活和生态保护等许多方面都有着重要影响。传统的供水系统中缺乏对供水数据进行有效的分析,而深度学习技术可以对数据进行深入的挖掘与利用,并分析数据中潜在的规律性。因此,结合深度学习模型对供
随着国家对于历史文化的日益重视,数字化遗产保护已经成为计算机应用领域的热点问题。很多学者将目光聚焦到了古建筑三维场景生成领域,徽派村落作为中国传统建筑的一个重要分支,是古建筑场景的典型代表,影视、游戏和虚拟现实应用内容在徽派风格场景均有充分的需求。另一方面,布局是三维场景生成的前提条件,而传统村落如徽派风格村落由于历史、风俗等复杂因素,其布局一直是传统建筑保护领域的研究热点,难以量化规则。在此背景
随着制造工艺的精进,静态功耗逐渐成为路由器的主要功耗来源之一。同时为了解决片上网络中长距离多跳传输带来的高延迟和高功耗,将无线通信技术加入片上网络芯片中,从而产生了无线片上网络。无线收发器的加入和布置,使得无线片上网络中的流量更加不均衡,普通的路由技术不考虑拥塞信息,加剧了片上网络的拥塞,使得网络很快达到饱和。基于以上发现及考虑,本文针对NoC提出高效的功率门控策略,针对Wi NoC的拥塞问题提出
表情作为人类一种非语言交流方式,相比起语言交流方式,表情更能直接地反映一个人内心真实意图和心理状态。如何使计算机读懂人类表情,进行更加有效的交流成为人机交互领域的一项重要课题。人脸表情的表达是面部肌肉协同运动的结果,是一个动态变化的过程:相较于静态人脸图像,视频序列记录了表情发生的完整过程,对人脸表情的描述更加真实准确。人脸表情很大程度上是通过与表情相关的人脸关键区域的动态变化来完成,如何改善使其
多变量时间序列（Multivariate Time Series,MTS）分类致力于将具有多个变量和时间属性的数据划分到预定义的类别之中,在金融、医疗、人类活动识别等领域发挥着重要作用。但MTS分类任务中存在许多问题,例如MTS中变量之间存在着复杂的关系特征难以捕捉,样本间存在的潜在关系特征易被忽视,标注的MTS数据少等问题。提取关系特征为分类任务提供更多的关键特征具有重要的研究和应用价值。本文围