基于增强现实的人手自然交互康复系统设计

来源 :南京信息工程大学 | 被引量 : 0次 | 上传用户:xxk2010
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
增强现实技术能够提供一种真实世界的交互体验,通过将计算机生成的感知信息或虚拟对象叠加到现实世界中以实现对现实世界的增强,同时也能丰富用户体验现实世界的方式。近年来,基于增强现实的手功能康复训练系统已成为我国医疗领域的研究热点,它不仅可以激发患者参与康复训练的积极性,还可以缓解职业治疗师和专业护理人员的人才短缺的现状,具有一定的社会价值。本文以国家自然科学基金项目为背景,结合静态手势识别和指尖检测算法,设计并开发了一个基于增强现实的自然手势交互康复训练系统。本文主要研究内容如下:首先在基于几何特征的静态手势识别算法的研究基础上,本文设计了一组新的特征描述符用于手形的有效表征,它具有较好的尺度不变性和旋转不变形,并通过结合SVM构建了一个手势分类器。经验证,该分类器在鲁棒性和实用性方面表现优异。其次本文设计了一个基于深度卷积神经网络的指尖检测算法,它由手部区域检测算法和指尖检测算法两部分组成。首先利用YOLOv2网络定位2D手势的坐标信息,然后将检测到的手势区域裁剪出来用作指尖识别部分的输入,最后设计了UGF-Net网络用于精确地指尖检测。通过实验分析,该算法能有效地解决因人手指尖尺寸较小而无法精确识别的问题。最后本文将静态手势识别和指尖检测算法相结合,设计并开发了一个基于增强现实的自然手势交互康复训练系统,同时设计了四个不同难度的康复训练项目:打砖块训练、抓握捏训练、轨迹训练和投篮训练,这些项目在难度等级上呈现递增关系,主要用于改善用户的手指、腕关节、肘关节和肩关节的运动障碍。最后通过对不同用户进行测试,验证本系统的可行性。
其他文献
文本表示是自然语言处理最为核心的研究方向之一,近年来随着机器学习的发展,文本表示也从最初的统计学方式开始与机器学习相结合。人类对于文本的理解取决于对世界的认知以及大脑复杂的逻辑处理,而计算机则取决于文本在计算机内部存储的二进制表示。如何将文本表示成计算机更易于理解的形式成为了目前的研究热点。本文的核心工作是针对中文文本构建文本表示,并应用在新闻文本分类任务中。如何将中文字符具有含义且包含情感考虑进
稻纵卷叶螟(Cnaphalocrocis medinalis)是水稻生产过程当中为害较重的一种虫害。本文以二龄稻纵卷叶螟幼虫为试验材料,在南京信息工程大学农业气象试验站水稻大田内,设置网罩控制下不同投虫量处理,以无虫量为对照,利用成像光谱仪、便携式地物波谱仪和SPAD-502叶绿素仪测定水稻全生育期叶片成像光谱、冠层非成像光谱以及叶片叶绿素相对含量(Soil and Plant Analyzer
随着温室大棚的普遍性,种植的花卉类别日渐繁多,因此花卉分类以及生长监测过程需要耗费大量的人力物力。且由于花卉种类多,类间差异小、类内差异大,再加上所处环境复杂,传统的图像分类方法不能很好地解决这类问题。针对以上问题,运用深度学习对花卉图像实现自动分类以及叶部病害识别成为了研究的热点,这在园林花圃的智能化管理中具有重要的应用价值。所以,在深入分析了国内外研究成果的基础上,本文以深度学习和迁移学习为理
随着互联网的诞生和发展,使得推荐系统得到了广泛的使用,信息的生产者会通过对用户的兴趣进行分析,对信息进行筛选推荐,从而得出用户想要获取的资源。协同过滤算法是推荐算法的一种经典的算法,协同过滤算法忽略了商品本身的内容,利用商品之间的联系,用户之间的联系,对用户进行推荐,但是数据稀疏导致用户相似度计算精度低,推荐不准确问题依然存在。(1)以往的协同过滤算法忽略了对商品属性的挖掘,本文提出一种基于商品属
水下光学成像是一项很有意义的工作,在水下目标探测、海洋资源勘测等领域具有广阔的应用背景。在水的光学特性影响下,传统的光电设备对水下目标进行探测时,受到水体的吸收和散射影响,会出现严重的衰减,从而导致了水下目标成像对比度低、图像模糊、探测距离有限。因而如何改进水下光学成像系统、提高成像质量和增强水下探测能力成为了极具研究意义的课题。针对以上问题,本文以“仿生多信息融合水下偏振成像研究”国家自然科学基
地震是严重的自然灾害之一,准确提取地震灾害中建筑物的破坏信息对震后应急响应至关重要。高分辨率遥感影像具有空间分辨率高、覆盖范围广、数据获取相对容易等诸多优点,已成为开展震后应急响应及震损建筑物检测的重要数据来源。目前,震损建筑物检测方法主要可以分为震后单时相影像分类方法以及震前、震后多时相影像变化检测方法。前者尽管克服了对震前参考信息的依赖,但震后场景结构与空间布局复杂且地物对象种类众多,如何仅依
视触觉结合感知纹理粗糙度是在虚拟现实的环境中增强视觉感知,使操作者借助力反馈设备在触摸虚拟纹理时感受更强的粗糙感,以更加真实、自然的方式与虚拟纹理进行交互。该模型适用于多个领域,除了在虚拟现实中实现力触觉交互的优点,更具有多感官的优势。运用视觉与触觉结合的多感官交互方式,可以给操作者的大脑提供更强烈的刺激,为力反馈虚拟纹理研究提供了新的方向,对虚拟现实的发展起到了积极的推动作用。本文基于虚拟现实技
随着阵列信号处理的应用范围越来越广泛,波束形成作为阵列信号处理中的一个重要研究内容,由于无线通信的飞速发展,受到了越来越多的关注。在实际应用中,工作环境比较复杂,存在各种各样的误差,如阵列校准误差、信号波形失真、波达方向误差等,再加上快拍数限制,使得传统的自适应波束形成算法性能严重下降,所以提升波束形成算法的稳健性很有必要。主要做了如下几方面的工作:1、对波束形成算法的研究背景及意义进行了深入研究
近年来,因局部浓雾导致的重大交通事故时常发生,人民生命财产遭受严重损失。相对湿度是引起浓雾的关键要素之一,提升相对湿度测量准确性,对实测湿度数据进行修正预处理,保证实测湿度过程的可靠性有助于提升浓雾预报的准确性。自主设计了环形多孔上电极取代普遍使用的栅条形多孔上电极,模拟研究数据表明,采用环形上电极的数据回滞为2.1%RH,小于栅条形的3.2%RH;环形上电极的数据线性度约为3.8%,远优于栅条形
现代农业生产和发展的风险保障和经济补偿——气象保险,其作用和重要性与日俱增。鉴于气象保险尤其是农业气象保险的产业和规模逐步扩增的形势下,传统气象保险技术应用落后、风险管控困难、模型设计陈旧等弊端正逐渐凸显出来。在传统气象保险已不能满足人类社会的需求的形势下,开发能系统性地将技术应用创新、风险评估优化、定价核算精准这三大优势结合起来的新型气象保险,必然是未来气象保险研究和发展的确定趋势。本文的研究一