基于深度学习的手语生成研究

来源 :西安工业大学 | 被引量 : 0次 | 上传用户:wuyan123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
中文手语(Chinese Sign Language,CSL)是世界上使用最广泛的手语系统之一。CSL中的自动识别和生成技术,是实现聋哑人和正常人之间的双向通信的关键技术。但是,以前的大多数研究都只关注于手语自动识别方面的研究,仅能够用于从聋哑人到正常人单一方向的通信,无法达到双向交流的目的。为了解决从正常人到听障人群的通信问题,实现聋哑人与正常人之间的无障碍地双向沟通,需要依靠手语生成技术以实现从正常人到聋哑人另一个方向的通信。本文采用Microsoft Kinect和深度学习技术相结合的方式对聋哑人与正常人之间双向交流中有关手语生成的重难点问题展开研究,主要的研究内容包括:(1)针对现有的生成技术无法应用于聋哑人与正常人之间的双向交流的问题,提出了基于循环神经网络的识别和生成技术用于聋哑人和正常人之间进行双向通信的统一框架。该框架不仅可以应用在这种端到端的手语序列生成中,还可以用于序列间的信息交互,如自动聊天机器人、音乐的识别和生成以及视频的识别和生成。(2)提出了一种两级概率生成模型来进行序列生成。该模型是由变分自编码器(Variational Auto-Encoder,VAE)与高斯混合模型(Gaussian Mixture Model,GMM)组成,用于人体骨架序列的生成。第一级概率模型采用基于变分自编码器的生成技术,而第二级概率模型采用基于高斯混合模型的抽样方法。相应的结果表明,两级概率模型可以产生比传统的基于变分自编码器和生成对抗网络的技术更为多样的骨架姿态。(3)搭建了一套基于循环网络的手语识别与生成系统。系统中的手语识别部分采用深度神经网络中的双向长短期记忆网络进行编码,对手语序列特征进行提取,通过Softmax层进行分类完成手语的识别;系统中的手语生成部分是对序列经过一次采样后解码再次随机采样完成的,实现端到端的训练输出完整的手语骨架。在此基础上完成了系统的性能测试,完整数据集中真实数据的识别率达到82.55%,生成数据的识别率达到79.12%。识别时间约为0.003秒,生成骨架的时间约为0.17秒,所有结果表明本文设计的手语系统是可行的。
其他文献
镜头是安防摄像机核心部件之一,决定了整个监控的效率和结果。安防镜头在制造过程中,因操作不当会在镜头内部形成离散局部微观缺陷,将直接影响安防镜头的成像质量。随着安防监控精细化和高精度的迫切需求,对安防镜头的成像质量的要求也越来越严格,其合格检测标准已经满足不了需求,因此,对安防镜头内部进行微观缺陷检测尤为重要。目前,安防镜头依靠人眼观察进行检测,人眼观察检测存在效率低、容易产生视觉疲劳及受限于工人的
在经济全球化和信息化的大背景下,公共场所和商业等领域对基于生物特征的身份认证技术的需求日益迫切。在生物特征中,虹膜的结构对于个体来说是独特的,并且随着年龄的增长其表现依然稳定,虹膜识别在生物识别领域有着很高的研究价值。电子设备的快速发展和计算机技术的不断革新使虹膜识别技术不断进步,目前,许多关于生物识别领域的研究开始结合卷积神经网络,并取得了令人满意的成果,虹膜识别领域也是如此。训练卷积神经网络一
高反膜已广泛应用于各种激光系统及光学仪器中,然而由于高反膜一般厚度较大,光学元件在镀膜后常常由于薄膜应力而引起较大的面形变化,这将使得光学系统的成像质量变差。为了降低系统中光学元件镀膜前后的面形变化,有必要建立多层膜热应力和残余应力模型,明确不同膜料和膜系下膜-基结构的应力分布和面形变化,才能设计并制备微变形高能激光反射膜。基于以上讨论,本文研究了熔石英基底(220×10mm)上激光高反膜的应力分
近年来,目标检测作为辅助驾驶系统获取视觉信息的核心技术,对道路障碍物自动检测具有重要的现实意义。在真实的驾驶场景中,由于汽车通常行驶在道路区域,人行道区域障碍物对驾驶安全没有影响,因此获取障碍物的所处区域信息十分重要。本文在研究障碍物目标检测的基础之上,结合语义分割方法得到场景语义信息,开展了结合场景语义信息的目标检测研究,主要研究内容包括如下:(1)针对YOLO v4算法的目标检测模型准确率偏低
随着无线定位技术走进大众的生活,室内定位问题逐渐成为研究的热点,由于受到室内环境复杂性与多变性的影响,室内定位误差常常比较大,特别是当非视距(Non-Line of Sight,NLOS)误差存在时,定位误差更加严重。论文以超宽带(Ultra-Wide Band,UWB)定位技术为出发点,结合C-T(Chan-Taylor,简称C-T)协同算法,在视距(Line of Sight,LOS)环境下提
在腐蚀防护领域,有机涂层有效保护金属基体,防止腐蚀反应发生。然而,在外界环境变化和机械损伤的作用下,涂层表面产生的微裂纹和孔隙可诱发局部腐蚀,导致涂层最终完全失效。自修复材料是一种能够自动感知和修复损伤的新型智能材料,在设计智能防腐涂料方面具有巨大的潜力。传统自修复防腐涂层而言,存在的不足之一就是无法实现精准定向修复。同时,在复杂的海洋环境中存在大量污损生物,这就要求自修复防腐涂层在具备优异的防腐
随着铁路客运向高速发展,铁路货运向重载方向发展,无缝化钢轨焊缝热处理技术得到了广泛地使用。钢轨接头焊接是无缝线路的重要组成部分,然而焊接本身具有加热温度高、加热速度快、高温停留时间短、局部加热温度分布不均匀,同时焊接接头的局部也极易产生硬化、软化等现象,再加上焊接接头本身受力的复杂性,使得无缝钢轨的断裂大部分发生在焊接接头上,成为线路运营的薄弱环节。本文以U75V钢轨焊接接头为研究对象,首先,对钢
随着旋翼无人机的普及和换代,针对旋翼无人机的监管和反制问题也亟待解决。弹药反制无人机在众多反制手段中硬反制的特点让多方关注。战场环境日渐复杂,改善弹药及引信环境适应性,提高探测可靠性成为各国时下重要的研究方向。复合探测可以有效解决单模探测环境适应性不足、识别概率不高等问题,开展无线电/声复合探测原理及目标识别方法研究,具有重要的战场需求和科研价值。本文针对近场环境下旋翼目标的探测识别,采用无线电/
作为一类特殊曲面型金属类零件,弯管广泛应用于我国航空航天、能源传输、汽车制造、医疗器械等行业,弯管复杂的空间形态和滞后的测量手段导致其难以满足精密装配的需求,准确、高效与完备的弯管测量技术成为国内外弯管制造行业亟需解决的热点问题。针对国内外弯管测量存在的测量精度差效率低的问题,本文对基于双目视觉的弯管测量技术进行了系统研究。根据弯管空间形态复杂多样的特点,本文把弯管测量简化为弯管中心线的空间参数测
几何精度测量是汽车发动机凸轮轴制造工艺的关键环节之一,传统接触式测量具有高精度的优点,但同时也存在效率较低和可能对测量表面造成损伤的不足。鉴于此,研究基于图像与坐标方法相结合的凸轮轴测量关键技术,包括测量系统方案、几何误差补偿技术、图像边缘检测技术等,为凸轮轴几何尺寸高效测量提供技术支持。首先,设计了凸轮轴测量系统总体方案,根据凸轮轴的主要特征进行测量系统需求分析,采用图像与坐标测量相结合的方法,