基于轻量级深度学习网络的动态哑语手势识别

来源 :南昌大学 | 被引量 : 0次 | 上传用户:daregooo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
哑语是聋哑人群体在日常生活中主要交流方式之一,在聋哑人群体间扮演着重要的角色。随着深度学习的快速发展,越来越多的学者致力于哑语识别技术研究,来解决聋哑人之间及聋哑人与正常人之间交流困难的问题。然而关于动态哑语识别领域仍然有一些问题尚待解决。(1)哑语单词是通过一系列复杂变化的手势来描述,这些手势之间具有相似性并存在一定的冗余;而且目前主流的哑语识别网络模型的参数量很庞大,导致模型很复杂,难以实现轻量化设计及实时性要求。(2)目前哑语语句翻译算法存在着网络模型推理速度慢,难以收敛的问题,而且难以全面地顾及长时时序信息和局部特征信息。针对问题(1),本文提出了一种基于关键帧提取和轻量级神经网络的哑语孤立词识别算法,不仅减少了网络输入数据量,而且降低了模型的计算复杂度。设计了一种基于卷积自编码器优化聚类的关键帧提取算法来降低原始输入序列中的冗余并获得具有代表性的关键帧。设计了一种轻量级网络VTN-C来对哑语关键帧序列进行特征提取和分析,进一步的降低模型参数量的规模,并实现对哑语单词的识别。为了验证算法的有效性,本文在SLR_Dataset数据集、AUTSL_Dataset数据集上进行验证。实验结果表明,与现有其它方法相比,本文提出的方法VTN-C网络在两个数据集上能够对哑语孤立词分别达到了93.6%和91.3%的准确率,取得了优异的识别效果。针对问题(2),本文提出了一种基于CNN和空洞卷积的双路并行手语翻译模型,称为DCC-SLT网络。利用CNN在短时时序局部特征响应上的出色表现和空洞卷积在长时时序上强大的建模能力,有效整合了时序上的局部响应信息和长期时序上的上下文信息,并提高模型的整体收敛速度,获得了良好的翻译效果。为了验证算法的有效性,本文在RWTH-PHOENIX-Weather 2014数据集上进行验证,实验结果表明,本文提出的DCC-SLT网络对于哑语连续语句翻译的误字率为37.2%,比现有其他方法有着更低的误字率,并且网络模型参数量远小于现有模型。
其他文献
在生猪养殖过程中产生的养殖废水是农业面源污染的主要来源之一,带来的环境污染问题也成为了制约规模化养猪业发展的瓶颈。将微藻和细菌共培养形成的藻菌共生体与膜生物反应器相结合处理养猪废水,可以有高效地去除养猪废水中过量的碳氮磷等污染物,同时藻菌共生体利用污染物生长代谢可形成可观的生物质资源,因而是一种绿色可持续的污水处理工艺。但养猪废水高色、高浊的特点制约了藻菌共生体在其中的生长,限制了污染物去除效率的
学位
溶解性有机质(DOM)广泛分布于土壤和水环境中,是土壤和水环境中的重要组成部分,能够和重金属以及有机污染物结合,改变有机污染物和重金属的迁移转化性能。在湿地环境中,淹水后土壤和沉积物中DOM的释放是水体中DOM的重要来源,探明沉积物DOM的释放特性和DOM与重金属的结合机制,对于湖泊沉积物重金属污染治理具有重大意义。本文以鄱阳湖湿地沉积物为研究对象,采用静态模拟实验,结合三维荧光光谱探讨了不同溶解
学位
沉水植物作为浅水湖泊重要的初级生产者,在维持湖泊清水稳态和生物多样性中发挥着重要的作用。随着湖泊富营养化,大量沉水植物群落消失甚至衰退,湖泊从清水稳态转变为浊水稳态,水生态系统功能和结构受损。然而,在湖泊富营养化过程中沉水植物群落衰退的过程和机制仍没有完全认识清楚。近年来,众多研究表明动物牧食是影响沉水植物丰度一个重要因素,但极少有研究评估动物牧食在富营养湖泊内沉水植物群落的衰退中的作用。我国处于
学位
清醒俯卧位通气是在意识清醒患者中使用的一种辅助体位通气方式。清醒俯卧位通气能够显著改善急性呼吸窘迫综合征患者的氧合指数,降低气管插管率、病死率等。该文介绍了清醒俯卧位通气的定义、适应证、禁忌证、启动与终止时机、重点监测内容、并发症的预防与处理,并对应用过程中存在的护理难点进行总结并提出建议,以期为清醒俯卧位通气患者的护理提供参考依据,改善患者临床结局。
期刊
随着互联网金融的发展,私人资本获得了更多的投资渠道,市场可以更方便地获得大量融资。但基于各个公司资质的参差不齐再加上监管体制的不健全,为非法集资提供了良好的滋生环境。如果通过金融数据分析,识别非法集资行为,是当前维护金融秩序,保障投资人权益和金融行业健康发展的挑战性议题。在非法集资的研究领域中,目前学者大多是在法律层面对非法集资的定义和如何预防,在人工智能方面,虽然金融安全也是较为火热的研究领域,
学位
多相光助-芬顿技术是均相芬顿技术的继承和发展,是处理高浓度有机废水最具发展潜力的污水处理技术之一。废旧磷酸铁锂中无法高值化利用的磷酸铁有望成为一种低成本、无污染、循环性能优良的铁源。苯醌类化合物在可见光激发下会产生光生水合电子,利用此特性可以促进磷酸铁表面FeⅢ/FeⅡ之间的转换,最终达到对目标污染物高效降解的目的。本文比较了可见光下苯醌类化合物诱导均相芬顿降解橙Ⅱ的影响,探讨了可见光下苯醌类化合
学位
按照发热元件的不同对加热电缆进行分类介绍,从加热电缆的研究进展、应用现状和市场现状等方面对目前加热电缆的发展进行了概述。对国内外现行加热电缆标准进行了整理,按照适用范围对其进行分类,并分析了国内外加热电缆的标准在制定中存在的一些差距(引用文献69篇)。
期刊
赣南地区钨矿资源丰富,开采历史悠久,被誉为“世界钨都”。钨矿的长期开采,导致重金属污染严重,对当地生态环境和居民的健康构成潜在风险。本研究以江西省赣南大余-崇义地区某钨矿区为研究区域,采集土壤样品188件及水稻样品20件,测定土壤和水稻籽实中7种重金属(Cd、Hg、Pb、As、Cr、Cu和Zn)含量,分析研究范围内的土壤重金属污染特征并评估重金属可能造成的污染风险和健康风险。研究结果如下:研究区域
学位
多通道测光巡天望远镜(Multi-channel Photometric Survey Telescope,Mephisto)是一台较大通光口径(1.6米)、较大视场(3.14平方度)的巡天望远镜。基于望远镜像质控制、镜筒设计等综合因素的考虑,Mephisto采用了主镜焦比为1.3的快焦比设计,因此副镜对失调具有很高的灵敏度。为了保证并维持Mephisto的高分辨成像,需要通过多个边缘视场的曲率波
学位
近年来,无线体域网(Wireless Body Area Network,WBAN)逐渐成为国际上重要的研究热点,并广泛应用于金融领域,医疗领域,通信领域等。特别是医疗领域,由于无线体域网需要传输与用户相关的生理特征数据,因此,如何保证用户的个人隐私是当下亟需研究的问题之一。此外,现有的无线体域网大部分基于中心化系统架构,该架构会导致单点故障等问题,因此,一个安全的系统架构对于医疗数据的安全性也很
学位