【摘 要】
:
随着计算机技术的飞速发展,人机交互技术旨在令计算机听懂人类的语言,以某种方式与人类进行沟通和交流。手语识别是人机交互技术中不可或缺的一环,通过让计算机读懂手语、翻译手语,可以使从不了解手语的人与使用手语聋哑人士进行无障碍的沟通交流,也为聋哑人士在一些公共场所得到更舒适的便利服务提供了技术支持。现有的针对于手语识别的研究多使用可以穿戴的数据手套或可以贴附在手臂上的肌电感应装置、基于计算机视觉的光学照
论文部分内容阅读
随着计算机技术的飞速发展,人机交互技术旨在令计算机听懂人类的语言,以某种方式与人类进行沟通和交流。手语识别是人机交互技术中不可或缺的一环,通过让计算机读懂手语、翻译手语,可以使从不了解手语的人与使用手语聋哑人士进行无障碍的沟通交流,也为聋哑人士在一些公共场所得到更舒适的便利服务提供了技术支持。现有的针对于手语识别的研究多使用可以穿戴的数据手套或可以贴附在手臂上的肌电感应装置、基于计算机视觉的光学照相机和可以获取深度信息的深度传感器等,对比现有方式的一些优缺点,基于电磁信号的雷达传感器价格便宜,即使在弱光或无光环境下也可以正常使用,在手势识别领域已经取得了较大的发展。由于手语也是动作更加复杂的手势,所以本文提出使用电磁信号去表达手语目标的特征并进行解析和理解。针对于目前研究中数据集的缺乏和大多手语特征相似的难点,本文使用了对抗生成网络扩增数据集的大小,并引入了注意力机制提高模型的细粒度分析能力。同时为了模型的运行效率,使用了知识蒸馏对大型的,识别准确率较高的网络进行模型压缩。实验在自行搭建的24GHz的多普勒雷达系统上进行了测试,研究了15种可以用双手和单手表达的中国手语孤立词汇的识别准确率,按照手语识别技术中目标样本采集、语义可视化和释义解析分类三个步骤,从理论上,方法上,实验上验证了使用电磁信号进行手语目标的表达和理解的可行性,取得的相关成果如下:首先,在时频域上进行手语语义的表达,探求手语目标在另一种维度上的可视化结果。根据采集到的电磁信号的非平稳性,采用了两种区别于傅里叶变换的时频分析方法进行手语的表达,分别为STFT和CEMD,得到了15种手语孤立词汇的时频频谱,两种方法各有优势,STFT时频分辨率虽然不能兼顾,但处理的运行时间较快,CEMD的频率分辨率较高,但处理的速度相对较慢。其次,使用深度学习中的卷积神经网络进行了手语目标的电磁语义理解,在主干网络Resnet-18引入了注意力机制模块,增强了模型的细粒度区分力。使用了5折交叉验证的方法来获得一般性的结果。对比未引入和引入了注意力机制的两种网络,5折的平均识别准确率分别为93.1%和94.5%,引入了注意力机制的网络的平均识别准确率提升了1.4%。同时采用了Grad-CAM对手语目标的时频图进行可视化处理,验证了注意力模型可以提升准确率。由于本文自行采集的样本数据量较小,容易造成训练中的过拟合的问题,本文使用了L2正则化权重衰减和DCGAN数据增强两个角度来避免过拟合的发生。通过DCGAN,数据集样本的大小扩增为之前的两倍,在引入了注意力机制的网络上的5折识别准确率为99.1%,相较没有数据增强的原始数据集有了4.6%的准确率提升,验证了通过生成式的数据增强方法可以在一定程度上改进过拟概率和识别准确率。最后,使用了知识蒸馏算法对模型进行压缩,分别采用了较为传统的知识蒸馏和拓展样本间结构维度的相关性知识蒸馏,使用引入注意力机制的Resnet-18作为教师网络,在一个拥有三层卷积的小型学生网络和两个可以部署于移动端的轻量化网络上进行了验证。在传统的知识蒸馏上,经过蒸馏后的学生网络准确率由89.2%提升至92.9%,有3.7%的提升,同时模型参数量由11M降低为0.13M,模型大小由43MB下降为511KB。在基于数据增强后的相关性知识蒸馏上,小型的学生网络准确率通过RKD-D的作用有了3%的提升,而在另外两种自身识别准确率便已经很高的网络上,仅有1.6%和0.8%的轻微提升,但也足以证明知识蒸馏对于模型压缩和识别精度的有效性。
其他文献
为了解决室内通信信号覆盖空洞的问题,提出了将智能反射表面用于无线能量中继的方案。智能反射表面作为可重构智能表面(RIS)的一类,通过对电磁波进行数字化的信息调控,实现了对入射电磁波一定程度上的反射调节能力。它能够对入射电磁波的幅度、相位、极化等电磁特性进行实时调控,使反射波束方向在一定范围内任意调节,具有了类似于无线中继的功能。本文设计的智能反射表面旨在实现1-bit相位调控能力。研究了单极化、双
信息系统记录的事件日志是过程挖掘的起点,里面蕴含着实际流程的执行情况和丰富的上下文信息。基于事件日志进行过程挖掘不仅能够发现过程的控制流模型,还能提供对业务流程的多维分析。然而,某些应用场景下的事件日志包含着高度敏感的隐私数据。例如医院患者的诊疗事件日志既蕴藏着宝贵的医疗过程知识,又包含着患者的个人隐私。医疗过程一旦涉及到手动处理,就可能暴露有关特定个人的隐私。此外,当明确或隐式包含个人隐私数据时
目的:观察《黄帝内经》九针治疗中风后遗症临床疗效。方法:采用三步治疗法(第一步:刺络放血;第二步:局部穴位针刺;第三步:子午流注纳甲法开穴法毫针刺五腧穴。)治疗中风后遗症,观察治疗前后患者神经功能缺损改善情况,观察日常生活活动能力的改善情况,中医证候积分改善情况,评价总体临床疗效。结果:治疗后患者神经功能缺损评分显著降低(p≤0.01);日常生活活动能力评分显著升高(p≤0.01);中医证候积分显
近年来随着城市建设的快速发展,城市安防的难度不断提升,实现对突发事件的实时监控和快速反应对我国的国家安全具有重要意义。而要实现这一目标,智能监控系统的建设必须深入推进。行人重识别作为智能监控系统的重要研究内容,在嫌疑人轨迹追踪和失踪人口巡回等领域发挥了关键作用。但由于监控场景间风格差异较大以及监控图像分辨率较低等问题,导致行人重识别模型的跨域性能以及特征表达能力受到影响。针对以上问题,本文提出背景
随着中国经济的持续稳定发展,经济体量越来越大,随之而来的便是物流规模的进一步扩大。而在扩大的同时也存在很多问题。由于路径规划的不合理,使运输成本增加,运送超时,客户怨声载道,同时也会对整个城市的交通造成一定的影响。因此,合理的规划车辆配送路径,降低企业的运输成本和人工成本,提高客户服务质量,增强客户对企业的依赖程度成为当下研究的重点。本文在传统的车辆路径问题基础上,同时考虑了车辆的距离成本和客户满
在过去的几十年里,由于现代化和全球工业化的不断推进,环境污染加剧,气体传感及其相关技术已成为当前热门的研究方向之一,特别是在环境、生物医学和工业应用科学中,主要目的是在特殊的受控环境中找到分析物气体的最小存在或发现监测环境中污染物气体的存在。因此,对高灵敏度、低成本、非侵入性和实时气体传感器的开发具有十分重要的意义。相较于传统的气体传感技术,微波检测手段是基于气体与传播结构结合的敏感材料相互作用下
近年来,太赫兹波(Terahertz,THz)在传播、穿透、吸收等方面的特殊性质被不断显现,无源THz成像技术被广泛应用于环境监测、安全检查、医学检测、物体成像和雷达探测等领域。传统火场探测仪器的工作灵敏度与可靠性很容易受到火场浓烟和水蒸气的浓度影响、器件性能被火场火源热量及环境温度制约,抗干扰性能差,鉴于THz波具有可穿透烟雾、火焰的特性,且THz成像系统在小型化、高温度灵敏度、高分辨率实时快速
在企业发展过程中,会出现员工工作懈怠及工作效率低下等状况,制约企业的健康发展。为了更好地管理企业工作人员,越来越多的企业开始关注员工行为监督与分析方法的研究。目前多数企业对员工行为监督的主要方法是基于员工的各类日常行为日志或记录进行人工统计分析,但是由于当下员工行为监督过程中存在数据种类繁多、无法实时获取行为日志、行为分析方法单一等现状,导致员工行为分析过程效率较低、行为分析结果准确性不高。因此,
<正>简介/Introduction东南(福建)环保产业园位于厦门市集美区后溪工业组团内,紧邻324国道,交通便利,周边基础设施配套比较完善。东南(福建)环保产业园由一个"总部"、两个"中心"、和一个"基地"组成。环保产业园一期工程总建筑面积100000m~2,园区内共有6栋厂房,一栋办公楼和一栋研发实验大楼,配套的生活区设有宿舍和食堂。环保产业园二期以环保产业园一期和以东待开发区域为主,及其周边
随着教育信息化不断发展,信息技术在教育领域内发挥不可或缺作用。利用信息技术独特性,对教育教学进行改革,改变传统教学模式,实现教学结构变革,这是教育信息化的重点内容。目前信息技术应用在课程教学中多数处于整合阶段,如何实现信息技术与具体课程教学的深度融合呢?本研究通过信息技术与《数据库原理与应用》课程(简称:数据库课程)教学的深度融合展开相关研究。本研究通过文献研究法、问卷调查法、准实验研究法开展信息