基于深度学习的静态手势识别与交互

来源 :广东工业大学 | 被引量 : 0次 | 上传用户:gkhksmq
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人工智能的快速发展,人机交互在生活中经常可以看到。而近年来由于疫情的爆发,为了减少病毒传播,越来越多的研究者将目光投在了人机交互的手势识别方向。传统的手势识别算法鲁棒性差、精度低,成熟的手势识别又依赖于一些昂贵的设备,比如数据手套。随着目标检测算法取得了巨大成功,手势识别领域开启了新的研究方向。本文主要研究基于深度学习的静态手势识别与交互,其主要研究内容如下:(1)为了模型能够训练,用相机采集了6种类别的手势图像,丢弃里面一些目标不完整的图像,最后留下了2540张图像,通过LabelImg软件对手势图像进行标注,制作手势数据集。(2)采用深度学习模型YOLOv4进行手势研究,并对YOLOv4模型做出改进,使手势检测的准确性得到提升。首先在YOLOv4的基础上,将输入图像分辨率大小调整为416×416,然后利用K-means++算法在自制的手势数据集上进行聚类,生成9个更符合手势特征的先验框尺寸,提高先验框的定位准确度。其次,为了有效减小预测框和真实框宽高之间的真实差异,对损失函数进行改进,在位置回归损失函数中引入了EIOUloss。最后在自制的数据集上对改进前后的YOLOv4进行实验对比,实验表明改进后的YOLOv4目标预测框更加拟合真实框的位置和大小,同时手势识别的精度得到了有效提升。(3)针对CPU设备算力不足的问题,在改进后的YOLOv4的基础上,提出了一种轻量化的模型YOLOv4-MobileNetv2-Lite来减少模型对算力的需求,减少模型的推理时间,提高手势的识别速度。YOLOv4-MobileNetv2-Lite通过将改进后的YOLOv4中的CSPDarknet53主干网络替换为一种轻量化的网络MobileNetv2,用深度可分离卷积去代替颈部和头部中卷积核大小为3×3的标准卷积,使模型的参数量和乘法累积操作数显著下降,手势识别的速度得到了很大的提升。最后为了让模型在处理图像的时候更加关注目标手势区域,在MobileNetv2主干网络和有效特征层之间加入注意力机制CBAM,提高模型的性能。(4)基于轻量化模型YOLOv4-MobileNetv2-Lite搭建了一个手势控制音乐播放器的应用交互系统,将手势识别用于人机交互当中。音乐播放器通过Py Qt5进行搭建,使用轻量化模型YOLOv4-MobileNetv2-Lite进行实时的手势识别,并将识别的结果转化为指令传输给音乐播放器进而控制音乐播放器做出相应的操作。最后通过实验验证了YOLOv4-MobileNetv2-Lite模型的有效性和实时性。
其他文献
歌曲《领悟》由著名台湾音乐人李宗盛作曲作词、台湾女歌手辛晓琪演唱,于1994年8月制作发行的一首流行音乐作品。这首歌曲通过唱词文本和旋律发展的高度结合,表现了人们在爱情成长中所经历的悲情苦痛与无助绝望,是一首堪称经典的流行声乐作品。本文以歌曲《领悟》作为研究对象,首先从李宗盛的生平和流行歌曲《领悟》的创作背景入手,对这首作品生成的“音乐文化语境”予以阐述;其次,从作品的曲式结构分析、唱词文本表述两
在这个信息时代的大背景下,以数字信息技术为中心的新兴力量正以一种不可逆转的态势蓬勃发展。受到了各个行业和各个领域的广泛关注和认可,特别是在教育方面,信息技术和语文学科的深度结合,既满足了现代教育发展的需要,又打破传统语文教学的障碍,提高了教学的整体水平。文章探讨了信息技术与小学语文教学深入融合的策略,以期能为小学语文教学工作带来一定的参考和帮助。
Castleman病(CD)为一种罕见的淋巴增殖性疾病,可根据受累部位及临床表现进行多种分类。与成人相比,儿童CD病例相对罕见,仅有少数病例报道。CD的发病多认为与IL-6升高有关,近年来对该病机制及治疗研究更加深入。
给出一个离散型随机变量与一个连续型随机变量的二元函数的分布函数解析式,推导出离散型与连续型随机变量的积商和极值的分布函数的一般形式,并证明了积与商在不同条件下可能为连续型随机变量,也可能是奇异型随机变量的事实。
沿循化学键发展史、创设实验和文献情境、分析实验数据,引导学生自主建构化学键的概念及其表征方式。研究结果表明:基于化学史和实验数据的教学不仅能帮助学生充分理解概念的含义,在学生构建概念并解释真实问题的过程中,还能发展学生宏微结合、证据推理、科学探究与社会责任的化学学科核心素养,认识化学研究的创新方法和研究结论的相对合理性。
<正>《普通高中化学课程标准(2017年版)》(以下简称课标)基本理念之一是选择体现基础性和时代性的化学课程内容。结合人类探索物质及其变化的历史与化学科学发展的趋势,引导学生进一步学习化学的基本原理和方法,形成化学学科核心理念。2017年版课程标准在具体的主题教学提示中也有关于化学史教学的建议。例如,主题1化学科学与实验探究部分有关于情境素材的教学建议,课标建议提及“有关化学发现的故事”和“有关理
期刊
<正>随着生态文明建设深入推进,一块块生态环境的短板正在补上,一个个阻碍绿色发展的体制和制度坚冰正在消融,绘出人与自然和谐共生的美丽图景翻开世界植被图,你会发现,整条北回归线上的陆地大部分被沙漠覆盖。然而,在我国华南地区,却可以见到大片的森林。其中,位于广东省肇庆市的鼎湖山最为抢眼,被誉为"北回归沙漠带上的绿色明珠"。
期刊
<正>17世纪,欧州的贵族生活奢靡,盛行赌博活动.在一场赌博中,规定赌博双方谁先胜6局就算赢.在一个赌徒胜了5局,另一个赌徒胜了2局的情况下,赌局被中断了,那么赌金应该怎么分?有人认为,应该按5:2的比例,把赌金分给双方;也有人认为,赌金应全部给第一个人.这类问题引起了当时的大数学家费马和他的好友帕斯卡的浓厚兴趣.随后,他们各自对该问题进行了深入探讨与研究后,
期刊
由于新冠肺炎疫情的影响,高校开展了线上教学。随着考试季的到来,线上考试成为教师开展教学评价的一个重要途径。以疫情防控常态化背景下线上考试管理存在的问题为出发点,重点探讨提升考试管理质量的途径。