在聋校语言教学中,双语教学模式能有效提高聋童的语言学习效率,但对于特殊教师们来说则需花费更多的耐心、时间和精力。面临着我国特殊教育学校的教师资源普遍薄弱的现状,手语识别技术可帮助特教完成语言教学任务——聋童将手语录成视频输入计算机,进而能够学习输出的汉字和唇语,无需老师亲自教学就能完成汉语书面语的学习。另外,计算机只对标准的手语(以《中国手语》为标准)进行识别,借此还可纠正聋童手语方言化的问题。本文研究的是基于单目视觉的手语-唇语转化系统,其关键难点在于手语识别,具体工作如下:一、视频关键帧提取。首先分析了常见的4种视频关键帧提取方法,为了在能完整提取所有关键帧的前提下尽可能消除冗余帧,提出一种基于聚类的视频关键帧优化提取算法。利用卷积自编码器(CAE)神经网络提取视频帧的深度特征,对提取到的特征进行K-means聚类后,采用清晰度筛选取出最清晰的视频帧作为首次提取到的关键帧,再利用点密度方法进行关键帧的二次优化。实验结果表明,本算法能大量消除冗余帧,并同时保证关键帧的完整性。二、对关键帧进行手势识别。针对手部小目标对SSD目标检测网络做了几点改进:将SE-Net嵌入SSD中的特征层提高重要通道的权重;改变损失函数以更好地应对正负样本不均衡问题;使用mixup和归一化操作优化网络的训练。实验结果表明,本文改进的SSD有更高的识别精度。三、手语-唇语转化系统的实现。为了使系统具有更强的实用性和可推广性,输入的彩色手语视频采用单目摄像头录制;为了使手语者自然地表达,手语者打手语时无需佩戴任何设备或在手上做任何标记。系统的第一个输出为汉字和拼音,第二个输出是与汉字相对应的唇语视频。最后使用Vue.js和Spring Boot技术搭建了展示系统的网页。本系统面向的用户是聋人儿童,希望他们能借助自己熟悉的手语学习汉语,包括书面语和口语,不需要特教亲自反复教学就能进行语言学习,对聋校的语言教学具有一定的辅助作用。整个系统只需要借助一个单目摄像头,脱离了其他技术和外物的限制,因此系统的实用性和可推广性更强,具有很大的应用前景。