基于神经网络的言语障碍音节语音评价方法及系统实现

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:songjinyi2001
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当前言语障碍患者的语音康复服务主要采用人工训练的形式,存在资源不足、成本高、不方便等问题。在当今移动互联网技术、人工智能技术以及精准医疗快速发展的大形势下,智能终端应用越来越普及,利用移动互联网和人工智能技术服务于言语障碍康复工作具有重大意义。本文针对言语障碍康复训练中的音节发音正确性评价问题开展研究。将基于连接时序分类(Connectionist Temporal Classification,CTC)的模型应用于普通话孤立音节语音识别,在实验验证方法有效的基础上,提出了三种孤立音节发音正确性评价方法并用言语障碍发音测试集进行测试,最后搭建了一个言语障碍音节发音正确性评价系统。本文的主要工作包括:1.将卷积神经网络(Convolution Neural Network,CNN)应用到普通话孤立音节音调识别,正常发音测试集的识别准确率为95.93%;根据音调识别的特点,提出了使用小规模基本音节集来训练音调识别模型,降低训练数据需求量,实验结果表明当基本音节集选取合适时,即使训练数据量下降到原来的十分之一,模型也能取得92.17%的识别准确率。将CNN音调识别模型应用到言语障碍发音音调正确性评价,取得了75.03%的准确率。2.分析了普通话连续语音与孤立音节语音的区别,实验研究了连续语音识别系统直接应用到孤立音节语音识别任务上的性能及特点,实验结果表明孤立音节时长越长,系统对韵母的识别性能越差。将CTC模型应用到孤立音节语音识别中,通过实验研究了不同建模单元方案的优劣,选择声母+有调韵母作为本文发音评价系统中CTC模型的建模单元。3.基于CTC孤立音节语音识别模型,提出了三种孤立音节发音正确性评价方法,通过实验研究了各方法的性能与优缺点。在言语障碍发音测试集上的实验结果表明:对于声韵母,本文提出的基于声学混淆信息及识别结果置信度的方法能取得最高的总体检测准确率,分别为77.19%和71.16%;基于贪心算法解码的方法能取得最快的检测速度,同时在声韵母上能分别取得68.94%和62.24%的总体检测准确率。4.搭建了一个言语障碍音节发音正确性评价系统,该系统采用客户端-服务端的框架工作,提供言语障碍患者进行语音康复训练的平台。
其他文献
随着社会经济迅速发展,汽车行业呈现出一片繁荣景象。与此同时,人们对于汽车乘坐舒适性的要求也在不断提高。目前纯电动汽车所使用的悬置大多都为普通的单级橡胶悬置,但在使用过程中发现在高转速下存在明显的振动及噪声问题。为改善这一问题,本文对二级隔振橡胶悬置展开研究,主要工作如下:1)研究了橡胶材料的超弹性与粘弹性本构模型。通过对比不同模型的特点,选用MR-广义Maxwell叠加本构模型。开展了橡胶试片的高
再生块体混凝土是废旧混凝土循环利用的一条有效途径。目前,再生块体混凝土已在多个实际工程中成功应用,但在预制构件中应用较少,且尚未在叠合板展开应用。为进一步拓展再生块体混凝土的应用范围,本文对再生块体混凝土钢筋桁架叠合板的力学性能开展了初步探讨,具体工作如下:1.开展了2块再生块体混凝土预制底板和2块常规形式混凝土预制底板的静力抗弯试验,考察了废旧混凝土块体、钢筋叠放次序对预制底板抗弯性能的影响。研
流动餐车在我国受制于城市文明建设长期处于发展相对滞后的状态,但不得不承认流动餐车存在的社会意义不容小觑。随着社会的快速发展,我国的餐饮形式越来越丰富,近年来各大餐饮企业在流动餐车方面的探索和部分地区对流动餐车采取鼓励和支持的政策为流动餐车的发展带来了福音。流动餐车服务设计的研究,将经营者和顾客同时作为被服务对象,能为流动餐车经营者提供更多的经营机会,为顾客提供更好的服务,从而解决流动餐车与城市发展
心肌纤维化是心肌重塑的重要标志,也是多种心肌疾病的基础病变过程。心肌纤维化是在多种病理性因素的刺激下,心肌成纤维细胞增殖、迁移能力增强,向肌成纤维细胞转化并具有更强的分泌细胞外基质的能力。心肌纤维化会使心脏室壁硬度增加,弹性降低,心脏收缩和舒张功能受到损伤,最终发展为心力衰竭。因此,探索调控心肌纤维化发生、发展的分子机制,鉴定有效的干预靶点对于心肌纤维化的治疗研究十分重要。近年来,已有研究证实长链
近年来,随着核磁共振成像技术(MRI)的快速发展,胎儿核磁共振图像逐渐成为临床胎儿早期异常诊断和脑发育分析研究的重要工具。胎儿核磁共振图像质量评估和脑部分割是胎儿大脑三维重建和定量分析的基础。基于胎儿核磁共振图像的胎儿大脑年龄预测对胎儿早期疾病诊断和大脑发育分析也起着至关重要的作用。目前,基于胎儿核磁共振图像的深度学习算法研究仍然存在诸多挑战:(1)数据收集难度大数据量稀少;(2)数据图像质量存在
作为调节细胞行为的有效手段,电刺激在组织工程领域引起了人们的广泛关注。组织工程主要将细胞接种在导电生物支架上,采用电刺激调节控制细胞,观察刺激后细胞行为的变化,从而达到治疗组织损伤的目的。本课题为研究电刺激结合导电聚合物对细胞特定行为的影响,以聚多巴胺部分还原的氧化石墨烯为导电组分,制备了兼具良好导电性和力学性能的复合水凝胶PDA-GO-PAAM,表征了水凝胶的理化性质和生物学性质,并将其与电刺激
刀具磨损是影响加工精度的重要因素之一,磨损过程包含复杂的物理和化学变化,因此如何对刀具行之有效地进行状态监测对保证正常生产具有重大意义。切削过程中形成的振动信号蕴藏大量与刀具磨损相关的信息,且对微弱变化较为敏感。针对此问题,本文以车刀为研究对象,通过多个加速度传感器采集切削过程中机床加工区域不同位置的振动信号,提取可表征不同磨损状态的信号特征并进行融合,最后进行磨损状态识别研究。本文主要研究内容如
如今,信息技术已经渗透到人类生产和生活的各个方面。新一代的无线网络的需求已从简单的移动电话通信网络逐渐发展为无所不在的网络,该网络可在任何时间,任何地点提供任何人或物体之间的通信。为了保障节点连续不断的通信,能量收集技术被提议为延长无线网络的寿命的可行解决方案。其中作为能量收集技术的一个重要来源是通过无线能量传输技术将能量丰富的节点能量通过传输射频信号为低功率无线设备充电。为了使设备在现实条件下更
包含智能手机、平板电脑和智能手表等在内的多种紧凑型电子设备,其设计往往偏向于大尺寸屏幕及整体轻薄化。由于设备内部器件的精密装配,导致对内部结构要求越来越高。对于紧凑型电子设备在日常运输和使用过程中易发生跌落、碰撞和内部设备运行过热等情况带来的可靠性和质量方面上的问题,良好的内部支撑结构设计能够最大程度上减少此类问题的发生。传统意义上的先基于人工经验给出初始设计再进行优化的方法渐渐难以满足市场上产品
超混沌和混沌是非线性动力系统的两种复杂的运动现象.由于混沌行为的随机性和不可预测性等特征,混沌理论在安全通信、非线性电路等领域有着广泛的应用和发展.Segmented Disc Dynamo是一类描述天体间磁场形成和逆转原理的自治动力系统.本文基于该系统提出了一个新四维超混沌系统和一个新五维超混沌系统.从局部动力学的角度上看,两个新系统都可以具有任意给定数量的平衡点,都存在Hopf分岔现象.有趣的