用于无声语音接口的超声图像分析

来源 :天津大学 | 被引量 : 0次 | 上传用户:surfing203
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,设计一款不需要语音便能进行语音交流的设备被认为具有重要的意义,这种便携性的设备被称为无声语音接口。无声语音接口的实现原理是在无声发音的过程中通过传感器获取人体相关发音器官的运动数据,然后进行处理和建模,实现语音信号的转换。无声语音接口可以用于喉癌患者的气管食管发音的替代、防止军事机密泄露、在公共场所保护个人通讯隐私、在静音条件下交流、在嘈杂的环境中进行语音交流以及降低编码率。相比唇部的光学图像,舌部的超声图像包含更多的声学信息,因此舌部超声图像的特征提取是无声语音接口中非常重要的部分。使用未进行特征提取的舌部超声图像去构建无声语音接口会耗费大量的计算,因此需要对图像进行特征提取以保留关键信息。本文首先提出了三种混合特征提取方法:第一种方法称为HWT-PCA,该方法首先对舌部超声图像进行哈尔小波变换,然后使用主成分分析从哈尔小波系数中提取出特征;第二种方法和第三种方法分别称为分块DCTPCA和分块WT-PCA,首先对舌部超声图像进行离散余弦变换或沃尔什变换,根据能量获取部分系数,然后使用主成分分析提取部分系数的特征。之后,本文提出了一种使用局部二值模式和离散余弦变换方法进行特征融合的方式提取舌部超声图像的特征,该方法能够结合频域和空间域的信息,得到更优的特征。特征提取后,使用隐马尔科夫模型对每个音素的视觉观察序列建模。实验数据为基于视觉和听觉信息的语料库,共包含一个人的90分钟的中文连续语料。实验结果表明,本文提出的混合特征提取方法和特征融合方法能够有效地进行舌部超声图像的特征提取,这些特征提取方法能够应用于无声语音接口中,提高无声语音接口的可用性。
其他文献
以染整行业实施的清洁生产改造方案为实例,从能源节约、工艺及设备更新、污染物减排及废水再利用等方面入手,分析清洁生产技术应用情况及取得的成效。结果表明,实施清洁生产
意念的强身健体作用充分体现在健身气功中。随着健身气功的发展,气功逐渐运用于疾病的治疗,意念疗法也随之而生,近年来意念疗法用于脑卒中的康复实践取得了明显效果。任何随
火山资源是一种稀缺的旅游资源,由于其独特的地貌特征和地质构造,吸引了无数的游客观光考察。文章调查了广东湛江的火山资源状况,认为火山旅游资源是不可多得的优势旅游资源,但必
情感是人与生俱来的。原生态的情感是不经过任何掩饰原汁原味的发自内心的情感。女书视觉形态语言的情感设计体现在女书发源地的风俗上、她的文学风格上、女书图案造字说上;女
<正>病例资料患者,男,67岁,因"双膝无力伴疼痛6个月"就诊。6个月前无明显诱因出现双膝无力伴疼痛,曾到医院就诊检查发现血钙升高达4.1 mmol/L,甲状旁腺素(PTH)122 pmol/L。初
高校图书馆是高校师生获取资源和服务的重要场所。面对微世界,高校图书馆需要运用微视角开展服务推广。分析了高校图书馆面临的以微传播、微信息、微文化为特点的微世界,概述
债务履行辅助人是辅助债务人履行债务的合同当事人以外的人。债务履行辅助人责任即债务人对履行辅助人的代负责任.指债务人对因履行辅助人原因导致的违约向债权人承担责任。
目的:通过对人工耳蜗植入术后的低龄幼儿听觉能力的初步发展情况的分析,为患儿制定合理的术后听力言语康复计划提供依据。方法:共有15例患儿参加本次调查,手术年龄为2-4岁,均为
文章首先阐述了中学语文教学中礼仪教育渗透的必要性,然后阐述了中学语文教学中礼仪教育缺失的原因,最后提出了中学语文教学中礼仪教育渗透的路径,包括转变教育观念,重视学生
【目的】掌握低温对南宁市常见园林绿化植物的影响,为今后应对低温冷冻灾害及城市园林绿化树种引种驯化等提供参考依据。【方法】以南宁市城区常见园林绿化植物为对象,对2008