基于彩色与深度图像的唇读技术研究

来源 :电子科技大学 | 被引量 : 2次 | 上传用户:asgtzyj_lxj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
唇读技术是一门新型的多种交叉学科研究技术,涵盖了图像处理、模式识别、计算机视觉中的关键技术。由于视觉方面的优势,广泛应用于辅助聋儿康复、辅助语音识别、手势识别和个人身份认证等方面。本课题通过对国内外研究成果的总结,对唇读技术的各个关键模块进行了较为深入细致的研究。主要工作包括:(1)自建了小型彩色与深度图像数据库。由于本课题研究方向的特殊性,需要彩色图像与深度图像相对应的数据库,而目前并没有这样的成熟的数据库,因此自建了小型的彩色图像与深度图像相对应的数据库,并完成前期视频分割,得到发音的关键帧图像。(2)对唇部区域定位进行了相关的研究。采用基于人脸检测与五官相对结构的唇部区域定位方法对唇部区域进行精确的定位,并通过大量实验,研究得到唇部区域相对于鼻子在人脸区域分布的最佳参数。实验表明该方法以及通过该方法得到的参数可以精确的标定唇部区域并且尽量排除其他干扰。(3)在唇部分割技术的研究方面,提出基于彩色与深度图像的唇部分割方法。对于彩色图像,采用基于Lab色彩空间a分量的唇部提取方法进行唇部提取,同时在阈值选择方面进行了研究,通过实验证明应用Otsu法能够得到更好的分割阈值。对于深度图像通过彩色图像的映射得到深度图像的唇部区域,对深度图像的唇部区域利用k均值聚类进行分割。并且在两种图像的结合方法和除噪方法上进行了研究。实验证明基于彩色与深度图像的唇部分割方法能有精确有效的将唇部像素和非唇部像素分离。(4)在唇部特征提取方面,研究了基于投影法和可变模板相结合的特征提取方法。首先利用投影法较为精确的找到可变模板的初始化点,然后令可变模板在初始化点周围小幅度迭代,这样的方法大量减少了迭代的次数,提高了可变模板的匹配速度。另外,在识别方法上利用SVM分类方法进行了分类实验,实验证明该方法能够提高唇读系统的识别率。
其他文献
目的 研究袋鼠式护理对新生儿神经行为以及体格发育的影响.方法 选取我院2013年5月——2014年5月经阴道分娩的新生儿100例为研究对象,将其随机分为2组,观察组50例,对照组50例
数字电视技术取代传统的模拟电视技术是电视技术发展的必然趋势,在此背景下,原有的电视播出系统已不能适应技术的发展和自身的变化,必须利用数字技术和网络技术建立新一代的
随着通信技术的迅猛发展,多种异构网络之间的互联和融合成为一种趋势。用户希望通过一种统一的交换平台承载不同的网络业务,这样能够降低重复投入,使对不同网络的管理能够标
目的 探讨临床上对患有肝硬化腹水合并低钠血症患者实施护理干预措施的临床效果.方法 采取随机实验法,以我院收治的60例患有肝硬化腹水合并低钠血症的患者作为研究对象,均分
随着科技的发展,互联网上的应用发生了巨大的变化,由传统的文本数据转化为包含图像、视频、音频、文本等多媒体数据。由于用户越来越向往着更高的自主选择权,这使得视频点播技术
目的 探究巡回护理在精神科护理安全管理中的作用,为今后临床护理提供可靠的经验.方法 随机选取400例2015年4月——2016年4月来我院就诊的精神科患者,将所有患者随机分为两组
目的 对恶性肿瘤患者伽马刀放疗期间的护理进行观察与分析.方法 对该院在2014年6月——2015年6月接收的41例接受伽马刀治疗的恶性肿瘤患者进行观察,根据不同的患者的特点进行
文语转换是一种比较高级的、有广泛应用价值的计算机语音输出的形式,具有广泛的应用前景.该论文针对主要合成基元为词的汉语文语转换系统,从制约其合成音质的几个角度出发进
目的 为了不断提高护理质量,减少护理缺陷,杜绝严重差错事故,实现满意服务.方法 将精细化管理应用到质量改进中,在计划阶段注重细节,执行阶段注重周密,检查阶段突出精细,反馈
目的 分析分析急救护理路径在现场猝死患者中的应用.方法 选取2014年7月到2015年7月我院收治的现场猝死患者30例作为对照组,给予常规急诊护理;选取同期同类型患者30例作为研