论文部分内容阅读
在中国有大量聋哑人群,手语是他们的第一语言,是他们生活、工作和学习的主要手段。近代以来,随着社会的进步和计算机科学的发展,基于计算机合成的中国手语表达给聋哑人群更好地融入社会带来了越来越多的便利。基于视频拼接的手语合成方法具有很强的真实感和可接受程度。它是通过将预先采集的手语视频数据,根据语义或一定的语法规则分割成若干短片段,在合成阶段通过视频片段重组,合成新的手语视频。来自不同句子的手语词由于运动轨迹、手势等的差异,直接进行拼接重组的效果不够流畅,因此需要插入过渡视频库的帧序列来增强真实感。因此构建过渡视频库是实现基于视频的手语合成的重要基础工作。本文以研究面向手语视频拼接的过渡视频库构建方法为目标,主要研究内容如下:1.利用基于粒子滤波的跟踪算法对手语者各关节点位置进行逐帧跟踪。本文对传统粒子滤波跟踪算法进行改进,在跟踪过程中引入了光流信息作为速度特征,小波矩不变量作为轮廓特征,提高了人体关节点位置跟踪的精度,从而获取到每帧中较为准确的双肘和双腕的运动信息。2.基于关节点的运动信息使用信息融合的方法对过渡帧边界点进行判断,从而构建过渡视频库。