多维时间序列分类方法及其在唇语识别上的应用研究

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:asas123456123456
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
时间序列通常是指在相同时间间隔上对特定观测点连续取值形成的一组数据。在时间序列的很多应用领域中,一个分类对象可能同时对应多个不同维度的观测点,这些观测点采集的连续数据共同构成多维度的时间序列。当前关于一维时间序列的研究已经很充分,但多维时间序列问题尚未得到充分研究。如何有效地提取多维时间序列中多维度之间的特征,是当前时间序列领域的难点之一。唇语识别作为多维时间序列的应用场景,其本身也是人工智能领域的重点研究问题。为此,本文对多维时间序列分类问题展开了两种不同方向的研究,并将其应用到唇语识别领域,主要工作如下:(1)对基于随机森林的多维时间序列分类算法进行研究,提出了一种由高度随机的决策树组合成的随机森林算法。该方法通过随机选择序列中的维度并将其转换为关联时间序列,提取多个维度序列之间的关联性。以随机选择的代表序列与待划分序列之间的相似性作为决策树分支的依据,在独立构造每棵树之后,通过计算每棵树的权重来改善高度随机对分类准确率的影响。此外,通过随机维度选择与多分支决策树降低单棵决策树的计算复杂度。(2)对基于深度学习的多维时间序列分类算法进行研究,提出了一种结合了注意力机制与循环神经网络的算法。该方法通过注意力机制为多维时间序列的不同维度序列分配不同的权重,从而获取更能够体现辨别性的维度,通过双向循环神经网络提取提取序列内部以及多维序列之间的关联特征,最后将两种网络结构结合起来进行分类识别。(3)对以上两种多维时间序列分类方法在唇语识别领域的应用展开研究,提出了一种面向唇语识别的多维时间序列表示方法。该方法通过人脸关键点检测技术获取唇部关键点坐标信息,将关键点坐标转换为关键点与相邻点之间的角度,结合内外轮廓的高度与宽度,得到唇语特征点序列。为了更好地开展研究,我们自制了一个句子级的中文唇语数据集。之后采用(1)与(2)中的两种多维时间序列分类方法,在公开英文唇语数据集与自制中文唇语数据集上进行实验。实验表明,本文提出的方法有效地改善了多维时间序列的分类性能,在应用到唇语识别领域后,同样具有实用价值。
其他文献
学位
缺血性脑卒中是指大脑供血的血管发生阻塞时引发脑组织坏死的疾病。卒中的诊断一般由专业医师根据临床症状,结合医学影像来完成。相较于昂贵的影像技术,脑电图(Electroencephalogram,EEG)和血流速率(Blood Flow Velocity,BFV)等信号对大脑功能可以进行连续、实时、无创的监测,且费用低廉。本文采用了缺血性脑卒中病人在重症监护室中的EEG和BFV信号,根据美国国立卫生院
学位
无人机场景中,传感器大数据融合将造成数据量指数级增长,进而增大无人机飞控硬件压力。目前无人机端侧硬件算力不足,而广泛使用的图数传将任务卸载到无人机地面控制站这一方法也受到了通信带宽和延时的极大制约,未来需要探索新型无人机端侧强实时、高计算能力。因此,本文设计实现了一个智能无人机系统,引入AI技术,提高无人机端侧任务实时处理能力。本文的研究工作主要分为以下三个部分:(1)硬件设计部分:选取了飞腾FT
电磁诱导透明是一种发生在三能级原子系统中的量子干涉效应,能使不透明的介质变为透明,使介质对探测光的吸收几乎为零。伴随该效应产生的慢光效应、折射率骤增等特性使其在光信息存储、折射率传感等领域有着巨大的应用价值。在传统的原子系统中,实现该效应通常需要超低温、强光抽运等严苛的实验环境,而利用超材料这种人工合成的电磁材料来模拟电磁诱导透明,不仅克服了这一困难,而且能够通过光控、温控、电控等方式实现可调的电
随着互联网的普及和电子商务的高速发展,电子商务凭借其价格低廉、交易便捷等优点融入了人们的日常生活,但是这种购物模式也带来了诸多问题,其中最明显的问题就是消费者无法像实体购物那样直观真实的体验和研究商品的质量和性能,因此消费者越来越依赖在线评论来购物决策,在线评论的重要性也日益凸显。随着商家刷好评和恶意差评等现象的出现,导致很多消费者很难从大量的低质量评论中,识别出真正有用的高质量评论。在这种情况下
学位
交通标志检测在自动驾驶任务中起着十分重要的作用,它属于目标检测方向的子方向。目标检测一直是计算机视觉领域研究的关键问题之一。随着深度学习的快速发展,通用目标检测的精度不断被提升。但是,在交通场景下,通用目标检测存在着很大的局限性。在实际的交通场景中,交通标志存在小尺寸目标多、目标尺度变化比较大、图像质量易受环境影响等很多特点。本文针对通用目标检测方法在交通标志检测这一问题场景下存在的不足,分别针对
低地板车辆因其节能、经济的特点符合现代国家交通发展的需求,并且对于中国大部分的地区都具有较强适应性,逐渐成为现代交通的主流。永磁同步电机具有的体积小、高功率密度等特点,与低地板车辆适应性较高。同时,永磁同步电机体积小、高功率密度的特点会产生较大的温升。永磁电机内部的绝缘层在高温状态下易发生老化,永磁体材料对温度非常敏感,在高温环境下有可能发生不可逆的退磁现象,从而严重影响电机的性能。因此本文针对一
学位