【摘 要】
：
现有唇语识别研究多专注于提高识别精度、研究多模态输入特征等方面，对提高唇部视觉特征的有效性关注不多。而唇部的视觉信息在视觉语音识别和唇语识别中起着关键作用，尤其在音频被破坏或无音频信息时，唇部视觉信息尤为重要。如何获取准确有效的唇部视觉特征是当前唇语识别的重难点工作之一。文章从唇语数据集、传统视觉特征提取方法、视觉特征提取的深度学习方法三个方面综述了唇语识别方向近年来的最新研究工作：首先，总结了唇
论文部分内容阅读
现有唇语识别研究多专注于提高识别精度、研究多模态输入特征等方面，对提高唇部视觉特征的有效性关注不多。而唇部的视觉信息在视觉语音识别和唇语识别中起着关键作用，尤其在音频被破坏或无音频信息时，唇部视觉信息尤为重要。如何获取准确有效的唇部视觉特征是当前唇语识别的重难点工作之一。文章从唇语数据集、传统视觉特征提取方法、视觉特征提取的深度学习方法三个方面综述了唇语识别方向近年来的最新研究工作：首先，总结了唇语识别数据集，将唇语数据集分为正视图和多视图两种类型，并总结整理两类数据集的特点、局限性和下载地址；其次
其他文献
水下拍摄的视频存在质量退化效应。一方面，光线在水中传播时呈指数衰减导致水下视频质量损失，另一方面，水下复杂拍摄环境（例如水流等）造成视频的不稳定性。为此，综合考虑水下视频时空特征和运动特征对视频质量的影响，提出一种针对水下场景的客观无参考视频质量评价模型TS-UVQA(two- stream underwater video quality assessment)。TS-UVQA采用双流网络结构，
铁路轨道的局部变形直接影响火车的高速安全行驶。为实现铁路轨道的自动化巡查，本文提出一种从车载激光点云中提取轨面与枕木的方法。首先，基于高程约束的欧式聚类对原始点云数据进行预处理得到路基区域；接着，对路基区域进行网格划分，并对每个网格内的点云进行高程判断，从而提取出轨面点云；最后，利用枕木与砟石的几何形态差异，设计面向轨道点云的动态阈值分割方法，以提取出枕木点云。针对多个路段的铁路轨道进行实验，结果
针对磁瓦图像光照不均匀、对比度较低、表面干扰磨削纹理较多的问题，本文提出了一种基于改进的同态滤波与Canny算法的磁瓦表面缺陷检测算法。首先，采用改进的同态滤波传递函数将磁瓦图像分解成高频图像和低频图像，用连续均值量化变换（the Successive Mean Quantization Transform, SMQT）增强高频图像，再将增强的高频图像与低频图像融合便能够得到光照较均匀和对比度较高
针对传统水平集方法在分割灰度不均匀图像的过程中存在的分割精度低问题，提出一种自适应区域拟合的非均匀图像分割算法。首先构建自适应的区域拟合能量项来保留更多待分割图像局部区域内的细节信息，实现图像的准确分割。其次引入非凸正则项来平滑曲线并保护图像的边缘。然后添加能量惩罚项对水平集函数进行约束，提高算法的分割效率。最后对合成图像和真实图像进行实验验证。实验结果表明，该算法的Dice相似系数平均值为88.
基于空间自相关理论，探讨黄淮海平原旱作农田土壤有机质含量的空间分布结构，以及有机质与土壤黏粒含量和容重的空间相关关系。结果表明：黄淮海旱作农田土壤不同土层有机质含量区域均值分别为20.11±6.46(0～10 cm),14.76±5.11(10～20 cm),9.96±4.14(20～30 cm),8.03±3.45(30～40 cm)g·kg-1，分别处在三级至五级水平；0～20 cm各土层中，
针对现有多模态情感分析方法中存在情感分类准确率不高、难以有效融合多模态特征等问题，通过研究分析相邻话语之间的依赖关系和文本、语音和视频模态之间的交互作用，建立一种融合上下文和双模态交互注意力的多模态情感分析模型。该模型首先采用双向门控循环单元(Bidirectional Gated Recurrent Unit，BiGRU)捕获各模态中话语之间的相互依赖关系，得到各模态的上下文信息。为了学习不同模
该文受用户认知研究启发,探究新浪微博平台中多图推文的图像位置与布局对图像内容向用户互动参与行为转化过程的影响。使用基于单图推文数据训练的XGBoost模型预测多图推文中各张图像所具有的“用户参与潜力”,通过相关分析、Z检验、OLS回归分析验证图像位置、布局与用户参与的关系。研究结果表明,在新浪微博平台的多图推文中,图像位置与布局因素能够在一定程度上影响用户互动参与,具体表现为:1)在图像位置效应中
镁离子是植物生长发育所必需的营养元素之一，在一系列生理生化过程起着重要的作用。高镁胁迫影响植物正常生长发育，但到目前为止有关植物响应高镁胁迫的机制报道较少。MGT6是植物中第一个被报道定位于细胞质膜，在低镁条件下介导植物根部吸收镁离子的蛋白。本研究发现MGT6的突变体和RNAi干扰植株在高镁条件下出现叶片变黄，地上部分变小的表型，该表型能被一定浓度的钙离子拮抗。这暗示MGT6可能通过调控钙镁离子动
Dear editor,Modern semantic segmentation, which has important applications such as medical image analysis, image editing, and video surveillance, has made remarkable progress using deep convolution ne
人为的动漫线稿着色耗时费力，现有基于深度学习上色方法的着色效果并不是很好，比如颜色混淆不清晰、色彩梯度较差、颜色线条不合理等等。基于上述问题，本文提出了一种基于Swish激活函数残差增强模块的GANS网络，它可以更好地学习到颜色填充时线条的细节，避免颜色超过填充区域，造成颜色混淆。同时，该方法可以直接对线稿到彩色图片进行端到端的训练，仅仅输入线稿就可以自动地对线稿上色，生成颜色丰富纹理清晰的彩色图