【摘 要】
：
场景流表示动态场景中每个点的三维运动,其作为理解三维环境变化的基本特征,广泛应用于自动驾驶、运动分割和动作识别等领域。随着激光雷达技术的发展,点云成为三维数据的基本形式,直接从点云数据中估计三维运动逐渐成为研究热点。以往的点云运动估计任务主要面向自动驾驶场景,本文将其拓展到人脸运动估计应用,估计由表情变化引起的脸部运动,可以客观描述人脸表情,相较于传统二维人脸视频,运动信息更加准确,且不受拍摄角度
【基金项目】
：
国家自然科学基金项目,项目编号61503084；
论文部分内容阅读
场景流表示动态场景中每个点的三维运动,其作为理解三维环境变化的基本特征,广泛应用于自动驾驶、运动分割和动作识别等领域。随着激光雷达技术的发展,点云成为三维数据的基本形式,直接从点云数据中估计三维运动逐渐成为研究热点。以往的点云运动估计任务主要面向自动驾驶场景,本文将其拓展到人脸运动估计应用,估计由表情变化引起的脸部运动,可以客观描述人脸表情,相较于传统二维人脸视频,运动信息更加准确,且不受拍摄角度影响。从表情变化前后的两帧人脸点云数据中捕捉稠密的面部动作是一个极具挑战性的问题,在表情识别和人脸重编辑等领域都有着广泛的应用。针对人脸点云运动估计问题,本文在现有方法的基础上提出了三大创新模块,分别是基于通道注意力的特征提取模块,自适应采样模块和上下文感知的成本量模块,此外还针对人脸数据修改了点云的上采样方法。本文通过详尽的实验表明本文方法在人脸点云稠密运动估计任务上的性能优于目前最先进的方法。综上所述,本文的主要工作如下:（1）对现有不同类型的点云特征提取模块展开对比分析,发现现有的方法仅考虑从空间维度上聚合邻域特征,忽略了通道维度的影响。针对该问题,本文提出基于通道注意力的特征提取模块,对点云卷积的参数进行通道维度的校准,既通过平均池化引入了邻域的空间结构信息,又实现了对输出特征在通道维度上的分组校准,从而提高特征的表达能力。（2）提出自适应采样模块,利用数据驱动的方式对最远点采样得到的采样点进行调整。通过最远点采样得到较均匀分布的采样点之后,本文利用采样点邻域内的特征学习加权系数,以此加权邻域内各个点的坐标,实现自适应地学习采样点,从而使得网络能够根据数据的特征将采样点集中到变化明显的区域,这对于精确地估计出人脸的细小运动有较大的性能提升。（3）提出上下文感知的成本量模块,该模块在编码两个点集间的运动特征时,首先引入更多的欧式空间信息挖掘上下文结构信息,然后联合欧式空间和特征空间的信息回归注意力系数,以此加权聚合邻域内的运动特征,使得模型能够聚焦于更相关的点,提高编码的运动特征的质量,从而回归出更精确的运动矢量。（4）在最后一个上采样层中,提出按照距离平方的反比插值已知邻近点的场景流来得到高分辨率点云的运动矢量,这种简单的修改对于上下嘴唇交界处的点的运动预测效果有明显的提升。（5）在人脸数据集上对现有的五种先进模型和本文提出的模型进行评估,通过定性和定量的实验表明,本文的模型在性能上有明显的优势,并且仅引入了很少的参数,另外通过消融实验表明本文提出的各个创新模块均能有效提升模型的性能。
其他文献
阵列信号处理中,波达方向（direction-of-arrival,DOA）估计是一个重要的研究方向,在众多领域诸如无线通信、雷达、声纳、导航、生物医学信号检测等有极为广阔的应用前景。近30年来,DOA估计算法研究取得极大的发展,对精度和分辨率要求也越来越高,然而绝大多数高精度超分辨率的DOA估计算法是以获知信号源个数为必要条件的。因此,信号源个数估计对后续的DOA估计十分关键。目前信号源个数估计
随着社会生活水平的提高,皮革是日常生活和生产中常见的消费品之一,皮革的应用领域非常广泛,涵盖了制革、制鞋、皮衣、皮件、毛皮及其制品等主体行业,以及皮革化工、皮革五金、皮革机械、辅料等配套行业。但皮革制品在生产制造过程中容易产生瑕疵或缺陷,使得其外观受损影响销售,不利于皮革行业的发展,因此需要检测整个生产过程的皮革,将有瑕疵的皮革筛选出来。传统的皮革瑕疵检测主要包含人工检测和基于机器视觉的检测,但是
随着数字化技术的发展,人体其他感官如视觉、听觉的研究日趋成熟,人们早已实现“千里眼”与“顺风耳”。然而,嗅觉的发展还处于探索阶段,离“万里飘香”依旧任重道远。气味感知是用来描述嗅觉的一种方式,它利用气味描述符对分子气味进行描述来表示嗅感。由于气味组成的复杂性,人们始终没能在气味分子的性质和气味感知之间建立良好的映射关系。本文尝试从气味分子物化特征的角度出发,不仅包括提取分子描述符信息,更是首次通过
随着技术的进步与发展,未来智能新兴技术带来的各个层面更好的实时与交互等服务务必对如今通信系统的频谱效率（Spectrum Efficiency,SE）和系统可靠性有更高的要求。超奈奎斯特（Faster-Than-Nyquist,FTN）通过压缩成型脉冲之间的时间间隔的方式来增加符号传输速率进而提高SE,但采用非正交传输的方式不可避免的会引入码间干扰（Inter-Symbol Interferenc
道路裂缝是道路在外部环境作用下产生的一种病害,在不加修复的情况下可能会导致较为严重的安全事故。道路裂缝检测即通过一定的方法与手段判断道路中是否产生裂缝的一种检测技术。随着人工智能的急速发展,以深度学习为代表的各类人工智能算法开始应用在道路裂缝检测领域中。本文介绍一种基于通道注意力机制与密集连接机制的道路裂缝识别网络Dense Net-SE及其变体Dense Net-NSE,并将该方法与现存技术进行
在语音处理的时候,常常会遇到多人同时说话,声音混合在一起的情况。根据有无混音,混合方式可分为瞬时混合和带混音混合。这些混合的声音会降低语音处理的效率和准确率。因此,人们希望能有效且快速地从混合的声音中提取出干净的声音。随着（深度）神经网络技术的快速发展和完善,语音分离领域涌现出很多基于（深度）神经网络的优秀算法。这些方法可以分为三大类:深度聚类、语义分割模型和“编码器-分离器-解码器”架构。通过分
中国白酒是世界上知名的发酵酒精饮料,消费历史已超过5000年,在世界上享有盛誉。中国改革开放多年,经济腾飞、人民群众生活改善,消费者盲目追求名牌酒的现象频发,生产者为了获取更多利益,导致了用劣质酒假冒高档酒等一系列问题。在鉴别白酒真伪研究方向中,传统的电子鼻数据处理依赖于人工选择特征,预处理步骤复杂,通过传统方法难以提取到传感器响应变化的具体特征。为克服上述缺点,开发一项不依赖于精确的仪器分析或感
随着医学研究的深入,房颤的危害性正逐步受到重视,房颤的监测与治疗已经成为研究热点。对房颤信号的时域特征和频域特征的分析有助于房颤患者身体状况的监测,有助于房颤及其并发症的研究。因此,房颤信号的实时提取具有重要的研究意义。基于模板匹配的单导联房颤信号提取方法运算简便但普遍有提取精度较低的缺点,而基于深度学习的方法虽然已被证明能准确地提取房颤信号,但同时也面临一些问题和挑战。现有房颤信号提取网络规模较
旋翼无人机（UAVs）由于其简单的结构,强大的机动性,以及在商用和军事领域的巨大应用价值引起了研究者们的广泛兴趣。特别在过去的十年里,人们对在轻量级、短距离的空中运输技术的研究兴趣显著增加。轻量级、短距离的空中运输技术对快递配送,城际运输和紧急救援等都有重要意义。因此,作为结构最简单的无人机,悬挂负载的四旋翼无人机是在复杂或危险环境下进行物资转移和物资配送的重要运输工具。由于四旋翼运输系统是一个只
仿人机器人机动的构型使得它具有开阔的应用价值。随着仿人机器人技术的成熟和完善,机器人逐渐掌握了从爬动、行走、跳动到奔跑、空翻的运动能力。在自然界中,许多动物善于运用环境改变自身的运动状态,比如转身或者减速急停。机器人在运动过程中如果来不及减速很有可能会直接与障碍物发生剧烈撞击。因此,如果运动的机器人在面对环境中的壁面障碍物时能够模仿其他动物通过规划和控制自身动作及运动策略让自身转向或者停下,将能够