【摘 要】
：
近年来,增加卷积神经网络的深度和宽度成为提升模型性能的一个主要方式,但随着模型越来越复杂,其面临着训练不稳定和特征冗余等问题。由于正交具有范数保持性和向量不相关性,可以降低模型训练难度和参数冗余度,其作为一种约束被广泛地运用到神经网络的优化训练中。但目前的正交约束方法多基于矩阵形式,对于卷积神经网络的高阶张量,需将其重排为二阶矩阵再优化,这一定程度上会导致空间信息损失和优化性能受限。近几年张量乘法
论文部分内容阅读
近年来,增加卷积神经网络的深度和宽度成为提升模型性能的一个主要方式,但随着模型越来越复杂,其面临着训练不稳定和特征冗余等问题。由于正交具有范数保持性和向量不相关性,可以降低模型训练难度和参数冗余度,其作为一种约束被广泛地运用到神经网络的优化训练中。但目前的正交约束方法多基于矩阵形式,对于卷积神经网络的高阶张量,需将其重排为二阶矩阵再优化,这一定程度上会导致空间信息损失和优化性能受限。近几年张量乘法的新定义t-product被应用到机器学习领域,在许多应用中表现出较矩阵运算更好的性能,但其在神经网络上还未被有效应用。为此,本文将正交矩阵约束方法扩展到张量上,对卷积神经网络的权重添加正交约束,解决对应的优化问题。本文的主要工作包括:1、提出基于空间域的松弛正交张量约束方法。本文首先基于t-product的定义推导分析得,正交张量约束的参数优化空间是正交矩阵约束参数优化空间的子集。但t-product涉及快速傅里叶变换运算,给正交张量约束带来额外的复数计算。为此,本文基于正交张量相关性质,将正交张量约束进行放松,先在空间域上对三阶张量的正面切片进行求和,再使用权重正交化或频谱有限等距性质方法对其进行松弛正交约束。本方法在多个图像分类数据集上的准确率超越了其他正交矩阵约束方法。2、提出基于可学习变换域的正交张量约束方法。由于在空间域上只实现了张量的松弛正交约束,无法充分发挥出正交张量的性能,本文将权重映射到可学习变换域上进行正交张量约束,基于梯度下降同时学习变换域的变换矩阵和网络权重。本方法可在实数域进行,避免了离散傅里叶变换域的复数计算,且能够严格满足正交定义,进一步提升了正交张量约束的性能。实验表明,对比基于空间域的松弛正交张量约束方法,本方法能进一步提高模型的准确率。本文提出的正交张量约束方法适用于主流卷积神经网络,能有效降低模型冗余度,提高模型准确率,且运算量少,即插即用。
其他文献
十九大提出海洋强国战略,十四五规划将为建设中国特色海洋强国提速,海洋的发展受到重视,其战略地位凸显。无人船作为加强海洋经济中智能化、自动化的一环,具有广阔的发展前景。路径规划更是无人船众多技术领域中重要的一环。然而,相较于地面环境,海面环境复杂,存在风浪流等外部干扰,严重影响无人船的续航能力。海面上存在除岛屿、礁石这类不可通行的障碍物外,还存在具备探测或攻击能力的风险区域。无人船的续航能力和安全性
本文通过对甲醇合成过程工艺条件和费托合成过程工艺条件的对比分析，提出合成气中羰基铁在甲醇合成催化剂上分解并沉积铁元素，继而催化了费托蜡合成副反应是系统产生蜡的主要因素，有针对性地提出减少产生蜡的解决方案，有效提升了装置运行效能。
随着化工产业的高速发展,作为当今化工产业重要的工业原料,如何提高甲醇产品的整体品质,并使其合成的产品在质量和数量上达到行业需求,已成为行业内关注的话题。本文首先分析了甲醇合成反应原理、操作流程以及合成方法，随后介绍了甲醇合成塔，最后介绍了甲醇合成工艺优化措施，包括工艺参数优化、处理设备优化以及控制措施优化，希望能给相关人士提供有效参考。
三维人脸因为具备空间信息,在诸如人脸识别、影视娱乐和医疗美容等很多应用场合都是重要的研究对象。三维重建的目的是二维样本重建出三维人脸,这是一个逆向的病态问题。传统的基于模板的方法利用大量三维样本作为先验知识建立人脸形变模型,但这类方法仍存在重建精度低,重建人脸真实性不足等问题。近年来,深度学习方法在三维重建领域的应用表现出优越的重建效果和重建速度。综合国内外对三维人脸重建技术的研究成果,本文课题是
人脸识别技术在当代科技大发展的背景下,在安全、法律、监控、金融等领域有着广泛的应用。人脸活体检测任务在确保人脸识别系统的安全、可靠方面起着重要作用,近几年引起各界广泛关注。尽管现有的人脸活体检测方法在单一场景下已经取得较好的效果,但跨场景下的人脸活体检测任务仍是一大挑战。针对此问题,本文基于迁移学习的知识,从域适应和领域泛化的角度出发对提高人脸活体检测任务在未见过的场景下泛化性能进行研究,主要工作
无监督域适应（UDA）旨在通过从数据有标签的源数据域迁移知识来学习数据无标签的目标数据域的模型。在传统的UDA设置中,假定有标签的源数据可用于域适应。随着人们对数据隐私的关注日益增加,无源域数据的无监督域适应作为一种新的UDA设定逐渐受到研究者的关注,该设定假定只有经过事先训练好的源域模型可供使用,而源域的数据仍然是私有的,不再参与域适应。然而,不是所有的场景都能提供一个事先训练好的源域模型,比如
三维物体感知算法在家用机器人、工业制造、智慧物流等领域有着诸多应用。在杂乱室内场景由于物体间相互堆叠以及传感器成本的限制,物体在任意视角下采集的点云数据往往面临着稀疏、遮挡和噪声的问题,这会给深度神经网络的形状编码引入特征不一致性从而对算法的精度和鲁棒性造成负面影响。本文针对杂乱室内场景对三维物体感知算法中的位姿估计和点云分类问题展开研究。在物体六自由度位姿估计问题上,现有算法在面对严重遮挡及深度
弧形机壳表面缺陷检测,由于其弧面特性难以成像,背景变化较大,缺陷特征复杂,在工业检测领域是一项极具挑战的技术。目前手机弧面缺陷检测在流水线上仍是采用人工质检员进行检测的方式,人工检测缺点很明显:鲁棒性差,客观性差,存在人员疲劳问题,检测结果无法形成有效数据集供后续分析。为促进工业制造的自动化和智能化,针对人工质检的缺点,本文基于图像处理、机壳分割、深度学习等方式对弧面边框缺陷智能检测系统进行研究,
甲醇合成反应器是煤化工工艺中合成气合成甲醇的关键核心设备，随着工艺方案不同，目前该设备结构形式多样。径向流反应器是英国Davy甲醇合成工艺技术的成熟设备，该结构具有形式复杂，处理量大、反应效率高及结构紧凑等特点。本文通过文中论述观点希望对今后同类产品设计及制造提供借鉴。
现阶段，我国工业发展速度日益加快，对甲醇的需求量日益增多，制造企业也快速涌现出来。为了促使甲醇生产制造成本有效降低，大部分企业均会采用煤制甲醇的方法，但目前其工艺技术仍未成熟，各种工艺技术类型多种多样，其适用范围和特点各不相同，只有合理选择，才可以使甲醇品质得到保证，最大化控制生产成本。对此，主要对大型煤制甲醇的气化以及合成工艺进行了探讨，以供参考。