多视图深度高斯过程回归模型及其快速训练方法

来源 :华东师范大学 | 被引量 : 0次 | 上传用户:yinmeng6112501
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度高斯过程(deep Gaussian process,DGP)是一种流行的概率建模方法,它具有强大的功能,适用于函数近似和不确定性估计,能广泛应用于各个机器学习领域。随着大数据时代的到来,数据的获取方式和特征类型不断增多,出现了越来越多的多视图数据。然而,传统的DGP主要处理的是单视图数据的建模问题,缺乏对多视图情况的考虑。因此,本文主要研究的是多视图深度高斯过程,提出了一般化的多视图深度高斯过程回归模型以及可以使训练过程更加高效的预训练多视图深度高斯过程模型。首先,对于来自不同的来源或者是由不同类型特征构成的多视图数据,本文考虑了不同视图的数据特性,提出了一个端到端的多视图深度高斯过程(multi-view deep Gaussian process,MvDGP)回归模型,以区别地捕获不同视图 的数据和特征。在推理的过程中,本文在经典的概率推理方法的基础上做了两方面的改进。一是没有像一般的贝叶斯训练框架一样强制地假设各潜变量层之间相互独立,而是保留了模型假设的灵活性以确保模型的性能。二是采用了稀疏变分推理和随机优化等技术,提高了模型对大规模数据的建模能力。同时,MvDGP模型不局限于两个视图的建模,它可以泛化到更多视图的场景,且各个视图网络的深度可以根据数据特性灵活地进行设定。在真实数据集上的实验结果表明,MvDGP模型对于多视图数据具有显著的建模表示和不确定性估计能力,并且在大规模数据中可行,其性能优于常用的多视图学习方法和最新的DGP模型。其次,为了进一步加快MvDGP模型的训练速度,本文提出了一个预训练的多视图深度高斯过程(pre-trained multi-view deep Gaussian process,PreMvDGP)模型。基于高斯过程等价于无限宽的神经网络,以及神经网络和单层高斯过程的训练难度低于深度高斯过程这两个事实,本文为MvDGP模型设计了一个适应多视图输入的两阶段预训练方法。在预训练的第一阶段,使用一个与MvDGP模型具有类似结构的深度神经网络对给定数据进行训练。在预训练的第二阶段,将第一阶段训练得到的神经网络中各个隐藏层值作为对应的单层高斯过程模型的输入和输出,训练得到各个单层高斯的参数。经过这两个阶段的充分训练,可以为MvDGP模型提供一组合适的初始参数,从而加快模型的训练速度并提升模型的泛化性能。实验结果表明,PreMvDGP模型在分类任务中与MvDGP模型一样具有突出的性能,显著优于常用的多视图学习方法、最新的DGP模型和深度神经网络,且该模型适用于大规模的多视图数据。PreMvDGP模型通过预训练方法可以使模型更快地达到收敛,大幅缩减了训练所需的时间。该模型在保证分类性能的同时提升了计算效率,其运算速度与最先进的DGP模型相比具有明显的优势,在实际应用中具有重要意义。综上所述,本文所提出的MvDGP模型可以有效地处理大规模的多视图数据,PreMvDGP模型进一步地提升了计算性能。本文的工作是DGP模型在多视图场景和大规模数据中的泛化和完善。实验结果验证了所提出模型的合理性和有效性。
其他文献
铜基材料由于优良的性能和较低的成本,被广泛用于电子电气、机械制造、航空航天等许多领域。随着社会和科技的迅速发展,许多新兴技术领域对铜材料的要求越来越高,尤其对高强高导铜材料甚至超高导电铜材料有着很大的需求。现阶段最有望协调铜基材料强度和电导率倒置关系,实现高强高导铜基材料的方法之一是将具有超高力学性能和电学性能的石墨烯作为第二相加入到铜基体中。石墨烯与铜的制备主要存在三个问题:一是优良复合界面的实
软磁复合材料主要是通过磁粉与绝缘介质混合并压制而成的,因其优异的软磁性能而被广泛应用在电感、变压器以及电机磁芯等电子元器件中。尽管电子电器等工业领域对软磁材料日益增长的需求促进了其快速发展,然而较高频率下的损耗尤其是高频时的涡流损耗则严重限制了其稳定应用。因此,在磁粉颗粒表面包覆致密均匀、厚度适中且电阻率高的绝缘层是降低涡流损耗主要解决措施。以树脂为主要组成的有机绝缘剂多为物理包覆过程,导致绝缘层
在本学位论文中我们将首先研究真合取一致零模在三角模、三角余模和一致模类Umin∪Umax上的分配性与条件分配性.根据获得的结论,不难发现,对于解的存在性,所考虑的全部情况其分配方程与条件分配方程等价.也就是说,如果算子对(F,G)条件分配方程有解,那么其分配方程也有解,反之亦然.特别的,如果方程的解存在,那么除了G是三角模外,两个方程的解的个数是不相等的.显然,条件分配方程解的个数要更多.进一步,
《普通高中语文课程标准(2017年版)》首次提出了十八个学习任务群,“当代文化参与”学习任务群位列第二,并且贯穿必修、选择性必修和选修三个阶段,在必修阶段占0.5学分和9课时。其重要程度不言而喻。这一任务群不仅能增强学生的文化自信还能拓宽学生的语文学习空间,锻炼学生的综合实践能力,增强语文学习与社会生活的联系。因此,笔者以哈尔滨城市文化参与为例对“当代文化参与”学习任务群进行研究,期望能为一线教师
学位
介电弹性体作为一种新型电活性聚合物,由于具有质量轻、响应快、机电转换效率高等特点,在柔性驱动器设计领域受到了广泛的关注。锥形介电弹性体驱动器相对于平面膜、堆栈型等
一维纳米半导体材料具有优异的电学和光学性质,在构筑纳米电子和光电子器件等集成电路和功能元件的进程中充当重要角色。NiO是一种直接宽带隙半导体材料,由于其特殊的电子结
随着电子产业的不断发展,工业生产对电子封装密度和集成度提出了更高的要求,从而使电子封装技术面临新的挑战。近年来,三维硅通孔技术不断创新,为芯片的封装提出了一种新的思路。其中,超薄高保形绝缘层的制备是实现三维TSV垂直互联的关键技术之一,但随着TSV直径的减小和深宽比的增大,传统的工艺越来越无法满足性能的要求。现有研究发现,水相接枝绝缘层的方法可以制备出均匀致密,与基底结合牢靠,绝缘性能也满足要求。
随着能源危机及环境污染等问题愈发严重,寻找可替代能源迫在眉睫。生物质能具有分布广、储量大、可再生等优点,已受到国内外广泛的关注。利用快速热解技术能够将结构复杂的固体生物质转化为高附加值液体产物,是生物质高效利用的重要途径之一。然而,常规热解得到的液相产物存在成分复杂、目标产物含量低等问题,不利于分离提纯,经济性差。预处理能够改变生物质的化学组成和结构,提高其热解选择性。在众多预处理工艺中,生物预处
烟草青枯病作为一种由青枯雷尔氏菌引起的土传性病害,在长期连作的模式下极易爆发并造成严重损失。土壤是植物生长的基础载体,其中土壤微生物是维持土壤健康的关键因素之一,也是影响烟草青枯病发生的一个重要生态因素,已有研究表明,生物熏蒸在土壤理化性质改良、主栽作物生长、病虫害控制等方面均有一定作用,而系统地研究生物熏蒸对连作发病土壤微生物群落结构的变化及对烟草青枯病的控制效果至今没有报道。本文主要通过盆栽试
超分子化学为化学家合成许多具有应用前景的材料提供了一种有效的途径。科学家们精心设计含有合适空腔结构的化合物时,总希望它们能够用来专一且可预知的催化一些反应。事实