自注意力时序点过程生成模型的Wasserstein学习方法

来源 :太原理工大学 | 被引量 : 0次 | 上传用户:oo789458
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
现实中在不同领域内都存在着大量的异步事件序列数据,而时序点过程是一种有效建模事件序列的数学工具。目前的研究大都是通过建模强度函数来刻画时序点过程,但这种方式需要考虑具体强度函数的参数形式,只能准确描述特定领域下的时序点过程,限制了模型对实际数据的泛化能力;另外,由于深度学习方法在时序点过程中的应用,使得深度时序点过程方法探索实际数据的潜在规律成为可能,但是目前深度时序点过程大多使用循环神经网络对强度函数建模,这种方法限制了模型对真实数据的表达能力,并且在点过程生成或事件预测的许多任务中,强度函数的信息并不是必要的,并且基于循环神经网络的点过程生成研究不能捕捉到事件序列之间的长程依赖,会导致产生不稳定的预测表现。为解决这些问题,本文提出了一种利用多头自注意力机制的点过程生成模型(self-attention WGAN for Temporal Point Process,简称SGT),该模型可以捕捉到事件序列之间的长程依赖关系,可以提高模型的计算效率,并且由于自注意力矩阵描述了历史事件对当前事件的影响程度,使得SGT模型比基于循环神经网络的点过程生成模型更具可解释性。在点过程仿真数据和真实数据的实验中表明,自注意力机制的点过程生成模型比基于循环神经网络的生成模型具有更优的表现。创新点和研究内容具体如下:一、本文提出了一种无强度的时序点过程生成模型,同时也是一种无似然估计的时序点过程学习方法。无强度函数使得模型更具泛化能力;无似然估计使得模型得以减少参数迭代,提高模型计算效率。二、本文将自注意力机制扩展到异步事件序列和点过程生成模式的研究上,并结合Wasserstein距离优化了时序点过程的深度学习方法。该模型使用Wasserstein距离构建损失函数,便于衡量模型分布与真实分布之间的偏差,利用自注意力机制描述历史事件对当前事件的影响程度,使得模型具有可解释性且泛化能力更强。三、本文所提模型拥有可拓展性,在3个仿真数据集和2个真实数据集上的对比实验表明,在缺失强度函数先验信息的情况下,该方法比循环神经网络类的生成模型和极大似然模型在QQ图斜率的偏差和经验强度偏差这两个指标总体上分别减少35.125%和24.200%,证实了所提模型的有效性。
其他文献
本文将集中讨论流域水环境治理的常用技术以及治理流程,并在此基础之上,从管理角度分析讨论如何优化流域水环境管理对策。希望通过探讨和分析,可以为流域水环境管理和治理技术的选择提供更多的参考与帮助,从而进一步提高流域水环境治理以及管理的实际效益。
期刊
高维多参数的非线性系统往往能表现出复杂的高余维分岔行为,对系统的高余维分岔机理展开深入研究并实施有效的控制,对实际工程问题具有重要的理论指导意义.本文研究了离散动力系统1:2共振情形下的余维二分岔的反控制和Hopf-Hopf-flip余维三分岔.主要内容如下从分岔反控制的角度设计了一套非线性反馈控制策略来实现离散动力系统1:2共振情形下余维二分岔的反控制.首先,建立了1:2共振情形下余维二分岔的新
学位
近几十年来,障碍物散射已经在工程和军事领域具有广泛的应用。本文研究了二维频域弹性波障碍物散射和时域声波障碍物散射问题。首先,针对频域弹性波障碍物散射问题,对满足Navier方程的散射场进行研究,该散射场是由横波和纵波耦合而成的向量场。通过将完全匹配层(PML)技术应用于该散射问题,建立有界域上的外边值问题。本文提出了一种结合PML的基于稳定节点的光滑有限元方法(SNS-FEM-PML)求解该散射问
学位
Turán问题是极值组合学中最重要的研究课题之一,其相关结果在离散几何和计算机科学等领域有着非常广泛的应用.给定图G和H,如果图G中不包含H作为子图,则称G是H-禁止的.Turán问题主要研究H-禁止图的最大边数问题.近二十年来,Turán型定理的稳定性问题也被广泛研究,稳定性的相关结果已被证明是非常有用的工具,可以用来解决一些困难的Turán问题.在本文中我们主要研究了有关奇圈的稳定性问题,证明
学位
以1 000 kg牛脂肪为每个样品量提炼牛油,对得到的肾周脂、腹脂和分割脂3种不同部位的牛油采用气相色谱进行脂肪酸组成分析,并使用气相色谱–嗅闻–质谱联用进行了挥发性风味成分检测。结果表明:3种牛油的饱和脂肪酸以棕榈酸、硬脂酸为主,不饱和脂肪酸以油酸为主。3种牛油的棕榈酸含量无显著差异(P>0.05),腰油与肚油的硬脂酸、油酸含量无显著差异(P>0.05),而分割油与腰油、肚油的硬脂酸、油酸含量都
期刊
时至今日,许多传染病仍在威胁着人们的生命安全与健康,其中,最致命的传染病之一当属艾滋病(AIDS).艾滋病是一种危害性极大且致死率极高的传染病.人体感染艾滋病病毒(HIV)后,免疫系统中最重要的CD4+T淋巴细胞将受到HIV病毒的攻击,该细胞被大量破坏,人体的免疫功能逐步丧失,健康状况急速恶化,最终失去生命.因此,我们有必要对HIV/AIDS进行深入的研究.考虑到现实世界中,环境噪音(最常见的噪音
学位
分数阶微分方程是微分方程的一个重要分支,它可以广泛应用于粘弹性力学、信息处理、生物医学和系统控制等领域,并且能够更准确、客观地描述非线性现象或状态,国内外学者对分数阶微分方程解的结构和性质方面做了大量研究,尤其在分数阶微分方程边值问题方面取得丰硕的成果.本文利用具有单调性的非线性算子的不动点定理、单调迭代技巧以及一些经典的不动点定理研究了非线性项中含有Riemann-Liouville(R-L)型
学位
种群资源的开发利用是学术界的一个经典问题,对于此问题的研究,人类不光要考虑短期的经济效益,更应该注重生物资源的开发与可持续利用。而对于生物进化来说,种群为基本单位,是生态系统中不可分割的重要一部分,种群的生长情况是一项反应种群生态平衡的重要指标。通过引入经典的种群模型,研究在色噪声诱导下种群的动力学行为和最优控制,对充分开发利用和保护种群资源有着举足轻重的意义。研究噪声激励下种群系统的动力学行为和
学位
在经济社会亟需转变发展模式的背景下,深入探究绿色金融对区域可持续发展的影响具有重要意义。本文基于中国30个省(市、自治区)2008—2019年的数据,采用非期望产出-超效率SBM模型和熵值法分别测度了可持续发展效率和绿色金融综合发展水平,通过构建面板回归模型实证检验了绿色金融对区域可持续发展的影响,并对其异质性和作用机制进行了考察。研究表明:绿色金融对区域可持续发展效率具有促进作用,相对于东部地区
期刊
在现实生活中,整值时间序列数据是非常常见的,它是由某种现象的某一统计指标在不同时间上的状态所形成的整数计数数据。这类数据广泛用于通讯保障、医疗卫生、法律、保险精算等众多领域。许多学者也提出不同的整值时间序列模型去研究此类数据。其中,固定稀疏参数的一阶混合算子整值自回归模型不再符合现实情况。本文在现有整值自回归模型的基础上,将基于混合算子建立的整值自回归模型中原本固定的稀疏参数设置为随机的,并假定模
学位