基于动量对比图表征学习的金融文本分类

来源 :华东师范大学 | 被引量 : 0次 | 上传用户:ylg_lanxi
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
文本分类任务在金融行业研究中有重要意义,服务于风险控制、股票预测、证据公开和流程规范等方向。当前成熟的通用文本分类方法仅考虑了语义信息,应用在金融领域的细粒度分类体系中时表现欠佳。针对此问题,本文根据文本和命名实体之间的蕴含关系构造金融文本-命名实体图网络结构,通过在图网络上进行卷积让文本表征同时融合语义信息和领域内知识信息。当前工业界应用效果突出的图表征学习方法通常基于有监督的方式,依赖人工标注的数据集,而在无监督方式上的探索稀少,且传统无监督方法的图表征学习模型效果难以保证。近年来对比学习在图表征学习上突破了传统无监督学习方法的效果瓶颈,但现存方法忽略了负样本数目对效果的贡献,且面临大型图网络时,通过随机采样节点的方式获得全局表征,损失了局部表征和全局表征之间的互信息,尚未能达到工业应用的效果要求。因此,本文提出采用自监督动量对比方法来学习图网络表征的模型(G-MoCo):·本文将文本分类问题转化为图表征学习任务,结合领域知识表征文本。针对成熟文本分类方法在垂直领域内的细粒度分类效果不佳的问题,本文通过构建文本-命名实体图网络,将问题转化为学习图节点表征,使得语义信息和领域知识信息同时融入文本节点表征中,再将文本表征输入下游分类器,通过提升文本表征能力来提高金融领域文本分类效果。·本文采用考虑节点相互影响的子图采样方法。针对现有方法局部表征和全局表征互信息损失的问题,本文在完整图上采样子图,使用子图中的节点作为局部表征,子图的所有节点信息压缩后作为全局编码,再使用子图的局部和全局编码进行对比学习。在采样子图过程中,本文使相互影响程度更高的节点对有更大的概率被采样在一张子图上。一方面使用子图进行学习能降低计算内存需求,另一方面在子图上计算的局部和全局表征关联性更高,不会损失互信息。该方法使模型的Micro-F1精度提升6.9%。·本文提出基于动态字典和动量对比的图表征学习模型。针对现有对比学习方法忽略负样本数量的问题,本文采用动态字典来扩充负样本数目,并分别为正负样本设计单独的编码器,只使用正样本做反向传播更新参数,负样本的编码器采用动量更新的方式以减少计算量和保持字典中负样本表征的一致性。该方法使模型的Micro-F1 精度提升 7.4%。·本文采用正则项去除采样子图引入的偏差。由于采样子图过程中每个节点出现的概率不一致,导致学习过程中会给被经常采样到的节点更大的关注度,本文在卷积网络的聚合函数和损失函数中分别引入了正则项消除偏差。该方法使模型的Micro-F1精度提升9.6%。
其他文献
众所周知,身为资本市场的重要组成部分之一的机构投资者,不仅在宏观领域的促进资本市场整体的发展进步中起到了关键作用,更在微观的公司层面的治理中贡献力量。机构投资者对于公司治理的积极影响已经成为了学术界广泛研究的话题,相关理论成果层出不穷,但是这些研究都是基于同一个假设,即机构投资者对于被投资企业是“一视同仁”的,不存在侧重。实际情况中,被投资企业的股权价值在机构股权投资组合总价值中的份额是不一样的,
《义务教育语文课程标准(2011年版)》在实施评价要点中明确指出要重视培养学生广泛的阅读兴趣,提倡多读书,好读书,读好书,读整本的书。高中阶段的整本书研究成为教育热点,初中阶段的名著阅读教学也有越来越多的学者和一线教师从事相关研究,但初中的名著阅读教学现状并不乐观,《简·爱》的名著导读教学也存在不少问题。基于此,本文聚焦“初中语文《简·爱》的名著导读教学”这一问题展开研究。全文由绪论、正文、结语三
社保基金作为基本社会保险的调剂和补充,关乎国计民生和社会稳定,是社会保障制度平稳运行和改善社会福利的经济基础。社保基金秉承“在保证流动性、安全性的前提下实现社保资金的保值增值”的投资理念。在这一理念的指导下,社保基金在选择投资对象时往往更倾向于业绩好,经营稳定,有成长性和现金流充足的企业,在持股周期上倾向于中长期持股。正是由于社保基金的这种特性,使得其能更深入、更广泛的影响公司治理。此外,社保基金
随着“懒人经济”的发展,消费者者更快速、便捷地吃到更有质量、更丰富的餐食的需求在整体快速增长,方便速食行业进入了快速发展时期,而2020年的疫情又加速了这个行业的发展。然而方便速食行业在快速发展的同时,迅速地涌入了无数的品牌,方便速食行业迅速成为红海。如何在众多产品同质化严重、营销策略接近的条件下,调整自身营销策略,是所有速食品企业当下直面的问题。本文以作者所在的MX公司作为研究对象,对MX公司速
股东获取有效信息是参与现代公司治理的前提。在现代公司治理模式下出现所有者和经营管理者两权分离,加剧了股东知情与公司披露信息之间的矛盾。我国《公司法》第三十三条用法律确立股东查阅权的同时,引入正当目的作为限制条件。依托理论研究将正当目的一分为二,即从股东行权角度的积极正当目的和从公司抗辩角度的消极正当目的(不正当目的)。当下,关于积极正当目的认定法律规定空白,消极正当目的认定虽有最新出台的《公司法司
股权质押融资方式越来越受到市场的青睐。相较于传统的融资方式,股权质押具有融资速度快、限制条件少等优势,为出质人提供了高效、便捷的服务。因此,股权质押的市场规模也在逐步扩大。截至2021年2月,中国A股上市公司市场质押总股数达到4786.94亿股,股票的市场价值为42333.04亿元。同时,股权质押融资直接或间接地抑制了上市公司的创新产出水平。一方面,控股股东股权质押加剧了公司的融资约束程度,使公司
全球汽车市场在2017年达到巅峰之后,放缓增速并开始逐步萎缩,接着在2020年遭遇新冠疫情的强大冲击。进入2021年,伴随全球疫情逐步得到控制,车市有回暖迹象,但是整体形势还不容乐观。加上全球汽车电动化等新一代技术带来的汽车行业的转型和升级,这使身处其中的汽车零部件制造企业面临日益复杂的竞争环境,也给企业的生存和发展带来了全新的挑战。采购环节作为企业开源节流和降本增效的重要环节,其重要性越来越突出
2020年国务院发布了《关于全面加强和改进新时代学校体育工作的意见》(1),要求学校必须重视学生的体育教育,在这一背景下,如何有效推进学校体育的相关工作,是重要的热点问题。从上海2020年的统计公报(2)可得,2020年上海市GDP总量3.87万亿,同比增长了1.7%,其中第一产值、第二产值和第三产值增加值分别为103.57亿元、10289.47亿元和28307.54亿元,总产值依然稳居全国第一,
绩效考核是现代企业人力资源管理的重要环节和组成部分,也是企业战略目标得以实施的重要手段,其流程与制度是否科学,会直接影响到企业员工个人能力的提升与发展,并将影响组织绩效的提升和企业远景的实现。随着市场经济的深入发展、信息时代的来临,以美的为代表的中国民营企业在世界名企中的影响力越来越大,更加需要科学的绩效管理体系和制度来提升企业的经营管理能力。本研究以美的冰箱事业部为对象,以国内营销员工的绩效考核
随着金融环境日趋复杂,各个金融机构竞争不断加深,而市场竞争归根到底是人才的竞争。绩效管理不仅是人才激励机制的核心,更是推动组织前进的有力工具,在很大程度上指引着企业全员的努力方向,因此,合理的绩效考核方案在各个企业组织中越来越受到重视。现今,J国有银行G支行业务类型、规模逐步扩大,需要的考核方法日趋多元化,G支行为实现自身经营战略目标,应利用符合自身绩效考核的方法提高业务水准,进而促进支行的可持续