基于神经网络的金融领域新闻标题改写

来源 :华东师范大学 | 被引量 : 0次 | 上传用户:wuyoucao654321
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
文本复述任务是自然语言处理的重要研究方向之一,旨在对同一文本以不同表达方式表述相同语义。该任务与自动问答、文本摘要和机器翻译被共同列为衡量机器自然语言理解的四条核心准则,同时该任务也被广泛应用于辅助自动问答、文本蕴含、机器翻译等场景。目前主流的文本复述方法主要基于神经网络和Seq2Seq架构,虽然这种主流技术在通用领域拥有不错的性能表现,但是当涉及某一具体领域场景时,例如金融领域,由于金融领域涉及较多专业的金融术语与实体信息,通用领域知识无法直接迁移使用,性能表现也远不及工业精度要求。文本复述已开始有针对金融领域场景的研究,可以辅助行业投研人员筛选高价值新闻事件并对相关新闻进行二次检索。但是针对中文金融领域新闻标题的文本复述生成模型尚未出现,为了能够结合中文金融领域知识并提升中文金融标题的改写性能,本文提出了改进的基于神经网络的复述生成方案。本文的核心贡献如下:1.本文构建了一份金融领域新闻标题改写数据集,并基于此数据集验证实验结论:结合本文所探讨的文本复述生成课题和真实工业场景,本文给出了新闻标题改写数据集的构建过程并基于此数据集验证实验结论。本文使用多种数据增强技术对获取的数据集进行扩增,根据命名实体识别的结果改进了预训练语言模型并对其微调得到了泛化能力更强的带标注数据集。2.本文提出了一种新型的基于神经网络的复述生成模型,增强了复述模型的能力:本文针对金融领域文本复述面临的关键技术挑战,提出了一种基于Seq2Seq架构的文本复述方法。本文在Encoder端采用Bert预训练语言模型作为特征提取器,在Decoder端使用LSTM模型作为文本生成器,并且在Encoder和Decoder端加入了 Context的注意力机制层,来强化模型捕捉Context信息的能力。3.本文进一步提出了多个改进的文本复述方法,解决了多项重难点问题:本文在基于神经网络的复述生成模型基础上,通过引入混合粒度的编码信息以消除中文分词的影响、通过增加注意力机制以解决OOV问题、通过预训练语言模型以融入领域知识从而解决现有模型框架生成的复述文本“可读性差”的情形、通过引入集束搜索的生成策略方式以解决现有模型框架生成的复述文本“多样性不够”的情形,从而进一步提升了模型的性能。
其他文献
光电设备广泛应用于现代靶场跟踪测量领域,在导弹外弹道测试以及姿态测量中占有举足轻重的地位。针对光电设备的健康状态评估是保证其运行安全性和可靠性的重要保障手段,也是运行、检修与维护的重要依据,具有相当的技术先进性和实施迫切性。从当前的研究来看,由于其针对性和专业性较强,应用于光电设备的健康状态评估技术方法研究相对较少,整体评估的准确性有待提高。造成这样的原因有二:一方面光电设备状态参量类型多、数据大
在烧结矿生产过程中为了保证生产的连续性和可操作性,对进出的物料和中间工序,设置了许多中间矿仓,对进出矿仓的物料进行控制就是烧结物料平衡控制。物料平衡的控制思想就是要在整个连续的烧结生产过程中,确保需求量和消耗量相等,从而维持料仓料位平衡。本文在对烧结工艺机理进行分析的基础上,针对烧结物料平衡控制的难点,提出了物料平衡控制策略和控制系统结构。在烧结过程控制中,不同的矿仓,不同的工艺设备要采用不同的控
精确的全维势能面是进行高效分子动力学模拟的必要条件,许多工作都致力于构建具有正确物理性质的可靠的势能面,例如势能值相对于分子体系中相同原子交换的不变性。本文通过拟合五个典型反应体系,OH+CO、H+H2S、H+NH3、H+CH4和OH+CH4,比较了四种基于神经网络(Neural Network,NN)的势能面构建方法的性能。这些方法可以分为两类:基于神经网络的不变多项式方法和高维神经网络方法(H
随着化石燃料的枯竭和环境的恶化,发展高效可替代的新型能源装置成为了当务之急。在众多能源转换装置中,直接甲醇燃料电池凭借着高能量密度,低启动温度以及储存,转移的灵活性引起了广泛的研究兴趣。直接甲醇燃料电池的电化学性能极其依赖于阳极催化剂的构建和设计。截至目前Pt基催化剂由于优异的电催化表现被视为最高效的阳极催化剂。然而,在甲醇氧化反应过程中由于中间物质在Pt表面的强烈吸附造成的缓慢的动力学反应限制了
近些年随着电子元器件向着多功能集成化的发展,同时具有固体荧光和场效应特性的有机半导体材料受到了广泛关注。高场效应迁移率的材料往往具有分子间π-π相互堆积,但是这类面面堆积会导致分子固体荧光的淬灭。本课题组研究了由萘四酰二亚胺(NDI)分子与乙烯基链接构建的共轭聚合物PNV,该聚合物在固态下可以呈现出较强的红色荧光,量子荧光产率达到了33.4%。同时PNV能够显示出n型场效应性质,但其电子迁移率较低
~~
会议
要解决能源短缺的问题,就必须先实现能源的高效利用,这是实现人类社会可继续发展的必经之路。其次作为当今社会最有前景的新一代能源存储和转换装备,超级电容器拥有相当可观的高功率密度,可以快速的发生充放电反应,与此同时,超级电容器还拥有非常稳定的循环性能。超级电容器的电化学性能主要取决于电极材料是否具有优秀的导电率,更大的比表面积,高的质量比电容以及化学反应过程中是否具有稳定的结构。因此,为了突破超级电容
随着电子信息技术的不断发展,宽禁带半导体材料在发光二极管、太阳能透明电极以及日盲紫外探测器等领域的应用引起了越来越多的学着关注。而具有直接带隙的氧化镓以其高的禁带宽度(4.9eV),优良的可见光和紫外光透过率逐渐成为一个新的研究热点。本论文采用光学浮区法制备了β-Ga2O3单晶,并初步研究氧化镓晶体的掺杂,同时对所制备的晶体进行了性能的表征,取得了以下成果:(1)探究了光学浮区法制备了β-Ga2O
在钢铁企业中,焦炭质量和产量对后续产品的生产有着至关重要的影响,而四大机车的稳定性、运行效率直接影响着焦炉的生产,影响着焦炭的产量与质量。并且四大机车高效稳定运行是焦炉正常生产的重要保证,对焦炉寿命和环境污染防控有重要作用。因此保证四大机车高效稳定运行对于钢铁工业生产有着十分重要的意义,是提高焦炭产量与质量、延长焦炉炉体寿命、节约能源、减少环境污染的重要技术措施。本文以首钢京唐公司焦化作业部的现场
改革开放的40多年以来,我国的经济获得空前发展,城市化也在不断深入。然而随着城市化程度的提高、城市规模的不断扩大、人口的高度集聚,因城市公共服务短缺或布局不合理引发的上学难、看病难、道路交通拥堵、城市污染严重等“城市病”对城市的进一步发展提出了质疑。城市公共服务的供给是城市发展中的一个重要组成部分,也是政府和居民十分关注的方面。城市公共服务的供给状况不仅可以折射出地方政府的管理水平,还决定着城市的