考虑语义的网页主题信息抽取方法研究与实现

来源 :东南大学 | 被引量 : 0次 | 上传用户:hxz22
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着Internet及其技术的快速发展,互联网已然成为了当今最大的信息载体。然而,大部分网页中往往不只包含有价值的信息,更包含着诸如广告、导航信息、版权声明等与网页主题无关的信息。这些噪声信息很大程度上影响了互联网信息资源的利用。另一方面,在大部分传统的主题信息抽取方法中,重点在于区分主题信息和噪声信息,但对于抽取后的主题信息数据缺乏结构化组织,导致标题、正文、时间及作者信息部分或全部杂糅,抽取的数据粒度过粗、可用性较差,不适用于资讯推荐等场景。因此,本文主要针对细粒度的主题信息抽取展开研究。此外,传统的主题信息抽取方法高度依赖于网页HTML风格,随着HTML标准的更新和网页HTML风格的变化,传统方法抽取效果均出现了不同程度下滑。针对此问题,本文尝试引入了更加鲁棒的自然语言语义特征,进一步提升了主题信息抽取的准确率及鲁棒性。主要工作总结如下:(1)设计了DOM节点表征模型BERT-HTML,结合双向GRU模型和多头自注意力机制进行标签路径特征提取,基于微调BERT模型进行语义特征提取,最终该模型在中英文测试集上分别取得了0.9818和0.9885的宏平均F1值。(2)设计了考虑正文标题语义相似度的主题信息抽取算法WIESS。WIESS算法核心为正文信息的准确抽取,该算法在传统文本统计特征和HTML特征基础上额外考虑了语义相似度特征,并通过机器学习算法完成正文段落分类,最后通过正文总节点投票算法获得完整正文信息。对于标题、时间、作者等三项主题信息,WIESS采用启发式方法抽取。(3)针对WIESS算法及传统细粒度主题信息抽取算法对于时间、作者两项主题信息抽取效果差的问题,设计了考虑DOM节点文本语义的抽取算法WIEBH。不同于WIESS算法仅针对正文标题考虑语义相似度特征,WIEBH借助DOM节点表征模型BERT-HTML考虑更一般的语义特征,并获得节点关键信息的向量表征。最后基于向量表征,对DOM节点分类,进而完成主题信息抽取。(4)通过消融实验证明了语义相似度和语义特征在主题信息抽取中的作用;通过同传统方法的对比实验证明了本文提出的两种方法具有更好的抽取效果以及更强的鲁棒性。
其他文献
通用验证方法学(UVM)现今已被业界广泛应用于数字芯片的验证过程。由于现有的验证平台仅适配支持单存储器的主机控制器,且兼容支持三种存储设备的主机控制器芯片的验证过程复杂度较大并充满挑战,因此需要设计相匹配的验证平台,并对该主机控制器进行完备且高效的功能性验证。针对上述情况,本文对涉及到的三种存储卡协议进行研究,深入分析主机控制器的设计细节,提取测试要点,搭建基于UVM验证方法学的验证平台。本文改进
在实现“碳达峰、碳中和”目标、推动构建以新能源为主体的新型电力系统背景下,高比例新能源并网、高比例电力电子装备将成为未来新型电力系统的主要趋势和突出特征。文中首先概述了新型电力系统的特征,总结了新型电力系统对建模仿真技术提出的迫切需求,分别从建模优化方法、多时间尺度仿真方法和仿真计算加速方法等方面分析了电力系统建模仿真技术的现状和改进方案,同时,描述了面向新型电力系统的仿真新技术和应用新模式。最后
近年来,随着生命科学的不断发展,由于无损,可视化,高灵敏度,实时成像的特点,荧光成像技术深受研究者喜爱。而荧光成像技术的发展受到荧光染料分子的制约,经典的荧光团如香豆素,蒽,氟硼二吡咯,罗丹明B及花菁等由于光化学特性优异,稳定性好,摩尔消光系数大,易于修饰改造,种类多,应用范围广等特性,被广泛应用于荧光免疫,荧光探针(生物活性小分子识别),有机光敏剂(光动力治疗),太阳能电池,发光二极管等方面,并
如何实现生物柴油副产物甘油的有效利用,近年来一直是工业研究的热点问题。其中,甘油的脱氢异构化生产乳酸是一条重要的利用途径。目前工业上生物质甘油制备乳酸的方法主要是发酵法,但存在产酸量不高,分离困难,周期长,只能间歇生产等缺点。同样,微生物酶化法以及乙醛氢氰酸法、丙烯-N2O4法等化学合成方法也普遍存在价格昂贵,提纯困难,反应条件严苛等问题。因此,利用催化合成法,选取合适的金属活性组分以及适当的催化
近年来,随着图像处理技术、人工智能和模式识别等学科的迅速发展,计算机视觉也受到了许多关注,视频技术在各领域得到了广泛应用。汽车数量的迅速增长所带来的城市交通问题愈发严重。因此在智能交通领域,基于视频处理的运动车辆检测和跟踪技术成为研究的热点问题,开展运动车辆的检测和跟踪算法研究具有重要意义。本文主要对视频监控中的运动车辆检测和跟踪算法展开研究,具体研究内容如下:(1)介绍了几种常用的运动车辆检测方
新时期提供了新的社会环境,创造了新的发展机遇。高校承载着社会未来发展的希望,高校学生是社会发展的潜在人才力量。新时期更应注重对高校学生的思想政治教育与创新创业教育,实现二者的融合培养,这有利于应对新时期的各种风险挑战,培养高素质青年人才,推动社会的长远发展。当前,高校在思想政治教育与创新创业教育实践的开展上,
期刊
南通市按照江苏省关于开发园区"去行政化"改革要求,推动开发园区体制机制系统性、整体性优化提升,在管理体制、园区整合、机构设置、考核激励等方面深化改革,切实解决行政化倾向明显、体制活力减弱等问题,加快向现代产业园区转型。2020年以来,南通市按照江苏省委、省政府关于开发园区"去行政化"改革要求,推动开发园区体制机制系统性、整体性优化提升,在管理体制、园区整合、机构设置、考核激励等方面取得积极进
期刊
自然资源部自然资源所有者权益司负责人日前接受记者采访,就开展全民所有自然资源资产所有权委托代理机制试点的相关情况进行了解答——生态文明建设是关系中华民族永续发展的千年大计。健全自然资源资产管理体制、完善自然资源资产产权制度是生态文明建设的重要内容。新一轮国家机构改革,党中央赋予自然资源部“统一行使全民所有自然资源资产所有者职责,统一行使所有国土空间用途管制和生态保护修复职责”的“两统一”职责
期刊
作为开发区体制机制改革试点,曲阜经济开发区以"等不起"的紧迫感、"慢不得"的危机感、"坐不住"的责任感,把准改革脉络,敢试敢为,大破大立,快速推进,成为济宁开发区改革样板。一、高端谋划顺势而为针对综合实力不强、基础设施落后、开放水平不高、质量效益不优、创新能力不足、人员能