基于带有通配符序列模式和概率主题模型的多文档摘要技术研究

来源 :合肥工业大学 | 被引量 : 0次 | 上传用户:xs0405010154
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的迅猛发展,人们可以获取大量的文本数据;例如:Web新闻、科技文献、数字图书、电子邮件和微博等。如何有效地组织和管理海量的文本数据,快速、准确地从中找到用户所需的信息,成为智能信息处理研究领域面临的挑战之一。为此,从大量文档中提取简洁摘要信息的多文档摘要技术吸引了研究人员的广泛兴趣。近年来,电子商务和社交网络的快速发展催生出大量的书评影评、网络聊天、产品介绍等形式的短文本。这些短文本数据包含了大量有价值的隐含信息,对人们的日常生活产生了很大的影响。与长文档处理方法相比,因为短文档词汇具有非常少的词共现信息,使得传统的多文档摘要方法直接进行处理时效果不佳。因此,有效地提供精简内容的多文档摘要技术具有重要的研究价值和现实意义。本文在长文档的摘要技术和短文档的摘要技术研究的基础上,提出几种基于带通配符序列模式和概率主题模型的多文档摘要技术算法。主要研究工作如下:(1)提出一种基于闭合模式的多文档摘要算法。从词的计算角度上说,已有的多文档摘要提取方法可以分为基于词的方法和基于本体的方法:基于词的方法很难处理一词多义和多词一义的问题,基于本体的方法考虑了词语的语义信息,但是受限于具体的领域。为了克服这些问题,本文探索利用闭合模式从多文档中提取最精简的句子和缩减摘要中的冗余,并提出一种基于闭合模式的多文档摘要方法。该方法通过联合每个句子中闭合模式的权重和闭合模式的分布,迭代地选择高得分且低相似于已选择摘要的句子,直到满足摘要长度约束。本文提出的的方法不仅具有基于词的方法的统计特性,而且保留了部分语义信息。实验结果表明:基于闭合模式的方法优于对比的其他方法。(2)提出一种基于用户评论的多文档摘要提取算法。用户评论里隐含了用户关心的主题,而多文档摘要的目标就是提取最符合用户关心的摘要,为此,利用用户评论辅助多文档摘要是一个很好的研究问题。概率主题模型作为最好的摘要系统方法之一,我们尝试使用概率主题模型提取摘要。首先,新闻文档是长文档,用户评论一般是短文档,它们的集合这里被称之为异质文档。从长文档中发现主题通常基于一个文档含有多个隐含主题的假设去学习,而短文档主题模型假设每个文档只有一个主题取得更好的效果。从而,两种假设方法都不适合从异质文档中提取隐含的主题。为此,本文提出了一种基于异质文档的主题模型,然后根据从异质文档中提取的主题从新闻文档中选择核心的句子作为摘要。这样,摘要信息不仅包含了新闻数据的核心信息,也包含了用户的评论的核心信息。实验结果验证了该方法的有效性。(3)提出一种基于词嵌入模型的短文档主题提取算法。由于短文本中有着非常受限的词共现信息,使已存在的方法不能很好的解决这个问题,如概率隐式语义分析和隐式狄利克雷分配。由于基于词嵌入模型能很好的从大语料中学习到词语的语义表示,为此,提出一种新颖的短文档主题模型方法,称之为基于词嵌入的主题模型(Embedding-based Topic Modeling, ETM)。通过利用词嵌入信息对短文档聚合成伪长文本,ETM解决了短文本中非常受限的词共现问题。然后,利用马尔科夫随机场正则化模型使伪长文档中相似的词语更高的概率属于同一个主题。与最好的算法进行对比,实验验证了 ETM的有效性。
其他文献
实验诊断学是诊断学的重要组成,是检验医学向临床的延伸,与临床检验诊断学有相同的内涵。实验诊断学的迅猛发展使《诊断学》教材中的实验诊断内容不断演变,作者调研了人民卫
目的探讨关于鼠肾小管上皮细胞原代培养的有效方法。方法在现有肾小管上皮细胞机械研磨方法的基础上,通过SD大鼠与昆明小鼠的对比实验,Ⅰ型胶原酶消化时间的设定以及第一次换
<正>一、教学目标1.知识和技能理解我国民主党派的性质;理解我国政党制度的特色;理解我国通力合作的友党关系;知道并理解我国人民政协的地位、功能、职能。2.过程和技能通过
目的比较螺旋CT尿道造影三维成像和传统X线尿道造影在男性前尿道狭窄诊治中的应用价值。方法28例患者术前采用螺旋CT尿道造影三维成像为A组,31例患者术前采用传统X线尿道造影
目的探讨会所模式对稳定期精神分裂症患者情绪调节能力的影响。方法选取96例符合ICD-10精神分裂症的诊断标准,单一维持期用药治疗患者,分为对照组和会所组各48例,对照组采用单一
目前我国医学院校大多仍沿用“以学科为中心”的教学模式,即三段式教学:基础医学、临床医学和临床实习,这种模式不同学习阶段和不同学科间的教学缺乏系统性的规划管理,导致学习内
青年亚文化(youth subcultures,又译青春亚文化),是指主要由年轻人群体创造的、与父辈文化和主导文化既抵抗又合作的一种社会文化形态。“青年亚文化”(YOUTH SUBCULTURES)-
目的 比较盐酸非索非那定片不同应用方案在慢性自发性荨麻疹(CSU)患者中的效果。方法 选取2013年6月至2016年的3月在海口市第三人民医院皮肤科门诊就诊的92例CSU患者为研究对象
目的检测胃癌组织中神经纤毛蛋白-1(NRP-1)的表达,分析其与胃癌临床病理特征之间的关系,探讨其对判断胃癌预后的价值。方法回顾性分析168例胃癌患者的临床病理资料及预后情况,
作为古代文化遗产的重要建筑样式之一,牌楼建筑自宋代成型沿用至今,其发展与中国社会的历史文化背景密切相关。本文以宝鸡市代家湾市政广场牌楼创作为例,对传统牌楼建筑艺术继承