基于UCL国家标准的智能化搜索引擎研究

来源 :东南大学 | 被引量 : 0次 | 上传用户:seankkk2000
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的迅速普及和数字信息的爆炸式增长,各种海量化、碎片化的内容不断涌现,如何从这些异构驳杂的数据中检索有效信息对于搜索引擎挑战巨大。以网页链接为中心的传统搜索引擎通过关键字匹配的方式从互联网中检索信息,然后返回给用户相关链接。这种方式不能准确理解用户搜索意图,且返回的结果过于单一,包含的语义信息不够丰富,需要用户做多次检索。为了改善这种搜索模式的弊端,基于知识的搜索引擎已引起了业界的广泛关注。基于知识的搜索引擎技术核心是构建知识图谱,目前知识图谱相关研究已取得一定进展。但其对知识表示的方式主要是以较为简单的三元组形式将结构化数据组织,富含的语义信息不够丰富。而统一内容标签(Uniform Content Label,UCL)可以将互联网上杂乱无序的异构内容进行有效聚合,能够对互联网内容中的丰富语义信息进行统一格式编码。因此如何充分利用UCL对互联网信息进行富语义矢量编码的优势,构建以知识为中心的智能化搜索引擎极具研究价值。为此,本文结合UCL的优势,构建UCL知识图谱(UCL Knowlegde Graph,UCLKG),并对智能化搜索相关技术进行研究。提出了基于语义环境相似度的实体消歧算法与基于表示学习和UCL语义感知的关系推理算法,实现UCL知识图谱(UCL Knowlegde Graph,UCLKG)的构建和更新。提出了针对搜索环境的动态主题挖掘算法DLDASE(Dynamic Latent Dirichlet Allocation for Search Environment)和基于SDP(Semantic Depency Parsing)依赖分析的查询式生成算法,提高搜索引擎对用户搜索意图识别和对知识语义解析的能力。本文的主要研究工作如下:(1)结合智能化搜索引擎的需求,针对如何将互联网中异构驳杂的数据进行语义关联的问题,提出了一种基于语义融合的UCL知识图谱构建方法。该方法首先解析Wikidata和百度百科离线语料库,并结合信息抽取工具抽取实体信息,完成基础知识库的构建;然后计算UCL中内容实体的语义权重,并借助实体消歧算法将UCL与基础实体库融合;最后提出基于表示学习和UCL语义感知的关系推理算法,实现UCL知识图谱的自动化更新。(2)针对传统搜索引擎不能有效识别用户意图且缺乏对内容的语义解析能力的问题,实现基于UCL的智能化搜索引擎,对其中涉及的关键技术进行研究。基于UCL的智能化搜索引擎主要从两方面对用户搜索信息进行处理。一是以用户兴趣为中心提供个性化搜索,提出了针对搜索环境的动态主题挖掘算法DLDASE,识别用户搜索意图,并结合用户意图和UCL文档的主题关联对搜索结果进行排序。二是以知识为中心提供内容语义解析服务,提出了基于SDP依赖分析的查询式生成算法将用户搜索的自然语言问句翻译为数据库查询语句,直接获取知识。(3)实现了智能化搜索引擎原型系统,并通过实验对其中涉及的相关算法进行验证。实验结果表明,相比于传统实体消歧算法,基于语义环境相似度的实体消歧算法消歧效果更好;相比于传统关系推理算法,基于表示学习和UCL语义感知的关系推理算法对“一对多”和“多对多”类型关系有更好的区分能力;相比于传统LDA算法,DLDASE算法更适合对在线语料进行动态主题挖掘;基于SDP分析的查询式生成算法对本文定义的四类基本问题的转换能力较好。
其他文献
学习分布式且解耦的有效表示是无监督学习的一个重要研究方向,而由多个有效表示混合生成的场景在进行解绑识别时存在歧义问题,即绑定问题(Binding Problem),其广泛存在于视觉和语音等领域的现实应用中,如自动驾驶及虚拟现实中的场景分割和多演讲者语音分割等。感知成组(Perceptual Grouping,PG)是解决绑定问题的重要机制,其具备从复杂结构化输入场景中识别出各实体对象完整有效表征的
知识图谱表示学习旨在将知识图谱中的实体和关系编码到一个低维、连续的向量空间之中,以此来支撑不同领域的应用,如知识图谱补全、问答、推荐系统等。在现实应用中,知识图谱总是动态变化的,既会有新知识的加入,也会有旧知识的删除。大多数现有知识图谱表示学习模型都注重于对静态环境下的知识图谱进行编码,却忽略了其动态性。为了应对知识图谱产生的变化,这些模型需要花费很高的时间代价去重新训练整个图谱,而无法以一种更高
近年来,知识图谱规模迅速扩大,实体数量飞速增长,不同知识图谱之间实体匹配的重要性日益体现。实体匹配的质量依赖于知识图谱中实体的上下文,主要分为关系三元组、属性三元组和实体文本描述等三类。现有的相关工作只同时对其中的一类或两类实体上下文进行建模,没有同时对三类实体上下文进行建模。除此之外,现有相关工作中虽然有同时建模两类实体上下文,但是其中大部分并未平等对待这些实体上下文,并且对于多类信息不充分的实
中国人口老龄化等问题的加剧,给监护和安防等领域带来了巨大挑战。由于视频监控的逐渐普及化、低廉化以及视频的可视化、易存储等优点,它迅速成为替代人工管理的重要手段。如何高效地处理得到的视频数据,使其在满足特定场合的人体行为检测的精度要求的同时,又能兼顾效率,尽量满足实时性需求,一直是算法研究人员不断追求的目标。目前大多数的视频处理任务都基于特定场合,行为检测和识别的种类相对固定且较为单一。当传统方法利
在软件工程领域,软件开发的质量、效率和成本是软件开发过程中关注的三个核心问题。进入二十一世纪以来,随着互联网的普及,信息技术呈现爆炸性地增长,软件系统的规模和复杂性也在不断增加,软件开发的效率问题也越来越受到关注。为了提高开发的效率,许多软件开发的技术被陆续提出,开发者们希望通过代码搜索等技术手段实现高效的代码重用。因此代码搜索技术的研究有着重要的意义。然而,现有的代码搜索技术在表示代码时并不全面
随着开发语言和各种软件社区的发展,API的数量急剧上升。为了降低API的使用难度,提高API使用效率,研究人员提出了很多种API推荐方法,这些推荐方法可以帮助编程人员更加高效地使用API。随着推荐技术的不断增加,选择合适的推荐方法对编程人员来说尤为重要。API推荐结果的评估可以为编程人员选择推荐技术提供依据,目前已有的评估方法研究较少,且主要关注于推荐结果的正确性,缺乏对推荐结果质量的关注,难以完
数据世系用于描述数据产生、演化流程和数据源信息,在数据质量评估、数据溯源、信息安全领域发挥着日益重要的作用。世系工作流是数据世系的主要描述结构,随着人们对数据质量、溯源要求的日益提高,对世系工作流进行共享的需求愈加迫切,世系工作流中包含数据产生关键操作、流程等敏感信息,对其进行共享发布不可避免地带来隐私泄露问题。本文针对已有世系工作流结构隐私保护方法存在的不足,研究能够有效维持工作流时序约束和拓扑
视频拼接作为实现全景视频的重要手段,在移动设备拍摄能力越来越强的时代里,能够将移动设备拍摄的视频轻松拼接成稳定的具有大视野的全景视频可以很大程度上增强人们的影音使用体验。但是由于移动设备不是固定的,拍摄出的视频天然的会带有剧烈的抖动以及较大的视差,这些因素都会影响最后拼接的效果。本文提出了一个适合手持设备拍摄的带有抖动的视频拼接的联合视频防抖和视频拼接的拼接算法,该算法可以有效的去除抖动、处理重影
近年来,作为一种新型的软件开发方式,群智化软件开发已经受到了学术界和工业界的广泛关注。相比于传统的软件开发,群智化软件开发可以最大限度地利用世界各地的开发人员资源来完成复杂的开发任务,能够有效降低开发成本,提高开发效率。但是,由于群智化平台中任务众多且复杂,不准确的任务匹配会影响任务完成的进度和质量,因此,研究开发者和任务的匹配问题对于群智化软件开发模式来说非常重要。推荐技术作为传统领域解决信息过
文本生成图像(Text-to-image Generation)旨在基于自然语言描述的文本生成相关图像,实现从文本模态到图像模态的转化,并保持语义。文本生成图像对于新闻自动配图,用户需求画像等图像生成应用具有重要意义。文本生成图像研究,作为一个交叉问题,涉及到自然语言理解和图像生成两个热门研究领域。该问题的研究也为文本嵌入和生成模型技术提供支撑。当前的文本描述通常是一个描述物体属性的说明性语句,比