基于Elasticsearch框架的全文检索与自动文摘生成

来源 :中国石油大学(北京) | 被引量 : 0次 | 上传用户:t19508409
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
资源共享、提高学习效率是在线学习平台的重要目的。平台学习资料的逐年累积,需要能在海量学习资料中快速准确的检索出有用信息。针对传统全文检索系统内容匹配生硬、长文本检索结果难以快速阅读筛选等问题。本文提出基于倒排索引的Elasticsearch结合检索关键词语义信息的全文检索方法,并对长文本检索内容生成文本摘要。将其应用到在线学习平台,设计实现聚合搜索子系统。首先,针对传统全文检索查找效率低下、检索内容生硬匹配的问题,提出了基于倒排索引的Elasticsearch结合上下文语义信息的全文检索方法。本文采用IK Analyzer中文分词器替换Elasticsearch中内置分词器Standard。针对Elasticsearch不支持语义检索的问题,本文在Elasticsearch分词检索基础上,利用How Net知识库将其扩展到语义级别的检索。实验表明,语义级别的全文检索不仅提高了检索效率,更能提供更加全面的检索结果。其次,针对长文本检索结果难以快速阅读筛选的问题,提出了基于LDA主题模型的文档图模型,用于生成文本摘要。为了提高生成文本摘要的准确性,本文通过句子语义相似度计算,对Text Rank算法进行了改进。然后通过对改进的Text Rank算法提取的关键句迭代打分的方式,选择出得分高的句子节点,根据其在原文中的先后顺序排列形成文摘。实验证明,本文方法相比于TF-IDF算法、基于词共现的Text Rank算法、基于Word2vec句子相似度计算的Text Rank算法,在召回率、精度和F值方面均表现更好,生成的文本摘要质量有明显的改进。最后,将上述方法应用到在线学习平台,设计并实现聚合搜索子系统。帮助用户快速准确的检索资料,针对长文本为其提供文本摘要,帮助快速筛选检索结果。
其他文献
堆积层滑坡上部土体与下部基岩之间的接触面往往是滑坡失稳不容忽视的优势渗流结构面,在库水位升降和降雨作用下,不可避免地发生剪切变形,由于滑坡岩土体结构复杂,土-岩界面渗流影响因素众多,作用机理复杂,而目前关于剪切作用下土-岩界面渗流特性演化机理尚不明确。因此,本文以土体与岩石的接触面为研究对象,自主设计构建剪切条件下渗流测试系统,开展剪切条件下土-岩界面渗流特性试验测试研究,分析剪切作用对土-岩接触
学位
垃圾中转站在对垃圾进行减容的过程中会产生具有较高污染物浓度的压缩废水,同地面、设备清洗废水一起构成了垃圾中转站的生产废水。该生产废水具有高COD、高氨氮的特点,且废水中含有大量的细小悬浮物和动植物油,难以直接用生化法进行处理。针对此类废水,本论文提出了“混凝气浮+芬顿氧化+强化混凝+UASB+二级AO”组合工艺处理该生产废水。本论文通过混凝气浮实验、芬顿氧化实验以及强化混凝实验等小试研究,对该预处
学位
碳气溶胶对环境、气候和健康等造成不利影响,掌握区域碳气溶胶的分布特征和来源贡献有助于科学评估和防控碳气溶胶的影响与危害。本文利用黑碳仪实时监测2021年南昌前湖区域大气PM2.5中BC的浓度,并在2021年3-12月期间在同区域对大气中PM2.5进行了滤膜采样,采用碳分析仪和离子色谱分别测定PM2.5中碳组分和水溶性离子,并分析PM2.5及其中碳组分和水溶性离子的分布特征和影响因素,同时,基于PM
学位
三峡大坝修筑成功并蓄水后,从大坝到其上游的重庆江津地区形成了与河流涨落季节相反的三峡库区消落带,三峡库区消落带发挥着重要的缓冲、过滤等作用。同时由于其反季节的涨落情况,消落带植物需要面临反季节的水淹胁迫,对环境的变化更加敏感,具有一定的生态脆弱性。狗牙根作为消落带的优势植物,对于水淹胁迫具有良好的适应性,同时狗牙根通过其自身的加筋作用将消落带边坡土体承受的剪切力转化为根系承受的拉应力来对边坡进行加
学位
我国是多晶硅生产大国,2020年我国多晶硅产量达到39.2万吨,占全球产量的近75%。但是多晶硅生产行业属于高耗水行业,多晶硅生产废水水量大、悬浮物含量高、有机物浓度高、组分复杂且难生物降解,此外,在其生产过程中,会用到大量的氢氟酸和硝酸用于表面制绒及湿法蚀刻等工序,因此多晶硅生产过程中产生的废水往往含有高浓度的氟离子和总氮,因此若不对多晶硅生产废水进行有效处理,则会对自然环境造成严重危害。本课题
学位
三峡库区地质结构复杂,地质灾害频发,孕育大量高陡岸坡,三峡库区正常运行后,库水位在145~175m之间周期性波动,水库的蓄水和水位周期性升降变化形成了高达30m的消落带。复杂的水动力条件使得消落带岩体劣化强烈,新生或加速形成了大量的地质灾害。本文搜集了灰岩岩体劣化集中发育的三峡、大宁河等干支流峡谷区域典型逆向岩质岸坡案例,分析其共同地质特征及岩体劣化趋势。本文以灰岩逆向岩质岸坡为主要研究对象,以龚
学位
几十年来,我国国力稳步增长,经济腾飞,但伴随而来的人口老龄化成为了我国亟待解决的问题。2000年,我国已迈入老龄化社会,据有关专家预计,从2020至2050年,将成为我国人口老龄化最快的阶段,预计老年人人口占比将达到30.95%。与城市老年人相比,农村留守老人消费力欠缺、居住分散、公共资源偏少、专业机构引进难,养老服务业市场化进程滞后。精神慰藉、生产劳动和医疗保障等方面的关爱服务体系还有待进一步完
学位
沥青混凝土心墙坝具有良好的防渗性能且能够适应不同变形的特点,在坝工领域应用广泛,从使用效果来看,该心墙坝的力学特性及防渗能力是国内外学者重点关注方向。本文以巴基斯坦苏基-克纳里(Suki Kinari)水电站沥青混凝土心墙坝为研究对象,采用COMSOL Multiphysics有限元软件对其进行应力-渗流耦合分析,研究深厚覆盖层防渗体防渗效果,进行坝体结构静力稳定分析,优化设计坝体排水层的长度和防
学位
在市场经济持续发展的过程中,各企业以往的一套成本管理办法已经越来越不适用了,暴露出的问题也越来越多。以往的一套成本管理与控制办法对现阶段各企业的发展甚至造成了一定的阻碍,尤其是针对施工企业而言。施工企业工程项目涉及的资金量、材料量以及人力资源量较大,若是沿用老一套的成本管理与控制方法则会造成成本滥用,会对施工企业的长期盈利会造成巨大的影响。当下,正值我国社会主义现代化建设的高质量发展时期,各地区基
学位
钢筋混凝土结构在材料或几何不连续处容易发生直剪破坏,直剪破坏面通常分为整浇直剪面、预裂直剪面和新旧混凝土界面三类,而其中较为常见的整浇直剪面如牛腿与柱的连接面和低矮剪力墙与柱的连接面等,通常为钢筋混凝土结构的薄弱处,对结构的安全性和耐久性至关重要。因而,展开对整浇直剪面抗剪问题的研究具有重要的工程价值和意义。目前对于整浇直剪面的抗剪仍存在着如下待研究的问题:一是直剪面抗剪的机制至今尚未达成共识;二
学位