一种分布式前沿科技信息跟踪系统的设计与实现

来源 :北京邮电大学 | 被引量 : 1次 | 上传用户:msn78160
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,我国持续推进制造业转型,需要及时跟进一系列重点科技领域的新进展,但在科技情报收集方面仍存在信息化程度不足等情况。本文分析了传统的科技信息采集和管理方式,发现了传统的数据采集效率在信息时效性方面存在滞后问题,传统的人工和单机结合的数据存储管理方式存在管理繁琐、数据易丢失等问题。本文提出基于ElasticSearch集群的分布式的前沿科技信息跟踪系统,实现分布式的科技文档查询及统计跟踪功能,为与科技相关决策的提出提供了支持。本文主要工作如下:一、分析了分布式的前沿科技信息跟踪系统的各项基本功能。针对传统的人工数据采集方式难以及时采集科技信息,以及传统的单机存储模式无法便利可靠的管理数据等问题,研究了定向爬虫技术对网页更新的定期检查和自动采集,以及分布式存储技术对文档的存储与管理。二、设计了分布式的前沿科技信息跟踪系统各功能模块的处理流程。设计了系统的各个子系统及其包含的主要功能模块,设计了子系统间数据交互方式,提出了科技信息数据从采集、中间数据存储到结构化加入索引、信息统计跟踪的整体流程。三、实现了分布式的前沿科技信息跟踪系统的具体功能。系统实现科技信息采集、数据分布式存储、数据查询拓展、科技信息跟踪等一系列功能。利用ElasticSearch实现了分布式的文档存储和检索跟踪平台。通过此沿科技信息跟踪系统,实现了科技信息的自动化采集,并对文档内容重要程度进行评分,跟踪了相应领域的变化,对及时有效跟踪科技领域的重点信息具有一定的意义。
其他文献
蒙古语辞书研究达·巴特尔(D·Bayatur)自从人们把人类社会活动由浅入深,由片面到全面,由形象到抽象的发展过程概括为实践—理论—实践以来,一切人类活动领域都可分为实践和理论两大类,辞书
媒体在一定程度上有意或无意地存在着"导负"甚至"导恶"情况,而在这种现象及其效应中,最大的莫过于对犯罪行为的"示范"。如何防范、减少、杜绝这种"导负"现象和效应?
养老保险制度由现收现付制转化为统账结合部分积累制 ,个人账户是统账结合制度的基础 ,也是社会保障基金保值增值的关键。目前个人账户的“空账”运行 ,使统账结合制度形同虚
许多人开始养鱼的原因都是相似的:好看、好玩。具有这些基本的动力才能把那些别人看起来很困难复杂的养鱼难题逐一解决,而且乐此不疲。之后有人偏爱收藏各种稀有品种、有人偏
在川陕苏区时期诞生的革命历史歌曲中,根据当地的山歌、小调改编加工的民歌最多,也最具艺术价值和历史价值,《尖尖山》就是这类民歌中的代表。该民歌在歌词的形式与内容、旋
<正>眼下,走进国家级风景名胜区舞阳河贯境而过的贵州大龙经济开发区,北侗民居风格建筑鳞次栉比,碧水环绕、绿树掩映下的滨江公园环境幽雅。望得见山,看得见水的大龙"容颜一
期刊
我们一直强调,重大突发灾难报道中记者一定要第一时间赶赴现场,深入采访,拼抢独家。然而,在一些无法抵达新闻现场,甚至不能直接对外围人员进行采访的情况下,媒体是否就无法还
以50°弯角多圆弧单列叶栅和串列叶栅为研究对象,应用数值模拟手段对所设计的两类叶栅进行数值分析,获取了其不同来流马赫数条件下的性能和流动细节。应用NSGAⅡ遗传算法结合
本研究报告遵循新中国成立60多年来的历史发展脉络,将中国财政支农政策与体系的形成与发展历程,放在国民经济发展的大环境中,将财政支农政策与体系的形成与发展分为五个阶段,