【摘 要】
：
网络中的数据蕴藏着大量有价值信息,在实际的项目需求中,为了实现能够自动的在网页上对大量数据的数据信息的收集、解析、格式化存储的过程,提出了基于分布式的网络爬虫技术
【机 构】
：
辽宁石油化工大学计算机与通信工程学院
【基金项目】
：
辽宁省自然科学基金(20180550130)
论文部分内容阅读
网络中的数据蕴藏着大量有价值信息,在实际的项目需求中,为了实现能够自动的在网页上对大量数据的数据信息的收集、解析、格式化存储的过程,提出了基于分布式的网络爬虫技术。采用Nutch爬虫框架和Zookeeper分布式协调服务,配合高性能的Key-Value数据库Redis对数据进行存储,采用Solr引擎将抓取信息进行清晰地索引、展示。运用提取页面信息算法优化提取页面信息流程,通过关键词匹配优化算法根据指标从抓取的数据中获取指标相关数据。通过分布式集群的搭建,Nutch项目的实现,及大量数据的采集,验证了基于N
其他文献
献身革命曾志原名曾昭学,湖南省宜章县人。她是在风云激荡的大革命时代投身革命,成为共产党内一名坚贞女战士的。曾志曾对毛主席说:“为了革命,我随时准备献出自己的一切。”
历史名园的保护与一个地方的文化传承、历史接续、发展规划密不可分。北京历史名园数量众多,且具有丰厚的历史文化内涵,如何在城市发展的过程中最大限度地保护好北京的历史文
糖尿病肾病(diebetic hephropathy,DN)是糖尿病常见而难治的微血管并发症,也是糖尿病致死的重要原因之一.1998年以来用中西医结合治疗该病28例,取得一定疗效,现报道如下.
目的调查河北省内丘县农村居民高血压患病现状及其与饮食习惯的关系。方法采用三阶段整群分层随机抽样方法于2013年9月抽取河北省内丘县6个行政村17周岁及以上常住居民2 020
对周边爆破技术在不同条件下的爆破效果进行爆前、爆后的声波、光学和物理力学性试验,获得被爆岩体不同的结构构造对采下的条状块石的损伤程度不同的结论,这将有利于指导石材
解脲支原体（ureaplasma urealyticum，UU）为脲原体属中唯一的一个种，因生长需要尿素而得名。解脲支原体主要通过性行为传播，是性传播疾病的重要病原体之一，也是引起泌尿生殖道感染的
在RSSI算法的基础上,基于成本低、寿命长的多无源电子标签和单阅读器,结合Android开发板控制,提出一种新型室内定位方法,通过实验证明,该方法在标签布设区域能够实现定位功能
古罗马诗人贺拉斯曾说:"在安排字句的时候,要考究,要小心,如果你安排得巧妙,表达就能尽善尽美。"在人物类电视专题片制作中,创作显得尤为重要。人物类电视专题片,主要用于记
<正>新加坡是东南亚一个面积仅707.1平方公里的岛国,三面临海,位于马来西亚半岛南端,毗邻马六甲海峡南口,南面有新加坡海峡与印度尼西亚相隔,背靠大陆是国际贸易的天然港口。
岩石力学参数的确定在岩石工程中是极其重要的 ,本文通过对隧道白云质灰岩、钻孔白云质灰岩以及角砾状白云岩进行单轴压缩试验 ,分析与比较了不同隧道部位的围岩以及不同类型