【摘 要】
：
随着大数据时代的来临,传统的单机式或多线程式的主题爬虫已经很难满足海量数据的爬取任务。为此,首先采用向量空间模型来提高下载网页的主题相关度,然后引入MapReduce分布式
论文部分内容阅读
随着大数据时代的来临,传统的单机式或多线程式的主题爬虫已经很难满足海量数据的爬取任务。为此,首先采用向量空间模型来提高下载网页的主题相关度,然后引入MapReduce分布式计算模型以达到高效率的分布式海量爬取,同时利用基于HDFS的HBase分布式数据库达到高效率的分布式海量存储,最后通过实验结果数据验证设计的主题爬虫模型的高效性、扩展性、可靠性和稳定性。
其他文献
技术决定论是认为技术支配着人类社会的一种理论,随着当代技术的快速发展,它也越来越有影响力。本文针对技术决定论中有关马镫和火药导致欧洲社会变化的论证,用大量史实进行
<正>不少脑力工作者,由于疲劳或睡眠少,常感到思想呆滞,不能发挥灵感。作者曾为此设计一提神醒脑保健方,颇有效应。方药组成及用法人参叶12克,人参须8克,西洋参须10克,石菖蒲
<正>孩子爱撒谎,家长最头痛,生怕将来成了习惯,想改也改不了。不少家长急得直抱怨,"我打也打了,骂也骂了,怎么他还是那样呢?"其实,谎言背后各有原因,不妨顺藤摸瓜,找到症结所
在分数次Black-Scholes模型下,以连续支付红利的美式看涨期权为例,用二次近似法推导美式期权定价的近似公式,得到了与经典Black-Scholes模型下相似的结果.最后证明美式看涨—
如何提高党的组织生活质量是高校党建的重点也是难点问题。新形势下,高校党的组织生活面临的时代背景、历史使命、社会环境、组织形式等都发生了很大的变化。面对新变化、新
空间信息技术与现代物流管理技术的结合,提高了物流的可视化管理程度,实现了移动目标的实时动态监测。本文首先对空间信息技术和现代物流管理技术进行了简单的介绍,然后针对
针对桩基质量检测的重要性,简单介绍了当前建筑设计中几种主要的桩基检测技术,包括静载试验、高应变法、自平衡的试桩法及静—动试桩法,并对桩基检测技术的发展作了展望,对保
鸡白痢沙门杆菌为肠道杆菌科沙门杆菌属成员之一，主要侵害各种年龄的鸡和火鸡，7—14日龄雏鸡的发病率、死亡率最高。我国目前控制鸡白痢的主要措施是检疫淘汰带菌鸡，净化培育无
目的:观察三七生肌膏预防皮瓣坏死的临床效果。方法:将75例行头面部局部皮瓣转移修复术的患者按随机数字表法分为空白组、治疗组、对照组,各25例。空白组患者术后常规碘伏换
随着人们对图像数据需求的增大,传统的Nyquist采样理论会产生大量的采样数据,为图像数据的传输和存储带来莫大的困难,压缩感知理论为此难题的解决找到了有效途径,对于可压缩