【摘 要】
:
在计算机信息技术高速发展的今天,针对海量数据的爆发,爬虫技术有着非常重要的作用。当前,爬虫技术已经非常成熟,各种爬虫框架数量很多、功能很完善,分布式集群模式更是将爬虫性能发挥到极致。但是,这些分布式爬虫技术的复杂度高、硬件设备昂贵、整体的投资代价比较大。针对上述问题,本文结合现在高速发展的区块链技术,在现有的爬虫框架基础上设计了一种爬虫方案,这种方案能减少硬件资源的投入并且部署简单。本文的主要研究
论文部分内容阅读
在计算机信息技术高速发展的今天,针对海量数据的爆发,爬虫技术有着非常重要的作用。当前,爬虫技术已经非常成熟,各种爬虫框架数量很多、功能很完善,分布式集群模式更是将爬虫性能发挥到极致。但是,这些分布式爬虫技术的复杂度高、硬件设备昂贵、整体的投资代价比较大。针对上述问题,本文结合现在高速发展的区块链技术,在现有的爬虫框架基础上设计了一种爬虫方案,这种方案能减少硬件资源的投入并且部署简单。本文的主要研究内容包括结合IPFS(Inter Planetary File System)技术对方案中的爬虫数据存储模块研究和设计,并对方案中起重要作用的智能合约进行编写。本文的主要研究工作和成果如下:(1)对现有的区块链技术的理论、底层加密算法、共识算法、区块链的风险和智能合约进行分析,并且对现有的爬虫框架原理等进行阐述。为方案的整体设计产生提供理论基础。(2)结合IPFS技术对爬虫的数据存储模块进行研究设计,将集群所需要的硬件压力分散到互联网上,让各个IPFS节点去贡献自己的硬件资源,这样就可以免去采用传统分布式集群模式,从而减少硬件上的大量资金投入。(3)针对IPFS节点的工作情况以及整个方案设计,编写合适的以太坊智能合约,设计智能合约奖励机制模块。智能合约能产生驱动效益,可以激励网上的工作节点去爬取信息、储存信息、上传信息,从逻辑上让整个研究设计形成闭环。综上所述,本文的研究设计基于IPFS技术、区块链智能合约技术等来对现有成熟爬虫框架进行改造,具有稳定安全、数据来源多、硬件投入少等特点,同时也为区块链技术的实际应用提供了一种参考。
其他文献
在相当长的一段时期内,由于我国金融和资本市场体系发展不够完善,市场上有大量的散户投资者,形成的投资格局是散户为主,机构投资者为辅,这种不健康的投资格局一度被认为是市场频繁出现异常现象的主要因素。为引导广大投资者进行理性投资从而维护我国金融和资本市场的稳定性,证监会于2000年底提出要大力发展机构投资者的策略,根本目的就是改变现状。在国家政策方针的正确指引下,我国金融和资本市场体系发展逐渐完善。与此
目前中国经济正处于转变发展方式的关键阶段,“民生问题”自被提出以来越来越受到关注,各地的民生性财政支出也有了增加的趋势。财政支出作为总需求的一部分,对经济增长存在一定的影响作用,而民生性财政支出作为财政支出中的组成部分,有别于其他类型的财政支出,对于经济的增长产生怎样的影响是值得深思的;且西部地区相比较于东、中部地区而言经济落后,发展较为缓慢,因此如何更好地发挥民生性财政支出对经济增长的作用,是值
随着互联网技术的发展和普及,网络在给人类带来极大便利的同时,网络攻击的目的、技术手段也变得更加多样,从而导致网络攻击愈加难以预测。被动预测已经不能满足网络攻击防御的需求,主动预测成为现今网络防御发展的主要方向。本文在现有网络攻击预测模型研究基础上,提出了一种攻击图模型NAPG。该模型引入攻击增益,对攻击行为进行可行性分析,消除冗余路径,提高攻击图中节点可达概率计算的准确度。除此之外,NAPG模型又
功能梯度材料(functionally gradient materials,FGM)是两种或多种材料复合而成的一种新型复合材料,且成分和结构呈连续梯度变化。通过其各个组分的控制,可以满足各种特殊环
本文关注在经济全球化与中国经济转型的动态环境下,企业如何利用反馈寻求行为,保持企业的竞争优势,为服务化转型提供助力。随着信息技术的快速发展,制造业竞争日益激烈,创新
中国制造业就其规模而言已居世界第一,但在国际分工中,由于所从事的大部分为价值链低端的加工组装环节,产品技术含量相对较低,可替代性较高,长远来看不利于我国制造业的健康发展。而服务业作为与制造业紧密相连的产业,在我国的发展前景广阔,2004-2017年,我国服务业实际利用外资额从140.5亿美元上升到889.8亿美元,并在2011年赶超制造业FDI成为外商投资额最多的产业。由此看来,在制造业吸引外资能
本论文研究了手性(6-甲基吡啶)-(咪唑啉)NCN’钳形钯化合物的合成及表征,并初步探索了其在催化亚胺与丙烯腈的不对称aza-Morita-Baylis-Hillman反应中的应用。主要研究内容如
由于专家经验和专业知识的局限性和决策环境的复杂性,不确定性现象广泛存在于实际决策问题中。如何应用合适的理论和方法来处理这类不确定性现象变得十分必要和迫切。模糊集
隐喻这种表达方式在日常生活以及各场合下使用的语言中频繁出现,同时也是自然语言处理中的一大挑战,若隐喻识别技术无法进步,那自然语言处理领域的发展也会受到限制。而由于A-is-B模式的隐喻句出现情况更加灵活,导致A-is-B模式隐喻识别又是隐喻识别的难点。目前A-is-B模式隐喻识别的研究有以下几个瓶颈:第一,源域词范围更加广泛。A-is-B模式隐喻句中,A和B的范围都非常宽泛。第二,上下文更敏感。同
随着无线传感器网络(WSN)的蓬勃发展和广泛应用,从而暴露出由于应用场景恶劣和自身节点能量限制导致无线网络面临严峻的安全威胁,安全问题虽在WSN的研究中发展较晚,但是它具有十分重要的意义。WSN中的安全问题主要来自各种对节点的攻击,导致节点出现异常,所以对节点的安全检测显得尤为重要。异常值入侵检测被广泛看成是网络安全动态维护的最为重要的部分,为了更好的弥补网络安保能力弱的缺点,本文从无线传感器网络