基于DHT协议的搜索引擎

被引量 : 0次 | 上传用户:shiguanghuai
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
对等网络(peer to peer P2P)技术广泛应用于互联网中,如基于DHT协议的BT下载软件(这其中有电驴、比特彗星、快播),基于P2P的视频点播系统(pps和uusee等)。P2P可简单定义为对等点之间通过直接交换信息从而达到共享计算机资源和服务的两种角色,以该技术构建的网络称为对等网。与有中心服务器的中央网络系统不同,对等网络的每个用户端既是一个节点,也有服务器的功能,任何一个节点无法直接找到其他节点,必须依靠其户群进行信息交流,即每个节点要维护自己的一段路由表,当其他的节点发出请求时,这个节点从路由表中通过一系列的算法找出与之最匹配的节点信息。由于很多资源是通过论坛的形式发布,而论坛又设置有权限等问题,使普通用户无法获取资源,本文探索的是基于DHT协议的垂直搜索引擎,正是为了解决这一问题。程序会根据DHT协议模拟出协议四种最重要的请求,索引DHT网络中节点请求的hash值,并将hash信息保存下来,再通过BT协议下载种子,将种子解析成文本信息并保存到数据库中,建立索引,形成DHT搜索引擎,其中中文分词和全文搜索引擎的选择会在正文中详细说明。为了丰富搜索引擎搜索结果的多样性,还会将电驴、快播、百度影音的资源也加入到数据库中,其中电驴资源可以通过aMule开源程序抓取,而快播和百度影音资源可以通过定向爬虫程序抓取一些网站即可。
其他文献
高校辅导员工作是贯彻党的教育方针,做好大学生思想政治教育工作的先行者,是实现高等教育培养目标的基础和前提保障。在高校思想政治教育工作中扮演着极其重要的角色。通过自
土壤是植物生长的物质基础,只有肥沃土壤才能培育良好植物。城市园林土壤在使用过程中,会产生板结、盐渍化加重、营养元素缺乏、活土层变薄、病虫累积、污染等恶化现象,对此需采
《少年派的奇幻漂流》自2001年问世以来,荣获一系列奖项,受到高度称赞。尽管这部小说在世界广获好评,但有关其研究并不多。直到2012年李安导演将其拍成同名电影后,才引起评论
触头是小型断路器的执行部件,触头间电压电流波是其运行性能及保护特性最直接反映。在断路器分断过程中,触头承载的电压电流都会动态改变,不仅能反映触头的动力学行为,还能反映燃
儿童良好道德人格的养成对儿童一生的健康成长奠定基础。处于新旧交替的社会转型期往往会出现社会价值观念混乱、道德意识模糊,青少年极易受到影响而产生道德失范,甚至产生道
上世纪九十年代初,国际互联网的迅猛发展为网络技术的进步创造了良好的环境,在这种情形下,互联网得到了进一步普及。全球各大企业也把目光投递到了网络市场,试图通过改善和创新管
企业廉政文化是企业文化的重要组成部分,也是企业廉政工作从文化层面的延伸。加大企业廉政文化建设力度,能更加有效地推进企业的反腐倡廉工作。文章从观念形态文化、制度行为
重庆直辖十年以来,各项科技活动取得了长足的发展。科技人才队伍不断壮大,结构有所改善,素质有所提高。但通过对重庆市科技人才发展现状进行数据比较分析,可以看出重庆的科技
<正> 大蒜为百合科葱属植物生蒜(Allium sativumL.)的鳞茎。对免疫功能有何影响,未见详细报道。为此,我们探讨了大蒜对免疫功能低下小鼠的调节作用,结果报道如下。一、实验材
优质的浮法玻璃原料质量,是生产高品质浮法玻璃的重要基础。浮法玻璃原料质量控制和管理工作,需要对原料矿点生产及储运过程进行质量控制、对进厂原料化学成分及其均匀性和稳