论文部分内容阅读
经过十余年的发展,对等网络(Peer-to-Peer,简称P2P)经历了从中心索引服务器结构、非结构化覆盖网络,到结构化覆盖网络也就是分布式哈希表(Distributed HashTables,简称DHT)的演变。P2P研究的焦点也从过去的覆盖网算法和设计逐渐转移到系统的测量、安全和优化上来。由于以DHT为基础的结构化网络不依赖中心节点,突破了服务器瓶颈,近几年在实际的大规模P2P应用程序中得到了广泛使用,DHT网络行为测量逐渐成为P2P网络测量领域的一个重要课题。
DHT网络行为测量方法可以分为主动方式和被动方式,两种方式互为补充,分别从不同角度对DHT网络行为进行测量。
主动方式指用爬虫抓取DHT网络快照,并从网络快照中提取DHT网络行为信息。但DHT网络抖动性强,实时、准确抓取DHT网络快照十分困难,针对这一难题,本文提出了分裂算法并设计实现了KadCrawler系统。KadCrawler系统与现有DHT网络爬虫系统比较,在带宽利用率、耗时、爬全率上都有数量级上的提高,甚至.KadCrawler系统还可以对DHT网络进行分布式爬取,用更短的时间抓取DHT网络全网快照。
被动方式指在DHT网络中放置探针,用侦听的方式采集DHT网络节点的行为信息。然而在DHT网络中布设大量探针会影响DHT网络本身,得到不真实的数据;仅布设少量的探针只能得到片面的网络行为,没有代表性。针对这一困难问题,本文提出了SmallSybil算法并设计实现了KadHoneyNet系统,仅用现有探针系统带宽开销1/2,收集了更为准确DHT网络行为。
KadCrawler系统突破了传统DHT网络行为主动测量方法的框架,填补了DHT。网络分布式测量系统的空白;KadHoneyNet系统提高了现有DHT网络行为被动测系统的性能。两者作为国家某重大安全工程项目的原型系统,在实际中得到了应用。通过KadCrawler系统和KadHoneyNet系统,研究人员可以更深入的认识DHT网络特性,从而为日后进一步研究DHT网络打下基础。