URL消重相关论文
如今,由于互联网的发展速度愈来愈迅速,信息与资源的传播和发布也随之变得更加迅速和快捷,互联网上信息量的规模也因此日益巨大,这就导......
学位
在Web信息采集的过程中,为了避免对同一页面的重复下载,需要对URL进行消重。当URL数量变得非常庞大时,URL编码、计算和存储将会给......
伴随着计算机、通信、网络等技术的成熟和广泛应用,互联网自1989年诞生以来得到了迅猛发展,已经成为现代人类社会信息资源的一个重......
随着Internet的不断发展,网络信息呈指数级不断膨胀,这也给信息检索带来了很大的困难,因此对于重复网页的消重操作也是十分有意义......