随着互联网内容爆发式的增长,搜索引擎成为人们使用互联网时的主要入口。然而,面对当前互联网中的海量信息,传统搜索引擎在抓取速度、存储容量以及查准率和查全率方面很难适应现在的互联网环境。本文结合云计算相关技术,研究了搜索引擎系统中文本去重、页面索引以及网络信息采集这三个关键技术,具体工作如下:首先,为了减少存储系统中重复页面的数量,本文在传统的文本去重算法Shingling的基础上,结合LCS问题的解决方法,提出了与位置相关的改进的Shingling去重算法SWLR(Shingling with Location Relationship)。提高了文本去重的查准率和查全率。通过与基于比特位的过滤算法相结合,本文进一步提出了快速SWLR算法,实验结果表明,快速SWLR算法在没有降低相似性检测效果的前提下,显著提升了SWLR算法运算的性能。其次,为了提高页面索引中短语查询的效率,本文在倒排索引模型的基础上提出了基于链表结构的倒排索引模型,通过在倒排索引模型的Term节点中增加指向相邻关键词的指针,在通过关键词短语进行查询时,可以在单位时间内查找到相邻的关键词并进行匹配。实验结果表明,基于链表结构的倒排索引模型在索引构建、查询以及内存消耗方面均具有性能优势。最后,本文结合云计算环境,提出了一种基于Hadoop的网络爬虫系统。在该系统中,解析与爬行两个子系统并行运行,从而充分利用计算机的I/O资源和计算资源。实验结果表明,本文提出的网络爬虫系统具有很好的系统扩展能力和负载均衡能力。