网络应用的快速发展势必增加网络的负担(据统计,高于2/3的网络拥塞是由Web所造成的),如何既减轻网络负担又能带来更好的网络体验?这些都成为了网络用户颇为关心的话题。传统的代理服务器一般功能相对单一,而且在对web页面的缓存上往往力不从心。本文结合最新的HTTP 1.1协议[1]和网络爬虫技术,提出一种基于主动和被动模式的分布式代理缓存服务器的设计与实现。服务器充分利用Linux kernel 2.6的新特性,如epoll异步事件响应机制[2-4]对网络I/O进行优化。同时为了降低原始内存的零散申请和释放,并根据Solaris系统提出的Slab内核对象内存分配机制,实现了基于常用对象的内存池结构,极大得减少了内存的申请和释放。为了减少网络攻击对缓存文件的影响和实现负载均衡,系统采取一个前端重定向器加多个后端缓存服务器的架构。在系统的负载低于某个阀值时,将启动主动模式。另外,为满足各种定时需求,如连接超时,文件过期等,设计了定时器队列;由于需要经常进行DNS域名解析,所以在本地保存了DNS缓存,定时刷新到磁盘,以避免宕机或服务器重启导致DNS缓存尽失。最后,系统提供了各种日志。本系统以SUSE 11 Server为开发平台。通过实际环境和模拟测试验证了服务器功能和性能,从实际效果来看服务器能够持续稳定的给大量用户提供高效的服务。