随着互联网的不断发展,网络在人们的日常生活中扮演越来越重要的角色,同时随着用户数量的增加,网络上的信息更是呈现出爆发式增长的态势。面对越来越丰富的网络信息,虽然说给人们的生活带来了更多的选择,可是却也导致了用户越来越难以寻找、采集到自己真正需要的网络信息。针对这一现象,本文提出了一种基于用户个性定制的信息采集处理系统,旨在更好的帮助用户采集以及处理整合其聚焦的网络信息。首先,在信息采集方面,系统采用聚焦性更强的垂直爬虫帮助用户进行数据的爬取。同时为了实现用户的个性化需求,系统采用基于用户配置的方式进行信息的采集,用户可以从爬取的各个方面进行设置,尤其是在信息过滤方面,可以选用网页类别特性进行筛选,精细的控制了采集的范围。其次,在信息处理方面,考虑到用户往往希望得到的并不是网页本身,而是网页中所表达出来的信息,即结构化的信息。系统基于网页的特征,将网页正文、关键词、摘要以及类别四个方面作为最终处理的结果反馈给用户。系统采用了统计分析与文本分析结合的方式进行网页结构化信息的提取,并且在实际应用中取得了不错的效果。最后,在用户交互的方式上,系统采用了当下流行的B/S架构,抛弃了其他采集系统惯用的富客户端模式,构建了一个真正便于用户操作的平台。用户仅仅需要简单的几步操作,就能够获得自己真正需要的结构化信息。本课题中所设计并实现的系统是一个真正旨在从用户的角度出发的采集处理系统。本文基于互联网上数据的现状,结合用户的特殊需求,致力于打造一个具备通用性的信息采集处理平台。