随着互联网应用的普及,网络中共享信息资源也以惊人的速度增长,网络成为了全球范围内重要的信息载体和传播信息的最主要渠道之一。但随之而来也产生了一些日益突出的问题。一是大量的信息资源给检索带来困难。二是网络信息安全的问题,恶意病毒的破坏,反动、色情、暴力等不良内容在互联网上的传播已经成为日益突出有待解决的问题。三是垃圾邮件问题。因此研究网络内容的监控过滤技术,对于促进互联网应用的良性发展具有重要的理论和现实意义。 本文根据当前的现实需求,对高速超高速骨干网络上的网络内容过滤的各项关键技术进行了针对性研究,实现了一个分布式网络内容监控过滤系统。该系统能够在不影响主流业务开展的情况下,对所属管理域内的网络上的用户使用网络的行为和在网上传输的信息内容进行完全监控。 本文针对省级和国家级骨干网络的特点,对海量网络数据的实时分析采用了多处理机并行计算体系结构,通过业务分流和负载平衡合理地分流网络数据流,把海量计算均匀地分解到各处理机,减小了系统实现的复杂度,提高了系统的整体性能。 在网络数据采集和协议解析方面,针对网络协议的多样性,吸收了基于中间件的软件构件技术具有良好的可扩展性的优点,把协议解析和信息采集等设计成独立的构件,提供统一的接口,新增的协议解析和信息采集模块可以无缝地加载到本系统中,系统通过配置不同的协议分析模块和网络信息采集设备,既可以实现对TCP/IP网络各种应用层协议数据包(SMTP、POP3、HTTP,FTP,TELNET)的监控,也能够实现对移动业务短消息的监控。 在网络内容过滤技术方面,本文提出了基于特征码关键字匹配的实时过滤模型,在模型中,本文提出了直接对IP数据包内容直接进行内容过滤的分包过滤设计方式,实现了一个高性能多关键字匹配算法(基于有限自动机理论的Aho-Corasick算法),能够快速实时地对海量数据进行关键字匹配,同时解决了分包过滤中的漏报问题。