面向主题的网页过滤机制研究

来源 :兰州大学 | 被引量 : 0次 | 上传用户:Moon_____light
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着Internet的日益普及和迅猛发展,人们对网络的依赖程度越来越高,但Internet的开放性、平等性、无界性等特征又导致了网络的无限制滥用,大量的垃圾及敏感信息充斥于网络,如何滤除这些垃圾及敏感信息,消除网络带来的消极及负面影响已成为Internet信息服务须解决的关键问题之一。解决这一问题的最有效技术手段就是进行信息过滤。文章在研究信息过滤一般原理及常用网页过滤技术的基础上,以需求为驱动,从功能的角度出发,提出并构建了一个基于主题的网页过滤体系,并对该体系进行了较为深入的研究,主要的研究工作和取得的创新成果有以下几个主要方面:首先,分析了目前Internet中传播的各种信息流,根据过滤需求对网络中需要过滤的信息进行了分类,明确定义了研究的主题领域,在此基础上,设计了一个面向主题的信息过滤系统TSIFS,该系统采用分层的网页过滤策略,在信息过滤的分类方案中引入了神经网络技术,利用神经网络的学习能力及适应性弥补一般过滤机制的不足,从而可以提高了网页过滤的准确性。其次,为了处理的方便性,通过归一化策略将Web页面包含的多类型数据变换为文本信息进行处理,在这一变换过程中结合了主题信息的过滤特征,利用主题专业词汇及人工编辑辞典完成了文本向量的表示,设计了一个新的特征词权重函数;另外还提出并设计了一种页面字符编码的判别算法。再次,利用BP网络构建了基于神经网络的过滤信息分类模型,构造了TSIFS中的过滤引擎处理机制,并对涉及的输入向量正规化、参数选择等关键问题进行了重点讨论。最后,文章通过仿真实验对构造的基于主题的过滤系统进行了可行性、有效性、准确性等方面的实验验证和分析。
其他文献
随着农业信息化的快速发展,农业专家系统在农业生产中占有越来越重要的地位。然而,在农业专家系统的使用过程中,用户需要对相应专家系统中一系列的提问进行表述和提示性的选择,使
技术的革新使科学家能够以不断增加的步速,从试验、仿真及观测中收集数据,数据容量已从近来的十亿字节、千兆字节,达到现在的万亿字节。我们产生数据的能力已经远远超过了我
网格是继传统因特网、web之后互联网发展的新方向,代表了一种先进的技术和基础设施,它将高性能计算机、分布式技术、因特网等多种技术有机地结合起来以达到各种软硬件资源的整
在如今的网络应用中TCP/IP协议占有重要的地位,最近的研究表明83%~95%的网络流量是由TCP控制的,而其中13%的TCP包需要重传。但是在网络中重传的包有将近一半是没有必要的。造成这种
随着航天测试技术的不断发展,总线技术、箭测体制的应用,使得系统集成度高,设备的工作原理、测试流程和信息传输机制对于参试人员来说是个学习上的“黑匣子”,难以深入掌握。所以
Freescale公司于2004年开始推出的新一代8位MCU HCS08系列及其简化版本的RS08系列产品,目前已经有200多个型号上市。该系列MCU新引入的BDM功能,为嵌入式开发提供了全新的调试
随计算机网络技术的飞速发展,借助网络嗅探器进行网络流量监控和网络问题分析已经成为网络管理员不可缺少的工作内容,利用网络嗅探器进行网络攻击也深受广大黑客欢迎。从网络
当今高度复杂的非线性系统中控制算法的研究,一直是控制界研究的热点问题。PID控制与模糊控制是两种较通用的控制算法。针对PID算法中参数整定“跟踪性能与抑制干扰性能不可
基于群集智能的优化算法是一种仿生自然界动物昆虫觅食、筑巢行为的模拟进化算法。目前主要的群集智能优化算法有:遗传算法、蚁群算法、粒子群算法以及鱼群算法。它们均是一种
随着科技的进步和人民生活水平的不断提高,视频监控系统在工业生活、国家安防、日常生活中得到了广泛的应用。视频监控技术融合了计算机、多媒体、通信及网络等多项技术,成为