主题搜索引擎中的多Agent爬行策略研究

来源 :西华大学 | 被引量 : 0次 | 上传用户:litiemei101
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机技术、人工智能以及计算机网络技术的快速发展,计算机快速转向开放的、网络平台的、协同工作方式,在这十多年来,源于分布式人工智能(Distributed Artificial Intelligence, DAI)的智能Agent以及多Agent (Multi-Agent System, MAS)系统已经成为了人工智能研究的热点。智能Agent以及MAS的出现为分布式系统的综合、分析、实现和应用开辟了一条新的路径,进一步促进了人工智能和软件工程的发展。当前,智能Agent技术已经被广泛的应用到了电子商务、航空控制、工作流管理、交通系统以及信息检索等众多领域。而本文主要研究的是智能Agent在主题信息检索引擎中的相关问题。主题搜索引擎利用智能Agent在网络上进行有目的有选择性的爬行,相对于通用搜索引擎,它有效的减少了检索页面的数量,增加了检索页面的规整程度,并能深入剖析用户感兴趣的主题,返回大量高质量用户相关信息,因此成为了研究的热点。然而在主题搜索领域,大多数研究者们均专注于Agent的自治,即单个Agent在网络上爬行时如何进行方向选择,却忽略了多个Agent之间的协调问题。因此,本文的研究重点是将主题搜索引擎中智能Agent的社会性与智能型相结合,换句话说,本文主要研究的是主题搜索引擎中的多个Agent在网上爬行时如何共享资源及相互协调的问题。在本文中,提出一种新的网页检索方法。本方法主要基于合同网协议、蚁群思想,实现Agent的智能性、合作性,从而提高重要网页的刷新频率和网页召回率。根据合同网协议,主题搜索引擎中的智能Agent被分成了三类:Manager、Contractor以及N-Agent。Manager和Contractor是定立合同的双方,N-Agent是未定立合同的Agent。Contractor负责在网络上检索到与主题相关的网页,不承担自身的支出;Manager不仅要检索网页,还负责监控任务执行并负担Contractor的支出;N-Agent检索网页,只承担自身支出。根据蚁群算法的思想,给网页赋予两种属性:“食物信息素”和“访问信息素”。具有较高相关度的网页具有较高的“食物信息素”,经常被访问的网页具有较高的“访问信息素”。Agent通过共享“食物信息素”、“访问信息素”的信息以及对锚文本的分析,实现本文提出的新的链接选取方法。最后通过相关实验对比,进一步说明了此智能Agent的优缺点,并得出了结论:在主题搜索引擎中,Agent采用合同网协议的协商方法能够提高工作效率,通过信息共享方式选择路径能够实现召回率、准确率与重要网页刷新频率的提高,增强系统中Agent执行任务的能力。
其他文献
近年来,基于人工智能技术的问题求解、自动证明、类人答题等应用已经成为研究的热点,并不断取得新的突破。自然语言处理是人工智能研究的一个重要内容,其研究方法主要包括基
随着网络应用技术的飞速发展,流媒体技术也已经在生活中的各个领域普及起来,如:远程教育、网络视频会议、视频点播等,因此对于流媒体技术的研究也越来越受到广大学者的重视。
粗糙集理论是一种处理分析不确定或者模糊知识的数学工具,已经在模式识别、专家系统、故障诊断和决策分析等方面有了较为成功的应用。由于数据库中的数据是动态变化的,数据库
随着信息技术的发展,垃圾邮件成为互联网的主要危害之一,垃圾邮件过滤技术也逐渐成为备受关注的研究领域。在与反垃圾邮件技术对抗中,垃圾邮件发送的手段和技术也不断的更新,
互联网技术的发展及人类需求的驱动,并且数据库技术的齐头并进,这让人类有能力存储和高效管理海量数据。人类积累的数据越来越多,所谓的大数据时代因此产生。面对海量数据,能
分布式网络在信息交换、资源共享、协同工作和并行处理等方面显示出的优势,使其迅速成为网络发展的方向。分布式网络具有开放性、动态性、自治性等特性,相对于传统的C/S网络
近年来,射频识别(RFID)技术快速发展,阅读器侦测范围的增大与识别率的提高,标签种类的丰富与成本的下降,促进RFID技术在越来越多的领域得到应用,且应用范围正在从大宗贵重物品转向
P2P技术是近年来流行的计算机网络结构,不同于客户机服务器结构,P2P中所有的节点都是平等的,没有严格的提供者和消费者的区分,网络中也不存在权威中心对这些节点进行管理。开
随着大数据时代的到来,数据的维度越来越高而且数据中的冗余信息越来越多,统计学习和机器学习从包含大量的冗余信息的数据中学习或发现有用的信息越来越困难,因此在对数据建
分布式信息处理、传感器技术、网络技术的发展推动了多传感器数据融合技术的发展,该技术目前已被广泛地应用于军事和民用的各个领域,在各个方面对人们的生产和生活起了积极的