个性化网络信息采集处理系统的设计与实现

来源 :北京邮电大学 | 被引量 : 3次 | 上传用户:einima
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近几年来,计算机网络技术高速发展,网络信息量呈指数级增长。想在网络中找到需要的信息越来越难,故搜索引擎应运而生了。搜索引擎中的一个重要技术为网络爬虫技术,将网络爬虫技术与ETL技术相结合,可以形成一种个性化网络信息采集处理系统。城市管理包括政治的、经济的、社会的和市政的管理,它贯穿于城市规划、指挥、建设、运行、安全监督和协调的全过程之中。将个性化网络信息采集处理系统应用到城市管理科学决策中,会有效提高效率和准确度。本文来源于和某中心和合作项目,主要完成了以下工作:(1)分析了本课题的具体的需求,并且分析了网络爬虫技术和ETL技术结合的可行性以及优势,在此基础上,提出了个性化网络信息采集处理系统的概念及必要性。(2)根据城市管理的实际工作特点及需求,通过使用一些更适合于城市管理领域的设计思想,设计了一种适合于城市管理者使用的个性化网络信息采集处理系统。(3)以此设计思想,实现了个性化网络信息采集处理系统,使其真正可以应用与舆情分析系统之中。并对整个系统的性能进行了测试,验证了个性化网络信息采集处理系统的优势所在。
其他文献
建立一个大样本的软件开发过程数据资源池,可以回答软件工程学,甚至是社会学、组织学中许多的经典问题。本文设计与实现了一个软件开发过程数据池,为软件开发过程方面的研究提供
随着计算机科学技术的发展和不断进步,图形处理技术的应用在各行业的发展中发挥着突出作用。应用计算机图形技术,将采样数据可视化为图形,并提供各种人机交互操作,实现数据的去噪
网络的高速发展带来一系列网络监管上的问题,除传统的网络安全技术问题外,网络内容安全也越来越引起了人们的重视,网络舆情信息的监测正是在这种背景下产生的。舆情是指在一
当前,IP网络是世界上规模最大、应用最广泛的网络,但是IP网络存在固有缺陷,导致服务质量难以保证等问题。为了提高网络资源利用率,提高服务质量,需要及时、准确、全面地了解
随着三维技术的快速发展,人们对三维模型的需求越来越大,且互联网作为信息交流的工具,越来越普及,因此人们对互联网上快速传输三维模型的需求成为必然。另外,随着三维技术在
随着网络管理技术的发展,网络管理的规模越来越大,网络管理自动化与智能化成为下一代网络管理发展的重要方向。网络管理自动化要求网络管理系统能够最大限度代替网络管理者完
物流监管业务是我国物流企业拉动并促进各项主营业务发展的一条新途径。物流监管业务的信息化是提高整个企业物流监管业务管理效率和监控能力的有效手段。物流监管业务是第三
三维视频表现的信息更丰富、形象,它不仅应用在娱乐领域还能用于生产实践领域,它可用于虚拟现实、实时控制、精确制导、交互控制等方面,具有巨大的应用空间和应用价值。本文
在软件体系结构研究领域,出现了由通过构件和连接子来描述体系结构的方法向通过记录设计决策和设计理由来描述体系结构的方法的转换。这主要是因为构件-连接子模型只记录设计
图像是人类获取、传递和交流信息的重要途径之一。但是在图像获取、传输和存储过程中,由于环境条件、光学成像设备局限性等影响,不可避免会引入模糊,从而降低其质量。计算机视觉