实时信息采集任务的服务质量保证技术研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:juju108
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网高速发展,网络中的信息飞速增加更多的人参与到互联网中进行发言和互动交流为充分地分析和预测舆论走向和趋势,互联网舆情相关技术应运而生截止到2012年,中国网页总数超过600亿个,2003年开始基本保持100%的年增长率其爆炸性增长最终导致舆情数据量按指数级数量进行膨胀舆情信息采集必须具备足够高的速度才能应对信息的变化过时的舆情信息往往会错失战机失去价值因此返回实时信息的采集具有重要的研究意义因此本文的主要内容为:由处理器调度这些搜索请求和爬虫进行资源管理的问题可以抽象为异构处理实时任务和带有副本的实时任务的调度问题实时任务的调度方法主要有基于单调速率调度等单处理器的传统的调度方法,以及局部调度和全局调度的多处理器调度方法以及基于进化算法的调度方式每种方法都有其适应条件和优缺点而且,在进行实时任务分配的过程中,这些方法均没有考虑能量消耗的问题,即使用这些方法分配出了可行的方案,但与此同时能量消耗也大大地增加了通过分析以上的方法的局限性文本研究了实时任务的分配方法,在异构处理器上提出了基于粒子群算法的改进算法,增加了能耗约束,在分配任务的同时需要降低能量的消耗同时,对于带有副本的实时任务的分配方法,本文提出了线性规划算法近似的动态规划算法以及多项式时间复杂度的的算法来解决该问题,以达到更快地分配实时任务和增加找到可行解的几率的目的通过实验部分,本文不仅对随机生成的实时任务进行了模拟调度,同时也对真实的实时任务进行了分配,提出的改进的粒子群算法既可以减少运行的时间,同时降低了能量消耗,提高了分配过程速度和结果的质量在与其他已有算法进行对比时发现该改进的粒子群算法在分配时间找到可行解的数量,以及能耗的减少上均有一定的优势此外,对基于复制的实时任务所提出的多项式时间复杂度算法,其对缩短运行时间和数据处理能力都有很大的提升异构环境下实时任务以及带有副本的实时任务的分配问题的方法可以准确地对任务进行分配和处理同时减少了能量消耗,为舆情中返回实时信息的采集这一要求提供了方法,为提高实时信息的采集速度和准确性提供了参考
其他文献
在对计算机模拟MBR研究中,发现由于膜在空间上仅占据整个系统的很小一部分,造成了模拟中对膜过程实际现象进行充分、深入表达的需求与计算量限制之间的矛盾,从而导致“仿而不真
随着电生理仿真规模的大幅增加并随之而来的数据量的剧增,人们越来越需要一个能够实时可视化并且能够在计算过程中进行干预控制的电生理仿真系统。如何完成这样一个电生理仿真
风能,作为可再生能源,无穷无尽,清洁环保,已成为许多国家可持续发展战略的一个重要组成部分,因此,风力发电得到了迅速的发展。风电机组工作环境恶劣,长期受到正常和极端温度、降雨、积雪、沙尘、太阳辐射等环境因素的影响,各部件也必将不可避免随着运行时间的变化而老化,可靠性下降,导致故障发生,影响风电场的安全稳定。风力发电机作为风电机组故障率较高的部件,对其进行实时状态监测,及时发现故障征兆,确定合理的维护
人脸识别作为一种典型的生物特征鉴别方式,已经成为模式识别领域中一个重要的研究方向,具有广阔的应用前景。近年来移动互联网的迅速发展对人脸识别的应用也随之产生了新的需求
随着计算机互联网技术的发展,实时数据流成为数据信息中一种重要的数据形式,且已被广泛应用于网络流量控制、数据监测系统、互联网金融等领域。如何快速有效的从高速、大量的
目前,随着手机普及率的提高,加之社交网站、购物网站的普遍应用,手机注册的普遍性,用户手机号已成为商家广为利用的营销工具。随之而来的垃圾短信,不仅占用网络资源,干扰用户
分布式信源编码(Distributed Source Coding, DSC)主要研究多个信源的独立编码和联合解码。它的理论基础是Slepian-Wolf理论和Wyner-Ziv理论。分布式视频编码(Distributed Vi
智能电网的快速发展,使智能电表、量测系统等应用增加,从而使数据的规模和种类呈直线式增长,海量电网数据的安全存储问题成为制约智能电网发展的瓶颈。云存储技术可以使用虚拟化技术把物理资源整合成统一的存储资源,支持海量数据的存储,其具有数据处理量大、灵活性强和高可靠性等优点,可以解决海量电网数据的存储问题。但是使用云存储电网海量数据时,如何保证电网数据存储的完整性是智能电网云存储系统发展过程中面临的挑战,
无线射频识别RFID(Radio Frequency Identification)技术是一种非接触式自动识别技术,利用射频信号通过传递消息来实现识别。随着RFID技术的不断发展,安全和隐私问题受到人们越
随着Web2.0时代的到来,人们渐渐从信息接收者转变为信息创造者,信息分享也变得更加容易,人们在享受着互联网带来的便利的同时,也逐渐被信息过载问题所困扰。面对浩瀚的、令人