【摘 要】
:
随着以传感数据为基础的物联网应用的发展,如何在大规模历史数据基础上实现针对高速数据流的实时计算成为云计算领域的新挑战。提出了一种面向大规模历史数据的数据流处理模型RTMR,通过历史数据预处理和中间结果缓存避免每次数据流到达时的重复处理开销,利用流水化和本地化技术减少Map与Reduce阶段间的同步开销和工作节点间的数据传输开销,改进了批处理方式MapReduce方法的数据流处理能力。在此基础上,提
【机 构】
:
中国科学院 研究生院, 北京 中国 100190;中国科学院 计算技术研究所, 北京 中国 100190
【出 处】
:
2012年第三届中国计算机学会服务计算学术会议
论文部分内容阅读
随着以传感数据为基础的物联网应用的发展,如何在大规模历史数据基础上实现针对高速数据流的实时计算成为云计算领域的新挑战。提出了一种面向大规模历史数据的数据流处理模型RTMR,通过历史数据预处理和中间结果缓存避免每次数据流到达时的重复处理开销,利用流水化和本地化技术减少Map与Reduce阶段间的同步开销和工作节点间的数据传输开销,改进了批处理方式MapReduce方法的数据流处理能力。在此基础上,提出了一种基于模型分析的适应性RTMR集群构造算法,根据应用特征和集群环境配置节点类型、数量和拓扑结构。以城市车辆运行数据处理应用为基准测试的实验表明,上述方法能够保障大规模历史数据上数据流处理的实时性和伸缩性。
其他文献
现如今很多具体的应用场景都需要计算用户偏好的相似度,比如协同推荐、社区构造、社交网的创建等等。本文中,我们基于逻辑偏好定义了计算用户定性偏好相似度问题,并在此基础上对此问题作了进一步分析,提出了偏好相似度的计算方法。其中,用户偏好是以逻辑的形式来表示的,以用户偏好缺失作为一个具体Web服务应用场景。并通过实验验证了相似度计算方法的正确性和有效性。
在互联网环境中如何对分布、自治的服务进行有序化组织是一个挑战性问题。传统服务计算环境对服务的关系缺乏分析和有效管理,用户在构建应用时难以发现满足自己需求的服务。本文基于对服务网络有序化程度的观察,量化地分析和度量服务网络的有序化状态,从而更好地指导服务的有序化组织。本文针对服务资产库中的服务集合,利用服务组合历史数据,建立了多个时间点上服务之间的协作网络,然后借用复杂网络的社团发现算法对服务网络进
服务工作流是实现分布式环境下服务资源协同工作的一种重要手段,在候选服务少的情况下,在候选服务少的情况下,很难依靠目前服务质量的一些软件技术特性提高服务工作流整体效率。把业务频率这一重要的非功能性因素融入到服务工作流中,同时结合服务的使用频度和服务出现的间隔这两个因素,提出服务预取模型,包括相对依赖强度和绝对依赖强度两个计算模型,前者体现了服务使用频度,后者体现了服务出现的间隔。业务频率则通过服务工
在开放多变的互联网环境下,不确定的Web服务QoS属性会影响组合服务的执行成功率,降低组合服务的可信性,甚至丧失用户对于系统的信心。为了解决这一问题,提出了基于鲁棒优化理论的Web服务组合,分别建立Web服务组合Soyster鲁棒模型和Web服务组合Bertsimas & Sim鲁棒模型,并与最短路径Web服务组合模型进行对比验证。验证结果表明,基于鲁棒优化理论的Web服务组合模型考虑到了开放多变
HLA/RTI是目前仿真领域的通用框架,针对其在互操作、可重用、容错性等方面的缺陷,本文提出了基于环境感知的仿真服务调度模型(C3SM)。在结构上,定义了仿真服务动态调度模型的总体结构,规定了各模块的功能与交互接口;在调度策略选择上,采用了修改的蚁群算法;在仿真服务的部署上,提出了三种类型的仿真服务部署策略并分析了各自的特点。实验结果表明,C3SM通过实时获取执行环境的上下文信息,可以获得较优的负
本文从Web服务发现体系结构和Web服务匹配策略两个方面对几种典型的Web服务发现方法进行了分析;然后结合物联网服务提供的特点,从可扩展性、资源有限性、异构性和环境的动态变化性四个方面分析了将Web服务发现方法应用于物联网服务提供中所面临的问题以及可能的解决思路;最后探讨了物联网服务发现的一些需要解决的问题。
随着工业现代化的发展,传统的人工监测已经难以满足工厂中的生产过程管理与控制、设备的安全维护等需要。而现代的远程监控系统大多数采用单一的有线或无线方式进行监控,只能满足有限的场合中的应用。本文提出了一种基于GPRS无线数据传输和以太网有线数据传输相结合的方式实现的远程监控系统,该系统是基于B/S架构设计的,监控人员只需通过浏览器就可在任何时间、任何地点得到实时监控的信息,并能发送简单的远程命令。最后
物联网是物理世界和信息世界的无缝融合,它将信息世界的快速发展能力带到了物理世界,促使信息与实体服务方式发生深刻的变革。物联网服务的正确建模和验证需要统一描述现实世界中的物理实体和计算机中的软件系统。鉴于这一需求的复杂性,现有的物联网分析模型大都割裂了物理世界与信息世界,因此不能准确反映物联网服务区别于Web服务的重要特征。解决这一问题,是促进物联网服务能够真正向智能、可靠发展的先决条件。本文利用混
针对现实环境中突发性灾难发生时通信基础设施易遭到破坏的问题,在综合分析蓝牙和Zigbee无线网络特点的基础上,本论文提出了一种基于突发性灾难环境的蓝牙/Zigbee异构无线网络传输系统设计与实现的方法。拥有蓝牙设备的用户较普遍但蓝牙的传输范围有限,而ZigBee设备小而轻便,可快速大范围部署,因此当自然灾难发生时,可以将灾区分散的蓝牙设备同灾前预先部署或灾后大范围抛洒部署的ZigBee通信网络相结
针对物联网移动感知场景中节点移动性、随机性和时空复杂性给数据感知、数据传递带来的问题,借助社会网络理论,对物联网移动感知服务机理展开研究,主要工作包括:(1)总结移动节点社会特性,定义不同决策因子,从多个角度推理和量化节点间社会关系;(2)分析移动节点活动规律,构造有向加权凝聚子群,建立感知服务信任传递链;(3)提出感知服务节点发现算法(aware service nodes discovery