【摘 要】
：
以实时传感数据和历史感知数据为基础的各类计算需求逐渐成为当前物联网应用建设中的关键,如何实现基于高速数据流和大规模历史数据的实时计算成为数据处理领域的新挑战.现有
【机 构】
：
中国科学院计算技术研究所,中国科学院研究生院,北方工业大学信息工程学院
【基金项目】
：
国家自然科学基金(60903137,61003294)资助~~
论文部分内容阅读
以实时传感数据和历史感知数据为基础的各类计算需求逐渐成为当前物联网应用建设中的关键,如何实现基于高速数据流和大规模历史数据的实时计算成为数据处理领域的新挑战.现有批处理方式的MapReduce大规模数据处理技术难以满足此类计算的实时要求.文中结合城市车辆数据的实时采集与处理应用,在理论和实践分析的基础上,提出了一种针对高速数据流的大规模数据实时处理方法,并对方法中的本地阶段化流水线、中间结果缓存等关键技术瓶颈进行了改进.其中,根据系统参数控制阶段化流水线,使CPU得到了充分、有效利用;通过改造内外存数据结构、读写策略和替换算法,优化了本地中间结果的高并发读写性能.实验表明,上述方法可以显著提升大规模历史数据上数据流处理的实时性和可伸缩性.
其他文献
目的:观察髓芯减压植骨干细胞移植结合股骨头坏死愈胶囊治疗早期股骨头坏死的近期临床疗效。方法:采用髓芯减压植骨干细胞移植治疗早期股骨头坏死患者33例(39髋)。以Harris评
根据宁夏固原地区近 2 5a的历史资料 ,本文将土地利用类型分为 :天然次生林 (山杨、辽东栎、灌木 )、次生林砍伐后形成的牧草地、农田及农田或牧草地形成的人工林 (13a、18a
<正>第十二届中国大学生广告节学院奖由中国广告协会主办,《广告人》杂志承办。本届学院奖共收到80911组113601件作品,总件数突破11万件,再次刷新记录,在中国乃至全世界广告
目的:探讨原发性高血压病患者实施中医健康教育的效果。方法:对120例原发性高血压病患者,按入选号单双号随机分为对照组和观察组各60例。对照组予常规降压药治疗护理,观察组
近年来,未成年人校园欺凌事件时有发生,而到目前为止,我国对校园欺凌尚未有法律上的定义,这不利于对校园欺凌行为的认定。另外在对该类事件的处理中,或对构成犯罪的未成年人
移动设备如智能手机、平板电脑已成为最主要的电子消费品,且呈现出快速增长的趋势.移动设备上运行的应用程序种类丰富多样,对硬件平台上不同资源的需求也大不相同;而移动设备
目的：探讨在数字化乳腺钼靶摄影中腋窝淋巴结的形态学改变对乳腺良恶性疾病的诊断价值。方法：回顾性分析我院2014-01-2015-01因乳房肿块行数字化乳腺钼靶检查并可见腋窝淋巴结
软件定义网络SDN(Software-Defined Networking)是由美国斯坦福大学Clean Slate研究组提出的一种新型网络创新架构,可通过软件编程的形式定义和控制网络,其控制平面和转发平
<正> 全球首富、微软总裁比尔·盖茨的成功经验已受到了全球的瞩目。在他的取胜之道中,最重要的是他把自己定位在一个不断创新的公司,在这种定位策略的思想指导下,微软甚至敢
本文对绍兴县有线网络的业务中长期发展战略进行思考，旨在三网融合趋势下，从县级有线网络的自身特点，以业务融合为突破口，向综合信息服务提供商转型，笔者作为从业有线网络多年的基