【摘 要】
：
针对物联网环境下异构大数据处理实时性低的问题,探讨了基于Hadoop框架实现数据处理与持久化的方法,提出了一种基于"上下文"的Hadoop大数据处理系统模型HDS,HDS利用Hadoop框
【机 构】
：
西南交通大学交通运输与物流学院,西南交通大学全国铁路列车运行图编制研发培训中心
论文部分内容阅读
针对物联网环境下异构大数据处理实时性低的问题,探讨了基于Hadoop框架实现数据处理与持久化的方法,提出了一种基于"上下文"的Hadoop大数据处理系统模型HDS,HDS利用Hadoop框架完成数据并行处理与持久化,将物联网环境下异构数据抽象为"上下文"作为HDS处理对象;并提出了"上下文距离""上下文邻域系统(CNS)"的定义;对于Hadoop框架本身数据处理实时性不高的问题,HDS在设计上增加了"上下文队列(CQ)"作为辅助存储来提高数据处理实时性;利用"上下文"的时空特性,建立了用户请求"上下文邻域系统"对任务进行重组。以成品油配送车辆调度问题为例,利用MapReduce并行实验对HDS的数据处理与实时性能进行了验证与分析。实验结果表明,在物联网环境下,HDS不仅在大数据处理性能上较传统单点处理模型(SDS)具有明显优势,在实验环境中10台服务器的情况下,其计算性能能够超过SDS 200倍以上;同时也验证了CQ作为辅助存储能够有效提高数据处理实时性,在10台服务器环境下,其数据处理实时性能够提高270倍以上。
其他文献
<正> 现代医学认为,多囊卵巢综合征是由下丘脑—垂体—卵巢轴系功能失调引起,以月经稀发、无排卵、不孕、多毛、肥胖、痤疮等症为主的一种常见病。发生率约占育龄妇女的5％～10％。
【正】 一英国的马克思主义学派是当代西方最有影响的史学流派之一。他们以唯物史观为指导,用马克思主义的方法来研究英国历史,在英国革命、封建主义向资本主义转变、资本主
4 .Лишу (隶书 )—деловоеписьмоВпоследниегодыПериодаЧжаньго (Воюющихцарств) ,особеннопосле
<正>引言鸽新城疫是由鸽Ⅰ型副粘病毒（Pigeon Paramyxovirus type I,PPMV-I）引起鸽群的一种急性、高度接触性传染病[1]。鸽源新城疫病毒普遍具有强毒株的F基因裂解位点,但是其M
“心(脉)生血”理论属中医五脏生血理论之一,具体包括“心体生血”和“心脏生血”,并通过“化赤”、“血精生血”、“协助其它脏腑生血”等3个方面发挥生理作用。其病理表现
虚拟仿真技术、机电液一体化技术都是机械领域近年来兴起的先进技术,具有突出的优点。机电液一体化仿真应用于机电液一体化产品设计取代传统的机械设计、试验和研究方法必将
俄罗斯的电视频道数量不少，种类繁多。有国家和私立，中央和地方之分，分别拥有不同的覆盖面和观众群。主要的有以下几家：ＯＰＴ、ＰＴＰ、ＨＴＢ、ＴＢ－６、ＴＢЦ（тв－центр）、Культура等。ТВ－６和Т
西番莲又名鸡蛋果、百香果，西番莲科西番莲属，热带、亚热带藤木攀缘果树，其果汁风味独特，酸甜可口，芳香怡人，是世界上最好的天然植物香精，俗称“百香果”。其果汁饮料在国际市场上享
<正>Eric Hobsbawm is arguably the preeminent Western Marxist historian,author of the magisterial four-volume survey of Western/World history in the nineteenth a