【摘 要】
：
提出一种基于Hadoop软件框架进行海量测试数据处理的解决方案。在深入研究Hadoop分布式系统构架、HDFS分布式文件系统以及Map Reduce分布式编程模型的基础上,设计并实现了二
【基金项目】
：
陕西省自然科学基金(2014JM8311)
论文部分内容阅读
提出一种基于Hadoop软件框架进行海量测试数据处理的解决方案。在深入研究Hadoop分布式系统构架、HDFS分布式文件系统以及Map Reduce分布式编程模型的基础上,设计并实现了二进制测试数据文件到HDFS的传输机制以及基于Map Reduce的测试数据分布式格式转换系统。最后搭建实验环境,验证了整个系统的正确性并对分布式格式转换系统进行性能评估。与本地单机相比,系统在处理海量数据时具有更高的效率及更好的可拓展性。
其他文献
众所周知,中国人学习汉语很容易,学习英语却有些困难,同样的外国人学习中文是相当困难的,原因究竟是什么。其实英汉差异的根本原因是两个语种的人分别有他们的生活背景与语言
<正> 现在国外数字显示电子手表大约可分三类:液晶显示、发光二极管及电化铬显示电子手表。液晶显示和发光二极管显示电子手表正在竞争,而电化铬则是将来的最大劲敌。有人说
轨道交通安全和事故数据是安全管理依据和理论基础。欧盟依据铁路安全指令按年度发布的铁路安全统计报告,内容包括:事故趋势、主要事故、以共同安全指标为基本统计口径的事故
提出了一种基于OBD协议的Android平台汽车虚拟仪表设计方法。该装置以连接器硬件和解析OBD数据软件为核心,连接器硬件读取OBD接口实时数据,软件解析相关参数值,最后在Android
通过掺加苯丙乳液、纯丙乳液、乳化沥青对超高掺量粉煤灰盾构法同步注浆用水泥砂浆进行改性;并研究了聚合物乳液对砂浆的工作性、力学性能、耐水性能的影响;试验结果表明:聚
信号分解是从信号中获取特征信息的过程,是模式识别、智能系统和故障诊断等诸多领域的基础和关键。非平稳信号往往包含着反映系统变化的重要信息,并且广泛存在,对其研究具有
<正>在中国当代文学的场域中,韩少功可谓是一位"标尺性作家"①。他的小说创作历经"伤痕文学"、"寻根文学"和跨文体写作的长篇小说创作三个阶段②,成为中国当代文学发展历程中
设计了一种带温度补偿和可通信功能的数字式电流互感器。该数字式互感器以STM32F103芯片为核心,利用霍尔电流传感器ACS712采集交流电流信号,经STM32F103模数转换和真有效值计
针对在农业物联网中通信环境复杂和大数据处理效率低的问题,提出了基于机会协作的自适应大数据处理机制。根据农业物联网应用需求,综合考虑了农业产业环境对无线数据传输的影
美国交通运输业极为发达，铁路总长约30多万公里，铁路网平均密度为100平方公里有4．5公里铁路。全国公路约600多万公里，已形成干支相连、四通八达的公路系统，高速公路发展迅速，长度7