基于Hadoop的交通物流数据仓库构建技术研究

来源 :西部交通科技 | 被引量 : 0次 | 上传用户:xia__1989
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着社会经济的高速发展,交通物流行业对交通数据存储、管理和分析的要求越来越高。文章在对比Hadoop与MPP等技术的基础上,基于对MapReduce并行计算、HDFS分布式文件系统、数仓工具Hive和Sqoop采集组件等架构的分析,研究了Hadoop交通物流数据仓库的构建技术,建设了交通物流数据仓库,实现了海量交通物流数据文件的元数据管理、分布式存储和交通物流数据查询。经测试验证:利用交通物流数据仓库进行大型交通物流数据文件的存储和操作时,能有效提高数据吞吐率及其读写效率。
其他文献
领导干部自然资源资产离任审计作为我国审计监督体制下的一种审计工作方式,其审计对象的特殊性和审计工作取证的复杂性就决定了其必然具有鲜明的中国特色。自2013年中共十八届三中全会提出要建立生态环境损害责任终身追究制到2018年3月审计署审计长会议通过的《审计署关于内部审计工作的规定》中提出的针对内部审计工作将自然资源资产管理和生态环境保护责任履行情况纳入其审计职责范围,在政策因素的驱动下,我国的审计史
<正>有消息称Windows8的开机速度极快,几乎在你按下开关几秒钟就可以完成。那想不想让自己的XP也具有这样的启动速度呢!虽然可使用WinXP的休眠功能来实现快速开机,可惜XP系统
采用对新生枣头一级、二级、三级摘心及先对部分没有生长空间的新生枣头抹芽,再对保留下的新生枣头直接进行三级摘心的2种处理方法来研究对木质化枣吊形成的影响,以探究摘心
进入21世纪以来,世界各国从提高综合国力的高度,加大了对教学课程的改革力度。随着上海国际大都市功能发展的变化,对复合型人材的需要。尤为迫切。因此,对教育教学也提出了更高更
为解决细支爆珠滤棒在成型过程中存在的运行速度低和缺珠率高等问题,采用凸轮滑块结构设计了一种植珠装置。通过分析滑块运动规律,计算了凸轮轮廓线,并对压力角进行了验算,确
每年的高考经常就教材的例题、习题进行引申、变化和拓展,以命制新的题型。教师必须研究高考动向,对课本内容及课本中的例题、习题进行深入挖掘,学会创造性地开发教材,用教材的时
目的评价乳头肌切开术(EST)在合并十二指肠乳头旁憩室的特发性胰腺炎中的诊治价值。方法对该院7年来收治的18例合并十二指肠乳头旁憩室的特发性胰腺炎进行回顾性研究。结果 18
汤羹是中国饮食中最为普通的食馔,有着极其久远的历史。“徐州羹文化圈”是中华民族餐饮国粹行为的最本质内涵,“雉羹”奠定了“徐州羹文化圈”的坚实基础,更开启了中华民族璀璨
中国共产党人的初心和使命,也是新闻舆论工作者的初心和使命。在新中国成立到基本完成社会主义改造的7年时间里,党的新闻舆论工作在继承清凉山时期优良传统的基础上,结合新中
【正】 十八世纪末期,在世界历史上爆发了第一次资产阶级革命——法国大革命,伴随着法国大革命的浪潮,整个西方思想界对此作出了不同的反应。由此产生了保守主义、自由主义、