航空货运中海量小文件的存储优化

来源 :计算机工程与设计 | 被引量 : 0次 | 上传用户:eastphoto
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对Hadoop分布式文件系统在航空货运中海量小文件存储方面存在的低效率问题,提出一种面向航空货运中海量小文件的存储优化方法。通过分析航空货运数据交换平台中历史报文数据,构建用户的报文类型访问模型,计算报文类型的关联度,根据关联度将小文件合并成大文件后存储至HDFS;建立小文件索引以及数据缓存和相关小文件预取机制。实验结果表明,该方法对于Hadoop分布式文件系统存取航空货运海量小文件时NameNode的压力有明显缓解,提升了存取文件的时间效率,为航空货运中海量小文件的存储问题提供了技术支持。
其他文献
九五期间云南地调院共承担 4 5幅 1∶5万区域地质调查和两幅 1∶2 5万区域地质调查试点图幅 ,完成沉积岩区和造山带相关填图方法研究。通过这些项目的实施取得了丰硕成果 ,在
碘伏消毒与酒精消毒针孔实验组,结果显示:两种消毒剂杀灭一般细菌和金黄色葡萄球菌的效果无显著差异(P>0.05)。但临床观察发现:碘伏的刺激性远远低于酒精,尤其在术后早期,并且可有效控制局
<正>当前我国葡萄酒产业正处于转方式,调结构的重要时期,葡萄酒庄园的建设已成为葡萄酒产业增长的重要实现方式。建什么样的酒庄、如何建设酒庄是困惑投资者的一个首要问题。
期刊
我国加入WTO后,商业银行面临着前所未有的竞争压力——外资银行纷纷抢滩中国市场。特别在利差收入不断降低的形势下,大力发展中间业务,已成为摆在国内商业银行面前的一个紧迫
<正>首先要明确产区和分级是两个不同的概念。产区是在长期的生产过程中自然形成的被社会公认为葡萄酒生产的优良地区;分级是在形成的产区内由政府或行业组织通过制定法律法
<正> 仲景在《金匮要略》中提出了“病痰饮者,当以温药和之”,被后世尊为痰饮病的治疗准则,然而对仲景的立意,后世又大都限于饮为阴邪,得温则散之说而来窥其全,“以温药和之
<正>"我相信健康建筑是未来发展的趋势,健康建筑最打动我的一点就在于它能呵护我们的健康。"作为较早投资WELL健康标准的设计师,施道红说他对健康建筑首先是一种"情怀",其次
<正> 商业银行的中间业务是当前我国银行业务发展和收入提升的重要增长点,是国际银行业发展的潮流。人民银行2001年颁发了《商业银行发展中间业务暂行办法》,2002年又就商业
目的了解中药注射剂不良反应的发生情况、特点及规律,为临床合理用药提供参考。方法采用回顾性研究方法,对2004~2005年河南省药品不良反应监测中心收集的中药注射剂不良反应病