论文部分内容阅读
随着大数据时代到来,分布式文件系统支持Hadoop大数据访问已成为一种趋势。以研究支持Hadoop大数据访问的pNFS框架为目的,采用在Hadoop与pNFS之间添加pNFSshimlayer模块的方法,实现了pNFS支持Hadoop大数据访问的HDFSAPIs;通过在pNFSshimlayer中添加写缓存和节点级数据布局感知机制优化了系统性能。采用Hadoop基准程序对提出的框架进行测试,结果显示写性能提升超过45%,读性能提升超过97%,证明此框架可以有效地支持Hadoop大数据访问。