面向高性能计算机的海量数据处理平台实现与评测

来源 :计算机研究与发展 | 被引量 : 0次 | 上传用户:rayasoft
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
高性能计算机主要应用于传统的科学计算领域,而在云计算时代,数据密集型应用成为一大类新型应用,已经变得越来越重要.主要探索如何在高性能计算机上高效地进行海量数据处理,使高性能计算机在进行科学计算的同时,能够非常好地支持数据密集型应用,拓展高性能计算机的应用领域.分析了高性能计算机上MapReduce模型实现和部署的可行性之后,在高性能计算环境中进行了实验.实验结果表明,存储系统的并行I/O能力不能充分发挥,是造成系统无法高效运行的主要瓶颈.而导致这个性能瓶颈的原因,是高并发带来的对集群文件系统资源的竞争和冲突.最后,提出了几种解决集群文件系统资源冲突的方案,这是今后的研究方向.
其他文献
目前,“快时尚”品牌服饰凭借对大众消费需求掌握准确,具有能够快速设计和生产的特征,填补大众消费的时尚空缺已被大众认可同时带动整个品牌服饰的设计思维变革。“快时尚”
DDR3存储器已经成为目前服务器和计算机系统的主流应用,虽然DDR3采用双参考电压、片上校准引擎、动态ODT、fly-by拓扑以及write-leveling等技术在一定程度上提高了信号完整性
<正>D.P.Snustad M.J.Simmons等著赵寿元乔守怡等译(复旦大学)书号:978-7-04-017147-1出版日期:2011年4月定价:260.00插图:1000幅字数:180万这是北美较流行的一本优秀的遗传
许兰雪轩,是写入文学史的朝鲜朝著名的女诗人。她从小学习汉字和汉文学,受中国古代诗歌影响至深。她一生命途多舛,创作了200多首诗歌,其诗歌在朝鲜和中国都得到了广泛传播并
明治维新之后,日本建立了新的国家体制,推行了对外殖民扩张的“大陆政策”。1895年,日本通过甲午中日战争的胜利与《马关条约》的签订,将台湾掠夺为自己的殖民地,建立了总督
简要介绍了水平基因转移(horizontalgenetransfer,HGT)的基本概念以及进行转移的主要方式:由质粒或病毒等介导的水平基因转移和基因的"直接"水平转移。并结合基因组序列分析,
机器学习是人工智能领域的一个重要学科.自从20世纪80年代以来,机器学习在算法、理论和应用等方面都获得巨大成功.2006年以来,机器学习领域中一个叫"深度学习"的课题开始受到
经济新常态是经济发展过程中必经的过程,是一种经济发展特征转向了另外一种经济发展特征。随着中国经济步入新常态,中国经济在减速放缓的同时其过去的比较优势、增长动力以及
20世纪80年代以来,在杜威(Dewey)关于反思性思维论述基础上,许多学者和教师都对其进行深入探讨,阐明了反思性教学理论的重要价值。20世纪90年代以来,该理论被逐渐引入到外语
包容性发展强调发展机会均等,注重社会经济发展的全面协调与利益共享,而微型金融恰恰是包容性发展在金融领域的体现,同时也是当代市场经济条件下社会金融体系的一个有机组成