并行程序中不同I/O实现方式的设计与I/O性能

来源 :内蒙古大学 | 被引量 : 7次 | 上传用户:rogy520111
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大规模的并行计算机越来越多的被用于解决许多不同领域的大规模的I/O密集型应用,对于这些应用,I/O请求在获得高性能方面上常常造成严重的障碍,当前研究的一个重要方面就是开发一些技术来降低执行I/O的开销。 本文首先讨论了并行环境中I/O的基本方法——串行I/O方法和并行I/O方法,并使用MPI-1及MPI-2对这两种方法进行了实现。分析了当访问连续数据块时不同的实现方法对I/O带宽产生的影响。通过理论分析和实验表明,基于MPI-1的并行I/O实现方法与其它I/O实现方法相比,可得到更高的I/O带宽,是解决I/O性能问题的有效途径。 接着,本文讨论了如何提高非连续访问的性能。并行程序中的访问模式通常是由访问大量的小的连续数据块组成,如果应用程序中的I/O要求制造许多小的I/O请求的话,那么I/O性能就会明显下降。为了解决这个问题,本文分析了两种方法:一种方法是两阶段I/O方法,即处理器间相互合作开发的一种I/O策略,该方法是通过减少I/O请求的数量,增大I/O请求的大小,来更好更充分的利用I/O子系统。我们描述了两阶段I/O的实现算法,并通过编写程序对它进行了实现。通过实验分析了两阶段I/O算法对I/O带宽产生的影响。实验结果表明两阶段I/O与non-collcetive I/O操作相比,可在很大程度上降低执行非连续I/O的开销。另一种方法则是视口I/O方法。MPI-IO的一个重要特征是它允许用户通过使用派生数据类型定义文件视口来使用一个单一函数请
其他文献
随着社会的不断发展,指纹识别作为一种重要的身份验证手段已经成为了国内外研究热点并且渗透到日程生活的各个方面,指纹识别至今已经发展了一百多年,但是我们对于高效指纹识别方
随着Internet的高速发展,人们的日常生活和网络息息相关,网络安全问题日显突出。相对于静态的、基于包过滤策略的防火墙技术,入侵检测技术是一种动态的、以数据分析与处理为核心
ASP(Application Service Provider,应用服务提供商)是一种业务租赁模式,企业用户可以直接租用ASP的计算机及软件系统进行自己的业务管理,从而节省一大笔用于IT产品技术购买
随着计算机硬件成本的下降,拥有大量计算机节点的集群环境正在普及。服务部署概念的出现为安装配置这些节点提供了方便,同时也为资源的共享提供了可能。在基于存储层次虚拟化
社交媒体平台是获取人们的观点、态度、意图和主观内心世界的一种重要途径,而自然语言处理和情感分析等相关技术则提供了有效的处理手段。本文面向微博的大规模文本数据,对用户
数字电视是电视技术、通信技术、和计算机技术的跨学科综合产物,被称为中国21世纪前景最广阔的产业之一。在数字电视系统中,如何解决异构平台和操作系统对上层应用支持的问题,是
本文提出了数据可视化效果更加自然的位置可调SOM算法。自组织映射的迭代优化方法会使其陷入局部极值,进而降低数据可视化的质量,ISOMAP算法可用来对其进行指导以避免局部极值
Internet的迅速发展促使基于TCP/IP协议多媒体会议的产生,ITU-T组织提出H.323协议用于构建VoIP系统和多媒体会议系统并取得广泛的应用,但H.323协议比较复杂,可扩展性不好,基
数据库功能和规模的膨胀与数据库性能调整的复杂已渐渐成为应用中严峻的问题。自适应数据库是一种新兴的数据库技术,其目标是将日益复杂的数据库调整任务从系统管理人员转移
林分生长收获模型在森林经营管理中有着重要的作用,随着林分生长过程中相应的经营措施(如间伐、施肥等)的实施以及林分可能发生的病虫害等,会对林分生长产生影响,即使当前最