一种新的MPI_Allgather算法及压缩查询并行算法研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:blyd831104
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
消息传输界面MPI是目前使用最广泛的并行程序设计平台,包括点到点通信和集合通信两种模式。作为并行计算的基础,通信的性能对于并行应用程序性能有着重要的影响。MPIAllgather是MPI库中使用频率最高的集合通信函数之一,目前广泛使用的实现算法有环(Ring)、递归倍增(RecursiveDoubling)和Bruck算法(Bruckalgorithm)。针对以太网上TCP/IP通信的特性,本文提出一种新的MPIAllgather的算法——邻居交换算法(NeighborExchange)。本文还提出平均逻辑通信距离的概念和计算公式,可以有效地衡量通信的局部性。通过分析,发现在四种算法中,邻居交换和环算法均具有最优的通信局部性。我们在万亿次机群深腾6800、曙光4000A和华云神箭HYSJ-1000上对四个MPIAllgather算法进行了性能测试和分析,测试结果表明,邻居交换算法的长消息通信性能最优,中长消息通信性能不稳定,短消息通信性能次于递归倍增和Bruck算法。本文还将MPIAllgather近邻通信的思想进行扩展,设计了MPIAllreduce邻居交换算法。 本文另一部分研究工作集中在压缩查询并行化算法设计与实现方面。gzip是现今流行的无损数据压缩软件,压缩大文件时需要较长的时间。为提高压缩/解压缩速度,我们开发了一种新的基于OpenMP的并行压缩软件Ompgzip,与gzip完全兼容,能够在稍微损失一点压缩比的情况下大大提高压缩速度,加速比平均达到4,并行解压缩速度也有所提高。本文详细介绍了Ompgzip的并行思想、实现框架、软件实现和优化技术、软件测试效果、在实现中遇到的难题、可能的解决办法和对未来工作的展望。Ompgzip具有良好的应用前景。 压缩查询支持在不解开压缩文件的情况下对源文件进行查询,是一个较新的研究领域,目前还没有很成熟的算法。本文研究了压缩查询索引FM-Index的文件格式和算法原理,针对FM-Index压缩和建立索引过程种内存需求过大的问题,提出了分块的FM-Index设计,给出了分块设计下压缩、建立索引和查询的方法,并设计了分块方式下FM-Index的并行化算法,这些设计提高了FM-Index处理大文件的能力,使它具有良好的应用前景。
其他文献
随着网络的发展和Web资源的丰富,利用Web全文信息检索系统来获取所需信息已经成为人们日常生活的重要组成部分,用户也越来越关注如何能够更加准确、高效地查找信息。本文对We
随着Internet技术与电子商务的迅速发展,改变了人们的生活和工作方式,给社会带来了极大的经济效益,同时也带来了许多安全隐患。因此,安全服务正成为Internet和电子商务应用中一种
随着XML应用的普及,对XML文档查询的要求也就越来越高。如果不对XML文档建立索引结构,那么针对XML数据的任何查询都很可能导致对整个文档树的遍历。随着XML数据集的增大,这种遍
现代科技和数据获取设备的迅速发展,空间数据的数量和大小日益丰富,使得空间数据挖掘和知识发现变得越来越重要。同样为了对林业资源进行信息自动采集、动态监测管理和辅助决策
随着家庭网络的服务市场的不断成熟,家庭网络有望成为一个能给我们生活带来巨变的新事务,并将带动下一轮数码媒体和通信消费的新浪潮。电信业对家庭网络的理解是:与电信网络
计算机和高速网络的日渐普及使得聚集地理分布的资源以形成计算网格成为可能。由于网格的巨大计算潜力,网格及相关技术得到了飞速发展。但是如何将这一潜力无缝地提供给用户是
本课题所研究的是一个燃油试验台的计算机测控系统,这个测控系统用来对与被测产品相关的物理量进行检测和控制。本系统要求对被测燃油阀门的前压力、后压力、线圈电流和电压等
现代战争对军事物流提出了更新、更高的要求,加强对军事物流,特别是军事物流一体化的研究显得格外紧迫。 军事物流信息的一体化管理是军事物流一体化的重要组成部分。军事物
随着现场总线技术的推广应用,分布式控制系统发展成为一种开放的、彻底分散的现场总线控制系统,控制子节点不再是进行信号转换、设备控制的简单系统,而是具有一定智能化和通
The Wireless Sensor Networks (WSNs) have become one of the active technologies and been exploited by the various applications.In WSNs, the data, which are sense