论文部分内容阅读
随着计算机技术的快速发展，科学计算过程中产生的数据量不断的增大，给计算机储存系统带来了很大的挑战。天河-2系统采用分层混合输入输出架构，采用混合储存的方式，由于现有的并行文件系统不能够充分的应用和管理分层混合储存架构，限制了分层混合储存架构储存资源优势的发展。因此，文章提出了基于应用指导方法的协同式突发缓冲技术，该种技术能够有效的提高并行文件系统的输入输出性能，被广泛的推广和应用在超级计算机储存系统中。
【关键词】I/O；分层混合储存架构；协同式突发缓冲技术
1 前言
现阶段，科学计算模拟精度不断的提高，并且科学计算模拟时产生的数据量明显增加，计算问题也转化成I/O问题，天河-2系统运用分层混合输入输出架构，分层混合输入输出架构采用混合储存的方式，充分的利用高速储存介质，提供大储存容量、高可扩展性以及高I/O宽带。但是，目前的并行文件系统并不能够充分的利用与管理分层混合输入输出架构，影响分层混合输入输出架构性能的发挥。因此，笔者提出了协同式突发缓冲技术，该种技术主要是通过全局协同缓冲池对大规模突发数据的输入和输出进行优化，以此保证科学计算模拟具有足够的I/O能力。
2 分层混合储存架构的相关问题_
天河-2的储存架构为分层部署的混合储存架构，即新型高速闪存类储存与磁盘储存，分层混合储存架构的中转节点设置了高速闪存阵列，增加了储存管理与使用的难度和复杂性，并行文件系统在应用分层混合储存架构时遇到以下问题：
（1）时空局部性稀缺。由于分层混合输入输出架构不同位置的储存访问代价不同，引发请求访问缺乏空间局部性，会对分层混合输入输出架构的扩展性造成不良的影响。
（2）请求冲突问题，分层混合储存系统为大规模储存系统，存在一定的易变性，并行文件系统运行过程中存在I/O带宽不均衡的问题，会对并行作业的运行效率产生影响，导致出现完成时间延误的问题。
（3）扩展性问题，随着计算机规模的不断扩大，资源分布越来越集中，现有的并行文件系统为了能够保证I/O服务共享性和扩展性的一致性，需要对大量软硬件储存资源进行动态跟踪，管理的代价不断的提高，限制了分层混合储存架构宽带优势的发挥。
3 面向分层混合储存架构的协同式突发缓冲技术
3.1 基于应用指导方法的协同式突发缓冲技术
突发缓冲技术采用额外占用一组节点储存资源当做数据缓冲，这样能够比较快速的吸收数据输出时产生的突发数据缓冲请求，并且在实际计算过程中并不需要等待请求到底层储存就能够返回进行继续计算，提高数据计算效率，缩短计算周期。基于应用指导方法的协同式突发缓冲技术，能够支持天河-2I/O密集应用场景，充分的发挥分层混合储存架构的作用。基于应用指导方法的突发缓冲技术能够根据计算任务与储存的耦合关系，能够把分层混合储存架构抽象为分层储存模型，其核心设计思路表现为：宿主选定为计算作业，将作业任务邻近的局部紧耦合储存作为私有突发缓冲，这样不仅能够保证突发缓冲具有良好扩展性的高突发宽带，还能够防止出现并行文件系统统一管理松耦合储存和紧耦合储存的代价；对于松散分布的作业私有缓冲进行横向聚合，根据应用数据文件视图构造把上述私有缓冲聚合成统一的数据容器，根据突发缓冲节点的协同关系，能够进行数据集大的规模储存和分析并发数据；应用突发缓冲对I/O请求进行重组，能够对并行文件系统的松耦合储存性能进行优化。
3.2 协同式突发缓冲储存模型设计
基于应用指导方法的协同式突发缓冲储存模型设计主要包括以下几个方面：
（1）假设按照均衡比例对紧耦合储存与计算节点资源进行部署，并将单个作业当做协同式突发缓冲储存模型的宿主；
（2）假设I/O并发度为n，也就是该作业中n个任务并发，将储存模型模型中的资源抽象成紧耦合储存资源集合B（B={B0，…，Bn-1}），Bi表示对应计算任务的突发缓冲；
（3）假设单个作业的数据集在主储存视图下与m个文件对应，则该视图文件路径对应的集合为P（P={P0，…，Pm}）；
（4）将松耦合储存层的储存视图空间投影到紧耦合储存层，形成影子加速空间集S（S={S0，…，Sm}），把Si映射到紧耦合储存层中，能够实现突发缓冲物理资源和实体文件之间的映射；
（5）在进行某个文件计算时，需要按照映射规则以及该文件的松耦合储存路径，对影子文件进行定位，如果误差找到对应的影子文件，则需要对松耦合储存层进行访问，获得相应的实体文件。严格遵循上述原则和按照上述步骤进行协同式突发缓冲储存模型设计，能够充分的应用紧耦合储存的高宽带、低延迟等优势，能够实现时间局部性的最大化和应用模式收益的最大化。
4 结束语
综上所述，天河-2系统分层混合储存架构存在时空局部性缺失、请求冲突问题以及扩展性问题，受到现有的并行文件系统的限制，影响分层混合输入输出架构性能的发挥，基于基于应用指导方法的协同式突发缓冲技术，有利于大规模数据分析场景，具有良好的扩展性，实现时间局部性的最大化和应用模式收益的最大化。
参考文献
[1]周恩强，张伟，董勇等.面向分层混合存储架构的协同式突发缓冲技术[J].国防科技大学学报，2015（01）：47-52.
[2]张凤霞，张耀中，吕迎迎.空天地协同作战混合分层指挥控制体系结构研究[J].装备学院学报，2013（05）：74-77.
[3]张达.面向多终端协同的网络控制平台及业务技术研究[D].南京：南京邮电大学，2013.
作者簡介
宗白宇，现为陕西国际商贸学院信息与工程学院电子科学与技术专业学生。
作者单位
陕西国际商贸学院信息与工程学院 陕西省咸阳市 712000
【关键词】I/O；分层混合储存架构；协同式突发缓冲技术
1 前言
现阶段，科学计算模拟精度不断的提高，并且科学计算模拟时产生的数据量明显增加，计算问题也转化成I/O问题，天河-2系统运用分层混合输入输出架构，分层混合输入输出架构采用混合储存的方式，充分的利用高速储存介质，提供大储存容量、高可扩展性以及高I/O宽带。但是，目前的并行文件系统并不能够充分的利用与管理分层混合输入输出架构，影响分层混合输入输出架构性能的发挥。因此，笔者提出了协同式突发缓冲技术，该种技术主要是通过全局协同缓冲池对大规模突发数据的输入和输出进行优化，以此保证科学计算模拟具有足够的I/O能力。
2 分层混合储存架构的相关问题_
天河-2的储存架构为分层部署的混合储存架构，即新型高速闪存类储存与磁盘储存，分层混合储存架构的中转节点设置了高速闪存阵列，增加了储存管理与使用的难度和复杂性，并行文件系统在应用分层混合储存架构时遇到以下问题：
（1）时空局部性稀缺。由于分层混合输入输出架构不同位置的储存访问代价不同，引发请求访问缺乏空间局部性，会对分层混合输入输出架构的扩展性造成不良的影响。
（2）请求冲突问题，分层混合储存系统为大规模储存系统，存在一定的易变性，并行文件系统运行过程中存在I/O带宽不均衡的问题，会对并行作业的运行效率产生影响，导致出现完成时间延误的问题。
（3）扩展性问题，随着计算机规模的不断扩大，资源分布越来越集中，现有的并行文件系统为了能够保证I/O服务共享性和扩展性的一致性，需要对大量软硬件储存资源进行动态跟踪，管理的代价不断的提高，限制了分层混合储存架构宽带优势的发挥。
3 面向分层混合储存架构的协同式突发缓冲技术
3.1 基于应用指导方法的协同式突发缓冲技术
突发缓冲技术采用额外占用一组节点储存资源当做数据缓冲，这样能够比较快速的吸收数据输出时产生的突发数据缓冲请求，并且在实际计算过程中并不需要等待请求到底层储存就能够返回进行继续计算，提高数据计算效率，缩短计算周期。基于应用指导方法的协同式突发缓冲技术，能够支持天河-2I/O密集应用场景，充分的发挥分层混合储存架构的作用。基于应用指导方法的突发缓冲技术能够根据计算任务与储存的耦合关系，能够把分层混合储存架构抽象为分层储存模型，其核心设计思路表现为：宿主选定为计算作业，将作业任务邻近的局部紧耦合储存作为私有突发缓冲，这样不仅能够保证突发缓冲具有良好扩展性的高突发宽带，还能够防止出现并行文件系统统一管理松耦合储存和紧耦合储存的代价；对于松散分布的作业私有缓冲进行横向聚合，根据应用数据文件视图构造把上述私有缓冲聚合成统一的数据容器，根据突发缓冲节点的协同关系，能够进行数据集大的规模储存和分析并发数据；应用突发缓冲对I/O请求进行重组，能够对并行文件系统的松耦合储存性能进行优化。
3.2 协同式突发缓冲储存模型设计
基于应用指导方法的协同式突发缓冲储存模型设计主要包括以下几个方面：
（1）假设按照均衡比例对紧耦合储存与计算节点资源进行部署，并将单个作业当做协同式突发缓冲储存模型的宿主；
（2）假设I/O并发度为n，也就是该作业中n个任务并发，将储存模型模型中的资源抽象成紧耦合储存资源集合B（B={B0，…，Bn-1}），Bi表示对应计算任务的突发缓冲；
（3）假设单个作业的数据集在主储存视图下与m个文件对应，则该视图文件路径对应的集合为P（P={P0，…，Pm}）；
（4）将松耦合储存层的储存视图空间投影到紧耦合储存层，形成影子加速空间集S（S={S0，…，Sm}），把Si映射到紧耦合储存层中，能够实现突发缓冲物理资源和实体文件之间的映射；
（5）在进行某个文件计算时，需要按照映射规则以及该文件的松耦合储存路径，对影子文件进行定位，如果误差找到对应的影子文件，则需要对松耦合储存层进行访问，获得相应的实体文件。严格遵循上述原则和按照上述步骤进行协同式突发缓冲储存模型设计，能够充分的应用紧耦合储存的高宽带、低延迟等优势，能够实现时间局部性的最大化和应用模式收益的最大化。
4 结束语
综上所述，天河-2系统分层混合储存架构存在时空局部性缺失、请求冲突问题以及扩展性问题，受到现有的并行文件系统的限制，影响分层混合输入输出架构性能的发挥，基于基于应用指导方法的协同式突发缓冲技术，有利于大规模数据分析场景，具有良好的扩展性，实现时间局部性的最大化和应用模式收益的最大化。
参考文献
[1]周恩强，张伟，董勇等.面向分层混合存储架构的协同式突发缓冲技术[J].国防科技大学学报，2015（01）：47-52.
[2]张凤霞，张耀中，吕迎迎.空天地协同作战混合分层指挥控制体系结构研究[J].装备学院学报，2013（05）：74-77.
[3]张达.面向多终端协同的网络控制平台及业务技术研究[D].南京：南京邮电大学，2013.
作者簡介
宗白宇，现为陕西国际商贸学院信息与工程学院电子科学与技术专业学生。
作者单位
陕西国际商贸学院信息与工程学院 陕西省咸阳市 712000