【摘 要】
：
数据密集型应用已成为当今最重要的计算机应用之一，面向数据的并行编程模型MapReduce为其提供了优雅的解决方案，但目前的众核微体系结构并不匹配MapReduce运行时，众核芯片系统无法发挥相应的计算能力。本文结合众核(Many-core)和云计算两个计算机学科最新发展方向，从计算机微体系结构的角度，为实现高性能众核芯片系统中巨大计算和处理能力目标，提出了众核三维存储体系结构，满足MapReduc
【机 构】
：
School of Computer, Beijing Institute of Technology, Beijing, China, 100081
论文部分内容阅读
数据密集型应用已成为当今最重要的计算机应用之一，面向数据的并行编程模型MapReduce为其提供了优雅的解决方案，但目前的众核微体系结构并不匹配MapReduce运行时，众核芯片系统无法发挥相应的计算能力。本文结合众核(Many-core)和云计算两个计算机学科最新发展方向，从计算机微体系结构的角度，为实现高性能众核芯片系统中巨大计算和处理能力目标，提出了众核三维存储体系结构，满足MapReduce对其微体系结构中存储性能的需求。
其他文献
本文介绍了Lustre分布式文件系统的架构、主要组件以及LNET网络层，分析了客户端的初始化和连接建立，在此基础上，设计了Lustre分布式文件系统网络容错功能，提高了系统可用性，并提出统一配置，使得两套Infiniband网络负载均衡，从而获得更高的聚合带宽和整体性能。
Windows作为客户端操作系统的集群开始涌现，如何实现windows和linux异构系统共同对linux服务器的分布式文件系统访问？本文分析了windows和linux操作系统之间的一些差异，以及现有的实现异构访问的技术手段，主要是基于windows下用户层开发的IFS和CIFS两种协议。本文选取了基于ssh文件传输协议的sshfs做了初步的实验，并根据实验对下一步实现windows客户端的分布
对广域网上多个节点进行文件同步，因节点频繁的加入与离开使得直接的点对点同步不可行。对文件更新的发现，单一的采用基于状态比对和追踪文件变化过程都不可取，前者因频繁计算副本状态资源消耗过大，后者需要保存信息量会无限增长。在应用其它节点更新时，为获得更高的可用性，不能阻断用户对被同步文件的访问，从而引入了一种新的冲突类型。文中遵循乐观复制算法，采用星型结构连接副本节点，融合了状态和操作传输，实现了一个节
随着高性能计算机进入千万亿次时代,其存储系统所面临的扩展性难题更加突出,为了提高存储系统扩展性,一些高性能计算机使用了IO转发机制。该机制在全局存储和计算节点之间构建了一个转发层,计算节点的IO请求首先到达转发层,并由转发层在全局存储系统上执行。轻量级文件系统(Light Weight File System,LWFS)是一种适用于通用架构的转发系统,目前已经在神威蓝光计算机系统等多个高性能计算系
为了解决海量信息处理中实时访问中的“IO墙”的问题，提高海量信息分布式存储系统的性能问题，提出了一种基于HPC的存储部件新型访问策略。首先，分析传统访问模型存在的问题；其次，研究存储部件直通路模式的工作机理，建立存储系统分解为多层次、分布式的模型，根据不同的层次和映射策略实现存储空间物理地址、缓存地址、存储系统逻辑空间地址的连续映射；第三，分析直通路访问模式下的存储路径时间开销；第四，在模拟环境下
随着云计算技术的发展和广泛应用，如何解决数据的高效存储成为业界的一个研究重点。本文通过对现有的Linux Ext3文件系统的扩展，设计实现了一种重复数据删除方案，通过该方案可以为云计算用户，尤其是大规模使用虚拟机的用户降低云计算存储资源的使用。该重复数据删除技术方案通过测试验证，表明该解决方案可以为云计算时代的大规模虚拟机应用提供一种高效保障，为云计算的顺利推进起到保驾护航的作用。
为了适应峰值负载，大多数数据中心提供的资源都超过平均条件下需要资源很多，这导致了很多节点在大部分时间处于空闲状态，进而数据中心的能耗变得非常巨大。从数据中心的整个系统来说，关闭空闲节点可以节省大量的电力资源，降低数据中心的运营成本。本文在提出一个数据中心能耗模型的基础上，设计了一个可以动态调整资源使用的框架，可以大幅降低数据中心的能耗。
近年来，企业级私有云存储得到广泛应用，但其测试技术却发展滞后，国内还没有专门的组织和测试技术，可为企业级私有云存储提供准确而有效的测评依据。因此通过研究国内外现有的存储测试工具，以及企业级私有云存储的性能、安全、可靠性、可扩展性和功能测试方法，设计了一个基于Linux系统的分布式企业级私有云测试平台。从总体设计、功能模块、程序流程、负载参数、结果判定、实现的关键技术等方面对测试平台进行详细阐述。
云存储环境下为解决存储资源利用率问题，服务器端需动态为用户分配存储空间。本文致力于解决如何伸缩系统卷文件系统可识别大小。具体针对NTFS文件系统卷，重点介绍了NTFS文件系统关于容量管理的重要数据结构，设计并实现了根据用户申请的磁盘空间大小，自动伸缩系统卷的工具。实验表明：该工具能够在无数据损坏的前提下快速扩展或缩小系统卷文件系统识别的大小。
在数据以几何级快速增长的今天，如何更好的保护主存储上的海量数据安全成为研究重点，云存储以其大容量、低成本成为用户选择数据二级存储的主要模式。本文提出了一种绿色、安全的云存储解决方案，研究设计了云存储解决方案的架构和重删、压缩、自动精简、备份容灾、zone控制、日志和策略等实现技术。云存储系统通过虚拟存储技术提高了用户的存储利用率，降低了企业在存储软硬件和人力维护投入的成本，实现绿色高效低碳的数据存