Windows下的分布式并行文件系统研究

来源 :第18届全国信息存储技术学术会议 | 被引量 : 0次 | 上传用户:jiangxueying0518
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  Windows作为客户端操作系统的集群开始涌现,如何实现windows和linux异构系统共同对linux服务器的分布式文件系统访问?本文分析了windows和linux操作系统之间的一些差异,以及现有的实现异构访问的技术手段,主要是基于windows下用户层开发的IFS和CIFS两种协议。本文选取了基于ssh文件传输协议的sshfs做了初步的实验,并根据实验对下一步实现windows客户端的分布式的文件系统进行了探索。
其他文献
企业的关键信息以几何级的速度增长,如何更好的在主存储上保存PB级海量数据成为研究的重点,降低存储设备的成本,实现高效存储和数据安全成为用户衡量主存储解决方案的重要指标。本文基于ZFS文件系统提出了一种主存储的高效存储解决方案,该解决方案利用虚拟存储、数据减缩、自动精简配置等技术对主存储介质进行高效的存储和管理,为用户降低了成本。通过测试验证,该存储解决方案在性能上基本没有降低,符合用户对数据读写速
科学计算数据场中,数据具有量大而访问次数少的特征,适宜存储于传统的文件系统;元数据具有量小而访问频繁的特征,适宜存储于低延迟的固态盘文件系统。统一的数据格式屏蔽了存储资源的性能特点,使得高层I/O库不能按需优化数据存储。本文根据科学计算数据与元数据在存储特征上的差异,设计数据与元数据独立存储的数据格式,并在双通道高层I/O库中实现。实验表明,数据与元数据分离存储且位置优化后最高可以提高科学计算数据
随着计算机其他部件如CPU,内存等性能的不断提升,磁盘日益成为系统性能的瓶颈,尤其是使用文件系统组织管理磁盘上的数据。当前web应用环境中,保存在web服务器上的文件数量特别多(千万至亿),单个文件比较小(KB级别),因而文件系统就成为了web服务器性能进一步提升的阿喀琉斯之踵。如何更高效地组织管理web服务器上的小文件,提升小文件的IO性能一直是研究的热点。本文中对现有文件系统针对小文件应用场景
目前Linux操作系统软RAID采用位图记录某个区域是否有写的状态。每次写处理之前都要修改位图,并将住图重写回磁盘,对写性能损耗很大。为降低位图对性能的损耗,提高RAID读写性能,研究人员对RAID读写进行深入研究,分析了提高位图重写效率的多种策略,文章提出了一种基于高速通信链路的位图备份方法,并通过实验试验证明该方法能够有效提升写性能。
可信存储的发展为解决移动存储设备的安全问题提供了新的途径。本文从移动存储设备的安全需求出发,首先提出了基于可信存储技术的可信存储框架。然后在可信存储框架的基础上,研究了可信硬件和可信保护机制等关键技术,最终实现了一种能够保护用户数据机密性和隐私性的可信移动存储设备。最后对该设备的安全性和性能进行了测试,并组织了试用。结果表明,该设备能够阻止文档内容泄露,满足数据的可信存储、流转等需求。
单核处理器中已有的“存储墙”问题在多核处理器中依然存在,甚至更加严重。存储系统仍将是影响计算机系统性能的瓶颈。除了“存储墙”问题外,多核处理器中,存储系统的设计还面临线程间访存冲突、访存带宽有限、应用行为多样等挑战,针对这些挑战研究多核处理器存储资源的管理技术对提升系统性能具有重要意义。本文提出一种应用行为感知的多核处理器共享存储资源软硬件协同管理框架,依据应用的行为特征,由硬件和软件协同对多核处
数据处理和高性能计算对计算机系统高带宽大容量内存提出了迫切需求,低负载内存模块有效减小了数据总线的驱动负载,提高了系统的工作频率,增大了内存模块的存储容量,较好地解决了带宽与容量之间矛盾.本文分析了内存模块的发展变化,研究了低负载内存模块的关键技术,探索了在现有计算机系统中使用与配置低负载内存模块的技术与方法.LRDIMM能够成功应用于RDIMM系统中,在不降低系统工作频率的前提下,有效地扩展系统
海量小文件的高效存储和访问是当前分布式文件系统面临的主要挑战之一。本文系统地总结了当前流行的分布式文件系统在小文件处理方面所做的优化工作,分析了它们的优缺点,得出基于合并存储技术的分布式文件系统适合处理海量小文件的结论,并指出未来的三个提高数据访问性能的研究方向:1)体系结构优化,采用一致性DHT技术来组织数据服务器,消除元数据服务器访问开销;2)基于裸盘文件系统的随机均匀文件访问优化;3)基于S
分布式海量存储系统已成为当今海量信息存储一个典型的解决方案,而客户端元数据交互性能很容易成为这一方案的瓶颈所在。本文关注提高分布式系统客户端元数据交互的性能,提出了衡量元数据交互性能的公式及影响性能的两个要素:缓存命中率以及带宽利用率。接着分别分析了现存分布式文件系统是怎样针对这两个要素做优化,以提高客户端元数据交互性能。本文进一步提出了三档缓存方案以及用户自定义预取集的策略,在保证一致性的同时,
本文介绍了Lustre分布式文件系统的架构、主要组件以及LNET网络层,分析了客户端的初始化和连接建立,在此基础上,设计了Lustre分布式文件系统网络容错功能,提高了系统可用性,并提出统一配置,使得两套Infiniband网络负载均衡,从而获得更高的聚合带宽和整体性能。