基于MooseFS分布式存储策略的研究与实现

来源 :山东大学 | 被引量 : 0次 | 上传用户:a348329418
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当前互联网时代的快速发展,使信息资源呈现出爆炸性增长趋势,网络和数据已经渗透到人们生活的方方面面。云计算和互联网应用产生了海量数据,对数据存储和数据分析技术提出了更高的需求。传统的存储模式存在的问题也逐渐呈现出来,诸如对数据的可管理性较差、系统可扩展性低、存储容量有限、升级维护成本较高等问题。分布式存储技术可以有效地解决以上问题,其技术关键是应用分布式文件系统,以满足大规模数据对存储容量的需求,并具有冗余存储、高传输率、可在线扩容等技术优点,可以同时满足大规模用户对存储和访问需求。本文针对分布式存储技术进行研究,对MooseFS分布式文件系统的工作原理进行了详细分析,提出了分布式存储策略的改进方案,以优化分布式文件系统的存储和访问性能。并针对视频点播这一应用场景,利用MooseFS分布式存储平台,部署了基于B/S架构的视频点播分布式存储系统,可以分摊服务器端用户的访问压力以及视频文件的存储压力。首先,对GFS、HDFS等典型文件系统进行研究,分析文件系统的架构和工作原理。针对本文的研究场景,选择对MooseFS分布式文件系统进行深入研究。分析了MooseFS系统的工作原理,在此基础上对其原有的存储策略进行了详细分析,解析MooseFS存储策略的源代码,针对原有存储策略存在的问题,创新性地提出了基于服务器性能评价函数的存储策略改进方法。系统在执行存储策略进行存储节点选择时引入更多的服务器性能评价指标,更全面地衡量当前服务器的存储性能,均衡服务器集群之间的存储负载,以优化MooseFS系统的存储性能。然后,针对视频点播这一应用场景,部署了基于B/S架构的视频点播分布式存储系统。系统的设计实现分为两部分,一部分是Web端基于B/S架构的视频点播模块设计,另一部分是服务器端分布式存储系统的设计。视频点播模块采用B/S架构,用户通过浏览器而不是复杂的应用软件实现视频播放功能,可以节约系统资源。服务器端分布式存储系统的部署,主要通过将服务器作为客户端挂载到MooseFS分布式文件系统,实现视频文件的分布式存储。针对云计算快速发展的形势下不断增长的数据存储需求,本文对基于MooseFS的分布式存储相关技术进行研究,通过改进MooseFS的存储策略,使系统存储节点之间的数据分布更加均衡,提高了系统的服务器资源利用率。通过搭建视频点播分布式存储系统,可以满足大量视频文件对存储容量的需求,有效地分摊系统的存储压力和并发访问压力。本文对基于MooseFS分布式存储策略的研究和系统实现,对于分布式存储技术的研究和服务器集群的性能优化方面有重要意义。
其他文献
无线传感器网络的数据采集方式因具体需要不同而有多种方式。在事件驱动的无线传感器网络中只有当监测到事件时才开始采集数据并发送到汇聚节点,即只把有价值的信息传送给汇
无线射频识别(Radio Frequency Identification,RFID)是一种非接触式的射频识别技术,通过发送并接收射频信号来自动识别目标对象并获取或修改相关信息,支持快速读写、非可视
近年来,随着人们车辆拥有率的快速提高,智能交通系统(Intelligent Transportation Systems),简称ITS,在诸多提高交通运输能力的方法中,已经占据了最主要的地位,并越来越得到研究人员
工业无损检测的方法有许多,如涡流检测、磁粉检测、漏磁检测、超声检测等。其中,漏磁检测具有检测速度快、检出率高、灵敏度高、操作简单等优点,可在多种复杂的环境中进行检测,且有易于实现缺陷参数的定量检测的特点。随着现代工业的发展,人们对管道的检测质量有了更高的要求。在对管道进行检测时,不单要发现缺陷,更重要的是要对缺陷进行定量分析。要实现缺陷参数的准确预测和定量分析,不仅要了解缺陷参数与漏磁场之间的关系
传统的视频编码标准如MPEG-X和H.26X系列,主要依靠编码器利用编码信号的统计特性来实现压缩编码,从而导致编码器的运算复杂度是解码器的5至10倍以上。近年来,一些新的视频应用如
本文在研究大量时延估计文献的基础上,对国内外时延估计的各种算法进行分析和阐述,并简要说明了各种算法的工作原理、内部联系及相互转化的条件。在经典相关分析时延估计的基础
水电站金属蜗壳外围结构是指水轮机层以下二期砼范围内的钢筋砼结构 ,是一个整体性很强的空间结构 .其体形复杂 ,除了可用三维有限元法分析其空间应力状态外 ,还没有精确的方
垂直切换是未来移动网络的核心技术。垂直切换中最大的挑战是网络的异构性,传统的切换机制不能直接应用于异构网络场景,需要采用新的分析方法,寻求更优的切换算法,本论文的选
随着电子信息化技术的快速发展,传统电视已经无法满足消费者的使用需求,必须研发功能更为强大的增强型电视,将网络资源、广播电视资源、社会信息资源进行有效整合,向用户提供包括
近年来,有关新生几疼痛的研究证实,反复的疼痛刺激会对新生儿(尤其对早产儿和危重儿)产生一系列近期和远期的不良影响,因此医学界正致力于开发出新生儿疼痛评估工具。在评估新生