海量流数据存储系统元数据服务器的设计与实现

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:zhlkf99
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着视频监控技术的发展,各种监控设备已经遍布大街小巷。视频监控技术极大地方便了我们的生活,但海量监控数据的存储也给相关基础设施带来了严峻的挑战。分布式存储系统能够很好的满足这一需求,对比国内外典型的分布式存储系统架构,不难发现元数据服务器高可用性与元数据可靠性往往是此类系统所要解决的难点。本文以监控视频流存储为背景,围绕海量流数据存储系统的元数据服务器,关注元数据高可靠性和元数据服务器高可用性方面的研究。主要工作如下:1.基于VBSM块设备的高可靠元数据管理模型。通过VBSM块设备,将元数据服务器与元数据的持久化存储分离。使用VBSM块设备作为元数据的持久化存储载体,底层分布式集群对块设备内元数据提供多副本容错;元数据服务器程序负责保证内存中元数据的正确性,并通过定时刷新与立即刷新相结合的方式将内存中元数据持久化至块设备内。相比于传统存储系统使用本机磁盘或者数据库作为元数据的存储,可以极大地提高元数据的可靠性;2.多策略双机热备方法。首先通过快/慢结合的心跳机制,完成主备协商,状态监测以及服务器模式的切换;另外借助与数据库的时间同步机制实现对运行状态的第二重心跳检测,避免脑裂问题;3.设计并实现了海量流数据存储系统的核心:元数据服务器。元数据服务器程序集合元数据管理、任务调度、数据缓冲节点管理、双机热备和故障检测及任务迁移五部分功能,并作为系统的管理者,与存储系统中的其他节点(客户端、数据缓冲节点)进行交互;4.本文对海量流数据存储系统元数据服务器进行了功能测试、可靠性测试及性能测试,并对测试结果进行了详细分析。
其他文献
对高中解析几何中涉及面积的问题进行了分析.并结合部分高考题目进行讨论.
美丽兜兰,别名拖鞋兰、美丽囊兰、仙履兰、芭菲尔鞋兰、淑女拖鞋、女神之足,属兰科兜兰属。美丽兜兰及其同属观赏种,由于株形优美、小巧玲珑,叶片斑斓,花形奇特,花色淡雅,花期又长,容
香港经济的现状与前瞻陈多一、香港经济的现状从宏观上看,香港经济近年来经历了一次比较大的调整,主要表现在经济周期调整和经济结构调整两个方面。目前,香港经济正处于经济调整
燃气管道安装入户应按照国标GB50028-03“城镇燃气设计规范”要求进行。若管道改装应经原设计单位同意并送审批准,按照规范要求进行。本文分析已改装的煤气管道的应力状态,希望
腰椎是人体躯干部位最重要的承重关节,其周围有丰富的肌肉、韧带等软组织保护。当感受风寒、或久卧湿地、或久坐久立、或腰部闪挫受到撞击时,都会导致腰部软组织受损,对腰椎保护
全自动洗衣机由于考虑洗涤空间,往往把电机偏置,而在电机对面加平衡铁,以保持外桶总成水平,这种方法增加了成本.本文采用调整吊杆的长度或改变吊杆上端支座的位置使外桶总成
"思想道德修养"课采取话题教学的形式,紧紧围绕当代大学生的现实生活,有的放矢,选择发生在大学生身边的案例或从学生关注的话题说起,分析引申并进行理论上的阐述,同时采取讨
在医院建设领域,沈崇德被很多人评价为一位很全面的管理者.他做过医生、主持过基建、负责过信息化建设、分管过后勤;主持或参与过27个行业标准的制定,参与了30余家医院信息化
词汇是语言系统中最敏感、最具代表性的因素,紧跟时代潮流发展。词是由音节构成的,在汉语普通话中有约400个音节,共1300多个读音,由音节组成的词数量是可观的。随着社会的发展和新生事物的出现,三音节词大量涌现,相较于现存的单音节词和双音节词而言,交际的需求使得三音节词的含义表现得更精确具体、形象生动,因此其在整体词汇中的地位也在日益提高。对外汉语教师对三音节词缺乏有效了解及关注,且汉语教学中词汇的讲