面向安防视频监控云存储GlusterFS的研究与优化

来源 :国防科学技术大学 | 被引量 : 0次 | 上传用户:z19910620
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
城市规模不断拓展,智慧城市、平安城市的建设成为当务之急,同时大小行业,如银行、机场监控等,对安防视频监控提出高清化、网络化等需求。监控视频7*24小时的工作模式,使视频监控文件呈爆炸性趋势增长。借助虚拟化、可扩展、分布式存储于一身的解决方案来改变传统视频存储扩展性差、无法共享等架构模式已经提上日程,在此背景下,云存储顺势而生。通过对比Lustre、Ceph、HDFS、GlusterFS四种开源分布式文件系统,GlusterFS在扩展性、高可用、高可靠性等方面有着更好的优势,所以本文选用GlusterFS作为提供中小规模安防视频监控云存储服务的分布式文件系统。其无元数据服务器的架构设计避免了单点故障或性能瓶颈问题,有更好的扩展性,但同时也发现了其无元数据架构在文件操作效率方面的问题,特别是其无目录树结构,目录文件的访问问题尤为突出。GlusterFS在高扩展性和文件高效访问之间有一个权衡。通过深入研究GlusterFS的底层实现和处理流程,本文在总结了其目录文件操作瓶颈的基础上,发现在兼顾高扩展性的同时可以进一步提高目录文件操作效率。针对视频监控特殊的应用场景,本文提出了基于类型的内核目录项缓存的优化方案。该方案利用Linux内核提供的一些缓存机制,打破了传统缓存机制无法识别数据类型而省缺所有数据都缓存的局限性,按照缓存数据类别不同(目录项元数据和视频数据)实行不同的缓存策略,来改进GlusterFS无全局目录树结构的问题。无元数据架构的文件系统,如GlusterFS,应该有相应元数据缓存机制。GlusterFS是堆栈式架构,对元数据访问提供了优化,但对于元数据缓存没有成型的机制。针对此缺陷,本文提出了元数据缓存机制DCM,使得能够提供更高的目录文件操作效率,不仅能优化视频场景的检索应用,而且针对无元数据服务器的普遍架构,该机制都适用。多客户端存在,缓存一致性和缓存保持之间要根据实际应用来权衡。GlusterFS模块化堆栈式的架构使其可以动态伸缩各功能项,本文在此基础上,优化了目录项预读功能模块Readdir-Ahead Translator并设计了目录项缓存功能模块dentry-cache Translator。在设计dentry-cache Translator时,缓存的一致性和缓存的保持总是存在矛盾。由于应用的特殊性,本文将缓存的保持放在第一优先级,在一致性方面,通过时效策略实现弱一致性。优化后的GlusterFS在目录操作方面性能提升了数十倍,用户等待时间基本控制在1s内。
其他文献
本文将纳米气凝胶(Nano Aerogel)的低温抗裂性与布敦岩沥青(BRA)的高温稳定性进行优势整合,并以抗老化剂为外加剂对70号沥青进行改性,制备出强度较高,高低温性能稳定,耐老化性能优异的新型路面环保材料。并对单掺(BRA/Nano Aerogel)和复掺(BRA+Nano Aerogel/BRA+Nano Aerogel+抗氧化剂 1010+UV-327)改性沥青在不同老化方式下(RTFO
在哈萨克斯坦历史上有不可替代地位的金姆哈梅塔·库纳耶夫,是将自己的一生奉献给哈萨克人民的伟大的政治家。库纳耶夫是在由十五个加盟共和国组成的苏联时期领导哈萨克斯坦
在现实世界中,有一类具有多个目标,并且这些目标会随着时间发生变化的问题,这类问题被叫做动态多目标优化问题(dynamic multi-objective optimization problems,DMOPs)。例如
人脸遮挡问题是目前人脸识别系统在面向现实应用时面临的一个巨大挑战。人脸遮挡问题是指人脸被墨镜、口罩、头盔等遮挡物遮挡而导致人脸信息丢失的问题,人脸遮挡问题一旦出
目的:本课题是通过对化浊解毒方治疗初发超重2型糖尿病的临床观察,进一步探讨化浊解毒方在治疗初发超重2型糖尿病的临床疗效,在此基础上进一步明确化浊解毒方在治疗初发超重2型糖尿病患者的有效性、安全性及中医药优势。方法:依据ADA诊断标准及中医辨证标准,本研究随机选取80例于2019年4月-2019年12月在某院门诊及住院的初发超重(即BMI≥23kg/m2)2型糖尿病患者,按照随机、平行、对照的原则分
很多领域的工程设计都涉及布局问题和逆向布局问题的优化求解,例如,前者有印刷电路板设计、以及广告设计和卫星舱布局设计等,后者有钢铁企业的组板/坯和坯料设计和大型装备的
轴向柱塞泵作为重要的液压传动部件,为满足更高的功率传递要求,其排量、压力、转速等指标亟待提高。滑靴副作为主要摩擦副之一,成为限制轴向柱塞泵性能提高的关键因素。滑靴
专业选择动机是影响学习者学习成效的重要因素之一,也是实现专业人才培养目标的必要前提,更是实现学习者人生理想的重要保证。因此,笔者希望通过研究跨专业汉语国际教育硕士的专业选择动机,对后续准备跨考的学生端正专业选择动机起到一定的启示作用,为提高汉语国际教育硕士的培养质量提供一些有参考价值的建议。本论文在借鉴国内外动机理论和有关国内汉语国际教育硕士专业选择动机研究成果的基础上,采用文献、问卷调查、访谈调
随着移动互联网以及人工智能的快速发展,用户数量及其业务需求也不断的增长,现有的第四代移动通信技术(4G)已经无法满足人们的使用需求。目前,无线通信系统的频谱资源已经极
3D打印技术是采用逐层堆积的思想直接快速制造零件的一种先进制造技术。其融合了逆向工程、CAD、激光、材料科学、数控和机械制造等方面的技术,采用离散堆积的原理,通过由点连成线,由线搭接成面,由面堆积成体的逐层堆积的成型过程,实现了不借助于模具成型任意复杂形状的零件。传统的3D打印技术采用等厚度分层,其具有路径规划和硬件设计简单的优点。但是,这种分层方法会存在“阶梯效应”与外部支撑等问题。针对传统的3