云平台下基于GlusterFS的多客户端文件管理系统

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:hjjcumt
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在云计算技术突飞猛进,云平台使用日益广泛的今天,用户在生产环境中产生与使用的数据和文件体积随时间发展而极速扩张。针对云平台下的海量数据管理,研究人员提出了云存储概念,其意义是结合云概念,将用户的海量文件存放在大规模分布式文件系统中,结合服务器集群技术,对用户提供访问接口,用户无需关注文件存放的物理位置与组织形式,只需要使用云储存服务访问文件即可。云存储结合分布式文件系统,具有扩容方便,冗余备份,单位存储容量价格低等特点,适合企业应用到生产环境中。云存储的优秀特性既需要底层分布式文件系统的支撑,也需要实现上层功能服务的易用和强大。本文在研究了主流的几种分布式文件系统后,选择了GlusterFS文件系统,其具有无元数据服务特性,扩容性能强大,支持数据冗余备份,损坏数据自修复等优秀特性,非常适合应用在云存储环境下。针对上层服务,本文考虑到用户在不同环境与设备下访问文件系统的需求,选择使用Electron技术进行多平台客户端的开发,使得用户可以使用各平台的设备对文件系统进行访问。解决了传统云存储中,系统难以扩展,不能够在多环境下提供文件管理服务,难以满足协同办公需要的不足,也解决了实验室传统云存储维护中,组件过多,安全维护困难的缺点。本文首先对GlusterFS的系统架构,服务端客户端访问机制,数据分布与自修复机制进行了深入了解,分析了用户对云平台下文件管理系统的具体需求,设计确定了基于GlusterFS的多客户端文件管理系统的性能需求与功能需求,并对各个模块进行了详细设计与实现,包括有基础功能模块,性能优化模块,文件模块。性能优化模块提出设计了对Gluster文件服务器增加元数据缓存层,提高服务器的相应性能,降低资源开销。文件模块实现了大文件的分片上传与下载功能,设计实现了小文件聚合存储,提高了小文件性能,并结合Electron技术,实现了文件的在线浏览,方便了用户办公操作,改善了用户的体验。在结尾对系统进行的功能测试与性能测试表明,云平台下基于GlusterFS的多客户端文件管理系统可以满足用户的使用需求,实现了规划的目标。
其他文献
云计算时代,云存储越来越成为一种企业基础设施。为了在保障用户数据安全性的同时满足用户的功能需求,一些适用于云计算的密码学协议被提出,比如可搜索加密和代理重加密。当这些密码协议正常工作时,数据安全可以得到保证,但在实践中,运行密码协议的机器本身也可能成为攻击的对象。如果运行密码协议的机器本身被攻击,密码算法被替换,则密码协议将无法保证其安全性。斯诺登事件表明,情报机构可以通过行政权力替换密码算法。因
网络安全的形势日益严峻,安全防御技术意义重大。当前防火墙技术、入侵检测技术及防病毒技术等防御技术通常是针对攻击已经发生之后的反应,属于被动防御,具有防御滞后、难以防御未知攻击等局限性。因此,主动防御技术应运而生,其典型代表就是蜜罐以及由多个蜜罐组成的蜜网。然而,传统蜜网通常缺乏内部交流、过度依赖数据中心,在大规模网络防御中存在较大的局限性。目前,针对该缺点,已经有学者研究并提出去中心化的分布式蜜网
随着网络空间的发展,越来越多的Web服务在网络中出现。Web服务在给人们生活带来便利的同时,也带来许多安全隐患。如今越来越多的Web服务遭受到黑客的针对性攻击,许多网站运营商和用户遭受了很大损失。为了维护网络空间安全,所以对网络空间中的Web服务进行安全性检测迫在眉睫。目前,传统的Web服务安全性检测存在如下缺陷:一、Web服务的识别依赖于大量人工的辅助,收集构造完备的指纹库,才能实现Web服务的
网络带来的便利使得人们的生活高度依赖各种网络应用,一旦网络异常会给人们带来诸多影响。因此实时掌控网络运行状态,建立网络运行态势感知系统尤为重要。网络运行态势感知是将与网络运行相关特征数据进行收集、评估以及预测的过程,据结果做出如调整网络资源配置等决策来保证网络正常高效地运行。网络数据集具有无先验性、海量性等特征,网络状态评估具有模糊性的特点且态势预测需要具备实时性。模糊C均值(FCM)算法能够发掘
随着互联网技术的不断发展,随之而来的网络攻击技术不断地对网络安全形势造成威胁。传统的网络流量监控方式对于当前不断提升的网络带宽来说难以得到满足。本文提出了基于DPDK框架的流量实时重组及存储技术方案,弥补了对于传统流量重组技术在实时性方面的不足;同时本文使用小文件合并以及对文件进行预读的方法优化了流量文件存储时的读写性能。其中所提出的流量实时重组方案以及对pcap文件的存储方案能够为后续的流量审计
网络与科技的高速发展,方便了人们日常的生活工作,但与此同时,部分网络攻击带来的安全问题也越来越多,其中高级持续威胁攻击已成为网络安全最大的威胁之一。高级持续威胁(APT)是指某些组织对特定对象展开的持续有效的攻击活动。这些黑客组织具有较高的专业技术水平,且有足够的资源展开长期攻击。这种攻击不易被察觉,具有极强的针对性,且能绕过常见的安全策略,如防病毒、入侵检测系统等各种主流安全检测技术。现有有效的
随着互联网的快速发展,微服务架构应用越来越广泛。API网关是微服务系统中流行的组件,客户端的请求调用经过API网关的路由后到达后端服务。API网关可以提高微服务系统的灵活性,减轻运维压力,它将许多公共功能和资源集中起来,减少整个系统的资源占用。API网关作为请求流量的入口,承载了巨大的负载,需要避免成为整个系统的瓶颈,并具备较高的高性能,基于该目标本文设计并实现了一个基于云平台的高性能API网关。
Web应用程序防火墙(Web Application Firewall,WAF)在保护Web应用程序免受SQL注入、XML注入和PHP注入等恶意攻击方面发挥着不可或缺的作用。然而,新的攻击层出不穷以及它们的复杂性不断提高,WAF必须定期更新和测试,以防止攻击者轻易绕过它们。测试和修复WAF也是安全分析人员面临的两个相关和互补的挑战。自动化测试通过生成有效的测试输入(即攻击),有助于低成本高效益地检
模型检测是一种验证软硬件系统的强有力方法,它首先用形式化语言来描述待检验系统和系统需要满足的规范,然后使用DFS(Depth First Search)等算法遍历系统模型的状态空间,找出不满足规范的地方并返回反例以指导系统修改。但是现有的模型检测器都是基于单反例的,其在验证系统时往往需要人为的多次干预才能完成验证过程。另一方面,随着移动互联网时代下各种应用和平台的用户量爆发增长,人们将自己在某个平
云计算历经十几年的发展,已经极大地改变了计算资源的使用模式,这种模式不仅提高了资源的利用率,还降低了企业和个人开发新应用的成本。但是云计算在带来便利性的同时,其面临的安全问题也日益突出,云安全事件频发,已经成为企业最关心的问题之一。在云安全中,虚拟机的安全是最根本也是最迫切需要解决的问题。而虚拟机面临的最大威胁就是具有较强隐蔽性和持久性的恶意代码攻击,隐藏进程就是其最主要的特征。因此,针对隐藏进程