云计算环境下支持用户配额的数据存储系统

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:samuraitruong
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前主流的云计算存储系统HDFS(Hadoop Distributed File System)可以支持云计算环境下的文件存储。现在云计算应用普遍都是基于用户来组织数据的,那么当单个用户的数据量开始膨胀的时候,对用户存储资源的消耗进行规划和管理就成为了应用中十分迫切的需求。但是HDFS只能限制目录或文件的个数,没有用户的概念也无法支持用户维度的配额,难以满足上述这类应用需求。   云计算环境下支持用户配额的存储系统UQSS(User Quota Storage System)有效的解决了上述问题。UQSS的功能包括:提供用户环境,从无到有产生用户实体;管理用户配额,对用户进行存储资源的配额控制;保证存储系统安全,防护DDOS(Distribution Denial of Service)攻击和未授权用户的使用;跟踪用户行为,保证在用户删除、移动文件时也可以合理的进行配额控制;提供系统伸缩性,当用户量过大的时候能够通过业务端和数据库的水平伸缩、垂直伸缩来解决性能问题。UQSS采用了对象化业务逻辑、哈希分表、文件路径的MD5跟踪、基于切面的验证授权、token加密技术、负载均衡和数据库同步技术完成了上述功能。UQSS的对象化业务逻辑将服务和用户作为对象使用,借助自动注入技术完成用户环境构造和配额管理;哈希分表通过对用户的id进行哈希公式运算,获得对应的数据库表编号,达到横向切割数据和纵向伸缩的目的;路径MD5跟踪技术通过MD5摘要算法跟踪用户行为所涉及的路径,提高用户在删除、移动文件时的配额功能正确性;基于切面的验证授权和token加密技术通过切面逻辑验证请求的上下文,使得系统能够忽略未验证的请求;负载均衡和数据库同步技术通过制作副本,使系统可以防御DDOS攻击并实现了业务端的横向伸缩。   UQSS采用Java进行开发。功能测试表明,系统能够达到应用所预期的目标。性能测试表明,请求Web前端的响应时间平均约为1.35s;当文件小于1MB、大于20MB时,通过UQSS进行文件上传的额外开销分别小于16ms和2140ms。
其他文献
在大数据时代,人们不再被从何获取资讯所困扰,而是为信息的爆炸性增长感到烦恼。如何从这些数据中挖掘出有价值的、用户感兴趣的信息,是大数据时代人们讨论的焦点。在每日剧
在计算机安全领域,特别是网络安全领域,对计算机网络系统进行脆弱性评估就显得越来越重要。本文针对Web网站系统的脆弱性进行评估研究,文章涉及的内容和主要工作:1.本文在对W
随着网络技术、多媒体技术、数据库技术的发展和互联网的不断普及,人们对越来越广泛应用的图像等多媒体数据的需求也越来越强烈。传统的基于文本的图像检索已不能完全满足人
在我国,基础建设目前正处于高速发展的时期,规模庞大的基础建设使得岩土工程勘察领域堆积的数据量快速增大。因此,怎样有效地管理和存储这些数据,已经成为国内岩土工程勘察工
计算机的诞生、存在和发展,是人类社会进化的产物,其存在的根本意义在于它可以局部模拟或部分取代人类的智能,故而在计算机科学技术领域,人工智能是其核心理论之一,而人工智能研究
行动推理是人工智能研究的一个重要领域。由于Agent所处的环境往往是动态的,不完全可知的,为了完成给定的任务,Agent需要对动态变化的环境做出反应,通过规划、自主推理从而寻