基于Swift的非结构化数据存储系统的设计与实现

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:sunjing123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着时代的发展,非结构化数据呈现爆炸式增长。IDC的一项调查报告中指出:非结构化数据在企业数据中,所占的比重是80%,并且还在以60%的比例增长。所以处理和存储海量的非结构化数据成为急需解决的问题,而云存储技术成为了解决这一问题的热点技术。现有的云存储系统主要是针对大文件设计的,并且没有考虑数据之间的关联性,然而大部分非结构化数据的文件大小小于2M,所以对于非结构化数据的存储效率是比较低下的。本文以非结构化数据为研究对象,基于开源云计算平台OpenStack的对象存储服务Swift,提出了一种基于对象的存储方法,对非结构化数据进行存储设计和读取设计,并将这两种设计整合到Swift的存储平台中,实现非结构化数据存储系统的开发,提高非结构化数据的存取性能。针对非结构化数据存储问题,本文研究了数据之间的关联性,然后将关联的数据作为输入,基于BIRCH算法对数据聚类,实现了对数据的分组。测试结果表明,代理节点的内存使用低于18MB,存储节点的内存使用低于15MB,相对于原来的Swift系统,内存使用减少了大约86%。处理10KB左右的数据时,请求的响应时间降低大约50%。所以可以表明本文研究的方法可以有效的提高非结构化数据的存储效率。针对非结构化数据读取问题,本文研究数据与分组之间的映射信息,实现三个映射表:数据索引表、索引缓存表、工作集表。然后基于访问历史对数据进行预取操作,将接下来很有可能被访问的数据提前预取到代理节点的缓存中。测试结果表明,用户请求的数量为50个时,命中率达到50%。用户请求的数量超过350个时,命中率超过80%。同时降低了读取数据的响应时间,平均响应请求延迟低于20ms。所以可以表明本文研究的方法可以有效的提高非结构化数据的读取效率。基于上述成果,本文设计并实现基于Swift的非结构化数据存储原型系统。该系统结合了非结构化数据的存储技术和读取技术。实验结果表明,该系统能够高效解决海量非结构化数据的存储问题和读取问题。
其他文献
被动式入侵检测技术相比于传统的红外线、图像以及视频检测技术能够克服视距的要求限制,并且无需要求被检测目标携带任何特殊的硬件设备,目前在军事安防、动物研究、人员监护
最近看了盛和煜(执笔)、文建明、王之墀编剧,昆明市滇剧团演出的《瘦马御史》,不仅心智受到了启迪,而且获得了审美愉悦。回眸云南近几年新编历史剧的创作,我欣慰地感到此剧称
国家形象宣传片是建构国家形象的重要途径,也是当前多模态话语分析研究的重点对象。因此,本文以《中国进入新时代》为研究对象,运用多模态话语分析的相关理论分析国家形象宣传片中模态间的组织与相互作用,并以此为基础,探讨多模态话语分析与评价理论相结合下动态宣传语篇的模态交织与意识解构。本文以系统功能语言学为基础理论框架,并结合认知语言学的相关解释与动态多模态语篇的特点,运用定量与定性相统一的研究方法,从《中
我国现行刑法对非法吸收公众存款罪的规定严重不完备。由于现有司法资源非常有限,民间集资实际只能被选择性地定罪处罚。而风险因素的影响使得非法吸收公众存款罪对民间集资行
背景:支气管哮喘是一类慢性炎症气道反应性疾病,气道重塑是其重要的病理特征。气道平滑肌细胞(Airway smooth muscle cell,ASMC)在肺部发挥着重要的作用,ASMC的过度增殖和迁
网架结构是一种高阶静定的新型空间结构,由多根杆件按照一定规律组合,通过节点连接成网状,而节点处被认为是网架结构受力最为薄弱的地方,其稳定性和可靠性与整个网架建筑的安全息息相关。螺栓球节点作为网架结构的通用节点形式之一,其螺纹缺口处的应力集中或高温环境下力学特性的变化,都会影响网架结构的整体承载力,最终导致结构坍塌。因此,应用全螺纹模型研究螺栓球节点的疲劳缺口应力集中及高温力学特性具有重要的现实意义
教育叙事作为近二十年来我国教育领域极其热门的一种质性研究方法,为语文教师的教育科研开辟了一条新的途径。教育叙事不仅符合中小学语文教育改革与发展的需要,也迎合了语文教师自身专业发展的需要。因此,语文教师进行教育叙事越来越频繁和普遍。以往对语文教师教育叙事的研究主要关注教育叙事对语文教学的促进作用、语文教师的专业成长,而较少关注教育叙事的创作者,即语文教师本人具体、鲜活的情感态度。本论文主要通过对语文
分析了PFMEA方法在装备合同履行风险评估中的应用,提出了装备购置合同履行过程中不同阶段的风险事件,给出了相应的分析方法,为装备合同履行风险评估提供思路。