海量图片存储技术的研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:woai2011ni
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的飞速发展,各种信息资源快速增长,各行各业每时每刻都会产生海量的信息。而作为信息源之一的图片,具有传输方便、蕴含信息丰富、给人感觉直观等优点,其数量呈指数式增长。如大众熟知的淘宝、京东、微博等网站的图片存储数量已经达到PB级别,并且还在不断增长。面对增长如此迅速的图片资源,传统的文件存储架构和检索技术逐渐暴露出它们的缺点,无法满足当前海量图片资源的存储空间和处理时间的需求。因此,寻找一种能够满足并发访问的,高效的图片存储技术成为很多信息系统中亟待解决的问题。本文分析比较了当前国内外比较有代表性的海量图片存储方案,选择基于对象存储结构来解决上述难题。本文通过对海量图片数据的存储特性的分析,以及对对象存储结构的研究,提出一种基于对象存储结构的海量图片存储框架MISF。该框架以对象存储结构为核心,底层使用分布式架构保证了物理层次的高容量和高吞吐率,利用虚拟化技术将底层文件系统的树形层级结构隐藏,映射为扁平化的存储空间。并且采用新型的数据组织结构,将图片数据紧凑的组织在一起,并且为其生成内部索引文件以供客户端快速访问。本文主要从以下三个方面展开研究:第一,通过对对象存储结构的组织和特性进行研究,提出一种基于对象存储结构的海量图片对象存储模型。该模型底层采用分布式架构,为高容量和高性能提供物理架构的支持,同时整个系统模型将控制通路与数据通路分离,提高系统吞吐率。并且使用虚拟化技术将底层分布式架构和文件层级结构隐藏,虚拟为扁平结构的存储空间,使得用户可以更加友好、快速的获取到图片数据。第二,通过对B+树数据结构的分析研究,采用基于B+树的按需加载索引策略,既解决了海量图片数据的元数据管理问题,又为底层虚拟化提供了技术支持。同时,合理设计图片对象的UID,使得同类图片的物理存储地址尽可能靠近,从而提高了查询效率。第三,通过对当前比较典型的几种缓存置换策略的研究,设计了一种自定义价值模型的缓存置换策略,该策略充分考虑到海量图片对象的空间局部性和时间局部性、长期流行度和短期流行度,能够提高缓存命中率,提升系统查询速度。本文根据所研究的海量图片数据存储框架设计了原型系统,并且对原型进行实验分析,验证了原型系统的可用性和高效性,说明了存储框架的可行性和有效性。
其他文献
<正>乳腺癌发病率居于女性恶性肿瘤之首,且呈现不断增长趋势。近年来临床逐渐采用血清肿瘤标记物进行乳腺癌筛查,其中血清CEA是特异性较强的恶性肿瘤诊断指标,可用于多种癌症
当前的市场经济环境下,股权激励作为一种长期激励机制,已经成为很多非上市公司的“标配”,而不再是上市公司的特权。然而股权激励机制的设计又是一项系统而复杂的工程,既要吻
从2007年“诺基亚商标侵权案”以来,越来越多的翻新机商标侵权案件开始受到法律界的关注。目前,翻新机已成为一项产业,在深圳等地广泛存在。所谓翻新机,大多表现为第三人在收
非甾体抗炎药(NSAIDs)被广泛应用于抗炎、镇痛、解热、治疗关节炎及预防癌症等。但长期服用NSAIDs容易引起患者胃肠道出血及心血管等疾病。比较而言,昔康类选择性环氧化酶-2(COX
超硬聚晶金刚石(UHPCD)材料是一种以金刚石微粉和化学气相沉积(CVD)金刚石柱为原料在高温高压条件下合成的新型超硬材料,对于这种材料在不同工况下的摩擦学性能研究可以为其
一、住房市场问题的原因解读:市场失灵与政府失灵当前,我国住房市场出现的市场失衡、价格上涨过快等一系列问题不是孤立和偶然的,其背景和影响因素比较复杂,而市场失灵、政府
MEMS/NEMS技术的快速发展,迫切需要对其内部微纳尺度流动特性有深入的理解。微纳尺度气体流动中,尽管气流本身没有达到稀薄状态,但是由于这时气体分子平均自由程与气流特征尺
随着现代科技的快速发展,人们对柔性、便携式电子和信息产品的需求越来越大。这些产品都需要有供能装置,但现有的储能器件重量大、刚性、安全性差,不能满足未来便携式柔性电
目的:利用噬菌体7肽库进行体外快速差减筛选(biopanning and rapid analysis of selective interactive ligands,BRASIL),从而获得卵巢癌细胞株HO-8910细胞表面特异性结合肽。方
流化催化裂化(Fluid Catalytic Cracking, FCC)是炼油工业中的重要操作单元之一,同时其再生烟气也是主要的大气污染物SOx排放源之一。在降低FCC烟气SOx排放量的诸多手段中,硫