数字博物馆海量数据的分布式存储关键技术研究与实现

来源 :浙江大学 | 被引量 : 0次 | 上传用户:Helilujah
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据存储系统是数字博物馆体系架构的核心部分。在当前数字博物馆资源快速增长的环境下,数字博物馆海量资源对数据存储和管理系统提出了新的挑战。本文针对当前数字博物馆海量数据存储和管理方法存在的若干问题,主要研究了数字博物馆海量多媒体小文件的存储和多尺度空间数据的管理技术,分别提出了基于HDFS的小文件合并策略和基于HBase的海量文物空间数据的管理技术。取得的主要成果如下:一、根据数字博物馆包含大量多媒体小文件资源的特点,提出了一种基于HDFS的海量多媒体小文件合并存储策略,其基本思想是将大量的小文件合并成大的聚簇文件后,一起保存到HDFS中,该策略相比于原始的HDFS,有效地减少了大量小文件对主节点的内存消耗,提高了文件写入性能,同时为聚簇文件中的小文件建立文件索引,降低了文件的读取时间。二、研究了文物的多尺度空间数据的特点,提出了一种适于海量多尺度空间数据的POZ空间填充曲线及基于HBase的文物多尺度空间数据存储模型,实现对海量多尺度空间数据的管理和快速访问,与传统关系数据存储方法对比,该方法在管理海量文物的多尺度空间数据方面优秀性能。三、最后我们基于本文的研究成果,设计并部署了数字博物馆海量数据的分布式存储系统,系统的构建采用三层体系结构,即存储层、组织层和数据访问层;存储层采用HDFS分布式文件系统,提供海量数据存储能力;组织层基于HBase提供结构化的数据组织,同时实现了多媒体小文件合并和文物的多尺度空问数据的管理;数据访问层是系统与上层应用的交互接口,主要提供数据操作和数据管理功能。
其他文献
近几十年来人们越来越关注母语和二语习得之间的关系,1994年Pica列出的外语教学工作者最关注的十大问题中,“母语怎样影响二语习得”列为第一。早在二十世纪50年代,行为主义
刑法中的事实认识错误是刑法理论界和司法实务界较为疑难的问题。它不仅影响行为人犯罪故意的有无,更能影响到行为人故意犯罪的成立或既遂。合理的解决事实认识错误,不仅要在理
软件即服务(SaaS:Software as a Service)是基于云计算的软件应用服务,也是云计算的重要组成部分。电子直销渠道是SaaS服务提供商普遍采用的渠道结构,但目前国内外众多SaaS服务提
近年来人们随身携带的智能手机由于内置传感器种类的日益丰富,为普适计算提供了多模态的输入,逐渐成为情景感知的理想选择。在情景感知应用中,位置是最主要的情景,而室内定位
广州市化妆品生产企业厂房卫生评价孔薇,冯祯智,黄兰芳,江思力随着《化妆品卫生监督条例》的贯彻实施,化妆品生产企业的卫生有不同程度的改善,为了解当前我市化妆品生产企业的卫生
电视节目模板是电视产业发展的产物,电视发展初期就有了节目模版的模仿和交易,上世纪末,模板制作和销售逐渐成为电视产业的重要部分,节目模板具有重大价值但普遍没有法律明确对其
随着人们对全球气候变化的广泛关注,燃油价格的不断上升,以及各国政府和国际组织对船舶废气排放的严格限制,航运公司和港口企业逐渐意识到节能减排对企业生存的重要意义,并纷
《关于刑事立案监督有关问题的规定(试行)》的实施推动了我国刑事立案监督的改革。近年来关于刑事立案监督的研究成果很多,但相关研究成果大都只仅限于理论层面,尤其是刑事立案监
本文提出了一种针对光栅建筑平面图的高效矢量化和识别处理方法,并在此基础上实现了全自动生成三维建筑模型的轻量计算,满足了实际应用需求。首先,应用平均积分投影函数(AIPF
目的探讨小儿肺炎支原体感染的临床特点,分析其危险因素。方法观察记录100例小儿肺炎支原体感染患儿的临床特点(热程度、热程、咳嗽类型),并进行C-反应蛋白(CRP)、补体C3、肌酸激