大规模气象数据布局的自适应性研究

来源 :东北大学 | 被引量 : 3次 | 上传用户:wxsshj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的飞速发展,人类社会活动越来越多地依赖于各种数字化信息。无论是个人的数据资料、企事业单位的核心运营数据,还是保证国家和社会正常运转的文件,都离不开海量信息数据的存储、处理和传输。特别是像我国这样受自然灾害影响非常为严重的国家,气象数据资料作为一种海量信息数据,以气象事业作为我国的公益事业,为国家安全、防灾减灾提供重要保障,受到了国家的高度重视。然而现有的大规模气象数据存储系统中,气象数据应用实时性差,数据状态和存储、传送过程不透明,气象数据管理过于集中,气象数据的共享方式繁杂、自适应性差,数据质量保障能力差。针对上述这些问题,本文给出了一个大规模气象数据存储系统LMDSS的设计方案。该存储系统采用面向对象存储的分布式文件系统,并结合层次化CDN网络和虚拟化技术对气象数据进行存储备份,保证气象数据的实时性和安全可靠性。同时,针对该系统中气象数据存储设备和内容传输网络以及关键数据缓存器之间进行气象数据传输和重新布局的问题,本文提出了一种层次化一致Hash布局算法。该算法首先将大规模气象数据存储设备层次性地划分为各个小存储设备集合,然后在各个小存储设备集合之间采用一致Hash数据布局算法,最后在每个小存储设备集合内部再次使用一致Hash算法,进行数据的再次布局,使气象数据公平地分布在每个存储设备上。该算法能够自适应存储设备的动态变化,有效地重新布局数据,快速定位数据,减少对气象数据存储设备空间的消耗,满足了国家气象服务系统准确性和实时性要求,并解决了在气象应用上传或下载气象数据时,访问和存储气象数据过程中出现的I/O瓶颈问题。因此,在大规模气象存储系统中,对气象数据进行有效地存储管理,提高气象预报服务的准确性和实时性,增强区域气候的可预测性,实现天气预报业务系统的自动化、智能化是国家保障人民群众生命财产安全与促进社会和谐稳定一项基础工作,具有重要的现实意义。
其他文献
商业资本理论是马克思主义政治经济学的重要组成部分,也是马克思剩余价值理论的重要内容,其主要内容包括商业资本及其作用、商业利润及其实现、流通费用及其补偿、商业危机等。马克思商业资本理论创立一百多年来,商业资本运行的条件、环境发生了重大变化,亟待进一步作出科学解释,同时需要对于马克思商业资本理论面对的相关错误观点予以批驳。所以,无论从商业资本运行的现实环境看,还是从商业资本理论的学术研究层面进行分析,
生物材料科学是介于材料科学与生命科学之间并相互渗透而产生的一个重要边缘学科。生物材料发展与进步的根本源动力是健康的需要。人们对生物材料与生命体相互作用的现象和规
手术调度是医疗调度中最重要的问题之一,它关系着医疗机构的运转和患者的周转。医疗机构通常采取集中式调度的形式,由手术调度中心进行统一的调度及管理。然而手术的流程复杂且具有不确定性,这为手术的集中式调度带来阻碍。国内外大多数医院仍缺乏科学的调度方法和技术,因此医疗机构都迫切的希望能够针对手术调度问题的特点,寻求更加具有适应性的调度方法来优化手术调度。手术调度流程中,手术室(OR)是最重要的资源,同时也
作为自然计算的新领域,膜计算的目的是从生物细胞的结构和功能的模拟中,创建一种分布式并行计算模型,使得该模型具有良好的计算性能。自膜计算提出以后,研究者们已经证明膜计算模
本文开发了一套应用于生物神经信息分析的多功能实验平台,其具有如下功能:(1)引导实验对象者(人或实验猴)按照要求执行指定的伸展抓握任务;(2)连接多台生理学信号采集设备并执行设
线虫作为一种重要的模式生物,具有结构简单,生命周期短,繁殖能力强等特点而被用于神经生物学研究。其神经系统结构简单,可分为运动神经元、感觉神经元、中间神经元等几大类。线虫
我国中东部地区(27°-40°N,110°-124°E)是中尺度对流系统(MCS)频发地区之一,夏季由MCS引发的强对流灾害性天气频繁发生,严重威胁了当地人民的生命财产安全,造成了惨重的经济损失。
近年来,关于平流层与对流层的相互作用,尤其是平流层的重大异常对对流层气候变化的影响越来越受到重视。本文利用NECP/NEAR再分析资料和全国160站点的温度、降水资料,借助气候统
水运工程是指港口工程、航道工程、航标工程、通航建筑物工程、修造船水工建筑物工程、安装工程和支持系统及其辅助和附属工程等。水运工程建设作为重点的建设项目之一,应对
随着网络技术、数据存储和数据采集能力的快速发展,每天都会产生大量的数据,如何从这些大量的数据中提取出有价值的信息就变的极其不容易。在大数据时代聚类算法已经成为获取有用信息不可或缺的重要手段。无论是什么聚类算法都有其优点和缺点,没有单一的聚类算法能够处理所有类型的数据结构和群集形状。对于一个给定的数据集,如果是毫无先验知识的情况下,这就会很难选择哪种聚类算法来完成给定的聚类目标。集成聚类方法的提出为