基于容器的大规模大气遥感反演调度技术研究

来源 :东北石油大学 | 被引量 : 0次 | 上传用户:CoolTNTmax
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当前卫星遥感技术的飞速发展产生了海量的大气遥感数据。目前处理遥感数据的方法大多采用单机部署遥感算法方式,其部署配置繁琐且难以满足大规模数据的处理需求,而已存在的遥感算法由于设计者的流动性、算法的保密性等,很难对算法内部进行改写。针对传统单机遥感算法无法在分布式环境执行问题,设计了一种基于容器的遥感算法镜像封装与资源预分配策略;为解决复杂大气遥感任务在分布式集群数据处理效率低下问题,提出了具有先验值的遥感任务调度算法与动态切换任务调度算法的策略。主要的工作内容包括:第一,研究遥感算法镜像封装与具有先验值的遥感任务调度策略。传统遥感算法直接在单机上运行数据处理效率低,且需安装依赖环境,本文将传统遥感算法与依赖环境封装成镜像,使算法免去繁琐配置,具有“一次封装、到处执行”的特点。为解决使用传统调度算法调度遥感任务资源利用率不高的问题,提出具有先验值的大气遥感任务调度方法。具有先验值的调度策略首先根据遥感任务以往执行的记录构建先验模型,再根据先验模型值计算该任务的优先级并生成任务队列与分配资源。通过实验发现,具有先验值的调度方法提高了遥感任务调度的准确性与集群资源的利用率。第二,对动态切换调度算法与遥感任务分布式进行研究。为解决分布式环境下复杂的遥感任务调度需求,提出动态切换调度算法策略。动态切换调度算法策略作为全局调度策略,根据任务特征与调度算法的关键特征进行匹配,动态的切换调度算法以提高系统的灵活性。采用Spring Cloud技术构建分布式集群,设计节点初始化服务使节点具有执行命令的能力。提出一种大型遥感任务拆分策略,将大任务拆分成多个能够并行执行的子任务,经实验验证,该方法实现了原有单机任务在集群系统中分布式快速执行目标。第三,研究面向遥感任务的能力调度和任务与数据的动态调度策略。针对不同遥感任务对集群资源需求的不同,设计了一种面向不同遥感任务的能力调度策略。能力调度策略将系统资源划分成多个任务资源队列,每个队列内分配的资源与调度算法不同,并且当该队列内资源不足时,允许借用其他队列的资源,进一步提高系统的灵活性。提出了一种任务与数据动态调度机制,当节点故障或任务失效后,能够将任务与数据进行再次调度,经实验发现,该方法有效的增强了系统的可靠性。通过上述理论研究和实验验证,设计并搭建了大规模大气遥感反演调度平台,并介绍了平台的总体设计和展示了核心功能模块的效果,同时采用北京市区域的MOD021KM数据进行了AOD反演产品计算,验证了平台以容器方式执行遥感任务的正确性与快速性,具有良好的应用和推广价值。
其他文献
保护野生动物对维持生物多样性和促进国计民生具有重要意义,而近年来新冠肺炎的全球大流行使得人们进一步重视野生动物保护与疫情防控的关联性。野生动物生存于复杂开放的自然环境,容易被各种病原微生物侵袭,而社会经济的高速发展和人们生活水平的提高使得野生动物与人类活动轨迹的重合度越来越高,且交流日渐频繁。因此,野生动物所携带的病原体有机会通过多种途径进入人类社会并造成潜在的疫病威胁。本文结合我国野生动物保护现
期刊
<正>2022年以来,受新冠肺炎疫情等因素影响,企业生产经营陷入困境甚至停顿,有效融资需求明显萎缩,稳增长面临着较大的压力。年初,湘潭市政府建立了《产业强市“千百十”工程方案》,组织全市各部门认真开展助企纾困“千百扶培”精准帮扶行动,人民银行湘潭市中心支行(以下简称湘潭市中支)以此为契机,通过创新“三抓三推三聚焦”工作机制,引导“金融活水”持续润泽重点领域和薄弱环节,全力为市场主体纾困解难。
期刊
目的 系统评价早产儿达完全经口喂养(full oral feeding, FOF)时间的影响因素。方法 检索PubMed、Embase、Web of Science、CINAHL、Cochrane library、中国知网、万方、维普及中国生物医学文献数据库,系统搜集早产儿达FOF时间影响因素的相关文献。检索时间为从建库至2022年8月10日,按照纳入与排除标准筛选文献并进行质量评价,采用RevM
期刊
为进一步研究温度在混凝土路面中的传播规律和对其弯沉值的影响,采用落锤式弯沉仪(FWD)对温度梯度作用下的混凝土路面动态弯沉开展了试验研究。通过进行混凝土路面各层温度实时监测和考虑温度变量的混凝土路面板中主点弯沉试验, 得到弯沉值数据与实时温度及温度在水泥混凝土路面中的传播规律,研究结果表明:气温是影响路面结构温度的主要因素之一,混凝土路面各层温度与路表温度变化趋势相同;早上6时至下午15时期间,随
期刊
报纸
报纸
报纸
报纸
结合广东某工程,研究了不同施工温度对沥青路面抗滑性能的影响。首先测试了沥青混合料安山岩集料的矿物成分及物理力学性能,然后采取SMA—13级配成型室内车辙构件,分析了利用控温系统结合轮式加速磨光机设备开展试件在不同温度情况下的抗滑摆值及摩擦系数的变化规律,以便为沥青混凝土路面的使用性能优化及后续养护提供理论参考。
期刊
建立沥青路面结构有限元模型,计算沥青路面结构在一天内温度连续变化条件下温度场分布,在此基础上进行温度与移动荷载耦合,分析沥青路面结构在温度-移动荷载耦合作用下的力学响应。结果表明,沥青面层温度场在一天内的变化呈现先减小、后迅速增大、再减小并趋于缓和的趋势,基层以下路面结构层温度几乎不发生变化;在温度-移动荷载耦合作用下,路表最大竖向位移比不考虑温度作用时最大竖向位移增大8.60%,沥青层层底拉应变
期刊