ONSET分布数据处理框架研究

来源 :昆明理工大学 | 被引量 : 1次 | 上传用户:wangzhenyu86
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
天文望远镜每天产生的海量数据给天文数据处理系统的快速处理能力提出了很高的要求。随着分布式技术的快速发展,分布望远镜信息系统,模块化设计以及分布调用与集成的概念得到广泛共识。光学和近红外太阳爆发监测望远镜(ONSET)现有的数据处理系统由多个独立的部分组成,其数据的处理过程严重依赖人工操作,数据处理性能还远远达不到其对数据快速处理能力的要求。为了改进ONSET现有的数据处理方法,本文在对ONSET太阳望远镜现有数据处理过程分析的基础上,对其分布式数据处理框架的搭建方法进行研究与实现,同时研究数据处理过程中的核心模块之一,图像重建模块的数据分发方法,并对其做出了一定的改进,具体工作包括:第一、对分布数据处理框架中常用的中间通信技术进行调研,详细研究了高性能通信中间件ZeroMQ的几种数据分发方法,并对天文图像数据处理过程中使用到的几种应用库和技术进行研究。第二、分析ONSET现有的数据处理程序,包括:图像选帧程序、配准对齐程序和图像重建程序。利用ZeroMQ通信中间件在这些程序的基础上开发通信接口,搭建分布数据处理框架,并实现工作调度计划脚本,进行ONSET数据处理流程的整体调度。第三、分析现有的基于MPI和CUDA的分布式计算图像重建程序,研究其的数据分发方式,提出了一种树状的MPI+CUDA混合模型的高性能数据分发方法,并通过该方法模拟图像重建过程中的数据分发方式,测试其数据分发效果。从整体上看,本文的框架研究与实现解决了天文数据处理过程中,数据通过人工进行拷贝,然后进行处理的低效问题。并且通过对图像重建数据分发方法的研究与改进,有效地提高了并行处理效率,进而从整体上提高了整个框架的运行速度。
其他文献
商业地产项目作为我国经济转型过程中现代服务业与传统建筑业结合的重要产物,在城镇化进程中处于基础设施建设的优先考虑地位。商业地产的发展程度是一座城市发达程度和居民
在数据仓库和联机分析处理研究领域中存在一种核心数据模型,即数据立方体格,而在形式概念分析理论中也存在一类重要的数据模型,即概念格。数据立方体格和概念格在数据分析领
传统的离线手写签名鉴别工作常采用人工的方法,该方法识别效率低、准确率不足,在计算机技术飞速发展的今天,众多科研人员利用信息处理技术开展离线签名鉴别工作,尽管目前已经
随着机器人和机械臂的应用越来越为广泛,人们对机械臂的控制精度和抗干扰能力要求越来越高,因此需要设计机械臂的鲁棒控制器,使其在自身负载和外部干扰发生变化时,能最大程度
如今互联网技术越来越发达,但是已经无法满足用户们的更高需求,传统的网络架构已然成为瓶颈,而且其僵化问题日渐突出。网络虚拟化的思想对于改变传统网络僵化问题的研究取得
由于人体行为识别在应用上具有广阔前景,比如智能监控、智能交通等,使其成为计算机视觉领域前沿的研究课题之一。研究初期,针对传统的RGB数据,有许多经典的算法被提出以及应
晶棒定向、粘料是晶棒切割和加工过程中重要的两个环节。在传统生产过程中,定向和粘料是两个独立的环节。X射线晶棒定向仪利用X射线衍射技术,依据布拉格方程,确定晶棒内部原
在我国加入WTO之后以及世界经济全球化的到来,世界市场的竞争越来越激烈,我国的电信企业在经营和管理方面需要向国外发达国家看齐,所以电信市场的竞争越来越激烈。同时随着我
随着工业机器人技术的发展,依靠视觉引导、定位及识别技术显得越来越重要。工件的视觉识别及工件种类判别是实现机械手抓取工件的重要环节。如何对姿态变换后的工件进行视觉
近年来,我国在卫生信息化建设上取得了很大的进展,在重庆市健康教育的日常工作中也时刻进行着信息化的探索。随着人民群众对健康养生的重视,如何快速有效地统一规范全地区的