论文部分内容阅读
随着空间数据获取的手段越来越多以及数据处理的复杂性越来越高,高性能计算(HPC)由于其强大的计算能力,在空间数据处理以及地学计算应用中发挥着重要作用,逐渐形成了高性能地学计算(HPGC)这一研究方向。伴随着计算机技术的持续发展,新的HPC硬件平台如GPU、MIC等不断涌,极大地促进了高性能计算的发展,这也对高性能地学计算产生了巨大影响。然而,普通用户在实际HPGC应用中使用这些高性能计算设备/平台时,往往存在一些问题。诸如大多数高性能计算平台采用Linux系统,基于命令行访问,而且相关配置较为复杂;由于空间算法多种多样,当用户需要在HPC平台使用某种算法时,往往需要重新开发,耗费大量的开发时间;传统HPC应用平台/系统并未提供一些人性化的服务,如有些应用系统无法基于远程Web访问;或者用户往往需要多次登录以查询任务是否完成,无法第一时间得知处理结果等待。显然,这些问题无疑提高了普通用户在HPC设备上进行高性能地学计算应用研究的门槛。针对这些问题,本研究基于Django框架开发适用于高性能地学计算的Web平台,主要研究集中在以下三个方面:(1)基于Linux系统,采用Django框架开发方式,结合当前的RabbitMQ、Celery、JQuery等技术开发构建基于Web的高性能地学计算服务平台。通过平台的Web Portal,不仅可以快速实现对集群的控制操作,简化用户操作步骤,实现用户在不接触任何命令行的情况下,完成对集群端任务的管理;还可以方便地使用基于各类高性能计算平台的算法服务。该平台不仅能大幅降低用户使用门槛,提高计算资源的使用率,还大大减少了普通用户算法开发工作量。(2)鉴于当前空间信息处理算法多样性的特点,在Web平台中设计一个通用模板,可实现常用地学算法能快速部署在服务系统上。利用该模板,系统管理员只需要通过Web界面提供的简单操作即可完成用户上传算法的计算服务封装过程,从而使Web平台上聚合更多的地学算法。(3)开发的高性能地学计算服务平台,注重提供一系列人性化的便利服务,增强系统的快速反馈能力。如在账户管理服务中,不仅通过Django本身提供的邮件发送服务,还调用在线API短信推送服务,将系统消息在第一时间推送给用户,方便用户及时掌握各种提交计算作业的动态信息。通过系统测试,表明该Web计算服务平台具备提供多种基于不同高性能计算资源的地学算法服务的能力,并且系统运行良好,具有较为人性化的服务特点。