云计算平台上分子动力学模拟的研究与实现

来源 :重庆邮电大学 | 被引量 : 0次 | 上传用户:guigui1987
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云计算技术的飞速发展推动了信息化架构的大整合,但将高性能计算迁移到云服务上,仍面临着重重挑战。尤其是目前广泛用于海量数据处理的Hadoop体系,应用到科学计算的某些领域存在频繁通信和迭代的难题。另一方面,传统的基于HPC集群的并行计算又无法满足飞速增长的数据处理需要,因此低成本、高可扩展性和高可靠性的MapReduce应运而生。传统的分子动力学模拟基于MPI、OpenMP或Condor网格平台,在可靠性、可扩展性、容错性和动态负载均衡方面均有所欠缺。然而在Hadoop云平台上运行分子动力学模拟具有克服传统平台的缺陷、节省各种软硬件投资和缩短模拟时间等重要意义。   本文基于对Hadoop体系结构的研究,结合计算化学相关理论,在Hadoop平台上实现短程力分子动力学模拟,并对模拟进行优化,丰富了Hadoop在科学计算中的应用。主要研究内容包括:⑴介绍云计算概念、现状和特点,以及并行计算机体系结构、并行编程模型和并行程序优化方法。阐述分子动力学模拟从传统并行平台移植到云平台的优势和意义。⑵分析Hadoop的MapReduce和HDFS等主要组件执行流程,并运用到科学计算和海量数据处理。根据分子动力学模拟的特点,分析在Hadoop平台上实现分子动力学模拟的四个难点,提出基于原子分解并行算法的四种可行方案。⑶对第一个方案的“一个Job计算一个时间步”进行实现、测试和分析。利用“读写HDFS同步法”实现第二种方案并设计了动态负载均衡算法,详细测试其加速比、各部分开销和负载均衡度。通过实验验证分子动力学模拟移植至开源云平台的可行性,并在硬件资源利用率、断点续算、负载均衡和容错性方面具有一定优势。⑷根据并行程序优化准则,结合MapReduce实际架构,从系统参数和应用程序设计两个角度阐述了本地调优技巧和改进方法,以减少通信、同步等待和迭代等非有效计算部分所占时间比重。同时对于解决需要迭代的科学计算和数据挖掘类问题的MapReduce并行算法提供参考模型。
其他文献
蛋白质折叠结构预测问题是当前生物学研究的一个热点。由于其特殊的结构和所使用的模型限制,利用NP问题的求解来求其最小能量值从而推测出折叠结构是这个问题的研究方向之一。
随着计算机网络在各个领域中的广泛应用,产生了庞大的网络信息,其中,以手机短信、QQ聊天记录、博客评论、新闻评论等短文本形式存在的信息也得到了空前的膨胀,如何对这些以短文本
近年来,越来越多的以短文本(通常文本长度小于160字符)形式存在的信息逐渐成为了人们获取消息的主要途径之一,如:微信,微博,网络评论,网络聊天以及搜索引擎返回的网络片段等等。所以
Internet技术和无线通信技术已经成为目前世界科学技术发展中最为活跃的领域之一。人们对移动性和信息的需求也在急剧上升。越来越多的人希望移动过程中不用更改计算机配置就
在互联网高速发展的今天,推荐系统能够缓解用户筛选感兴趣内容时的困扰,帮助用户发现有价值信息,已成为解决信息过载的有效手段。推荐系统中的协同过滤算法,因其领域无关性及
据2013年互联网数据中心报告显示,预计到2020年全球的数据总量将超过40ZB,这一数据量是2011年的22倍,如何从海量数据中快速抽取出用户所需要的信息是一个重要的研究课题。关
语音信号是人们构成思想疏通和感情交流的最主要的途径。传统的语音处理系统大多只着眼于语音词汇传达的准确性,而忽略了包含在语音信号中的情感信息。让计算机能够像人一样说
在数据挖掘、传感器网络、数据检索等应用中产生了大量的不确定性数据,它广泛地存在于金融、军事等领域中。不确定性数据带给用户的信息是不准确的,但是如果直接丢弃或者清洗
复杂背景视频序列中微动目标的特征提取与分类算法研究,在运动目标的检测与提取的研究领域中,有着十分重要的地位。在对该领域的研究中,已有的算法大多是基于运动特征或能量等对
随着智能规划越来越多在实际问题中的应用,更多的学者开始关注和研究智能规划,人们从多个角度去完善,并提出了多种规划策略,其中,启发式规划方法作为智能规划领域的重要问题之一,在