基于LVM和NBD的远程复制系统设计与性能优化

来源 :南开大学 | 被引量 : 0次 | 上传用户:pengpengice
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
远程镜像又叫远程复制,是容灾备份的核心技术,同时也是保持远程数据同步和实现灾难恢复的基础。它利用物理位置上分离的存储设备所具备的远程数据连接功能,在远程维护一套数据镜像,一旦灾难发生时,分布在异地存储器上的数据备份并不会受到波及。远程镜像按请求镜像的主机是否需要远程镜像站点的确认信息,又可分为同步远程镜像和异步远程镜像。 本文根据实际需求和Linux操作系统特性设计并开发了一套基于Linux逻辑卷管理器(Logical Volume Manager)和网络块设备(Network Block Device)的远程复制系统。 我们将远程复制机制嵌入到Linux系统的LVM组件中,利用LVM优越的磁盘空间管理性能,屏蔽了因物理存储设备的差异而导致的系统设计的复杂性和实现的难度。该远程复制系统基本工作原理是:生产中心在LNM层截获用户的写操作请求,通过LVM层的逻辑映射将请求发送到本地设备的I/O操作队列,即本地设备写操作完成;同时将写操作数据副本和I/O请求按照本地设备(即生产中心)的写操作顺序记录到远程复制I/O请求队列中。NBD从远程复制请求队列中提取写操作请求,同样按照本地数据的写操作顺序,通过NBD协议将写请求及相应的数据副本发送到容灾中心,完成生产中心向容灾中心数据的更新。 更重要的是,运行于实际的系统并不总是和理想的设计相吻合。测试中发现,在实际运行过程中,远程复制系统由于读写压力大会出现一些在设计过程中不曾想到或者忽略的问题,这些问题对于一个要求稳定运行的实际系统至关重要。本文将对在系统测试过程中发现的问题详细讨论,并给出相应的性能优化方案。其中包括整个系统的内存分配策略、由于线程调度引起的资源分配不均匀问题、非地址对齐的小写对整个复制系统的影响以及异步复制系统缓冲区满等待策略和采用日志策略的区别和取舍。通过详细的测试方案,我们对整个系统进行了高速局域网和广域网上多方位的大压力测试。发现系统运行稳定,效能良好。
其他文献
鲁棒性主成分分析是从受到稀疏噪声干扰的数据中恢复低秩数据实现数据降维的有效方法之一,它在恢复受到稀疏噪声干扰的低秩数据时所表现出的鲁棒性使其受到越来越多的关注并
随着各种通信技术从平行、独立地发展,逐步走向融合,如移动通信技术与IP网络的融合;电信网、电视网、计算机网、卫星通信网络走向融合,形成了新一代技术--M2M技术,以实现人与人(Ma
移动CSCW以其在任何时间任何地点都可工作的工作模式迅速引起关注并快速的发展。特别近几年来,无线通信技术和移动计算技术的发展,尤其3G(第三代数字通信技术,3rd Generation
随着计算机系统的广泛应用和Internet技术的飞速发展,现代企业的运营对于信息技术的依赖程度日益增强,特别是,各类数据已经成为企业正常运作的重要基础。数据容灾在这种大背
随着计算机、网络、以及多媒体技术的迅猛发展,图像处理技术的研究与应用尤其是音视频编解码技术引起了更广泛的关注。同时,嵌入式系统继计算机网络技术之后成为IT领域又一个
中文分词技术属于自然语言处理技术范畴,它是中文信息处理中的一个重要环节,是中文语言理解、文献检索、机械翻译以及语言合成系统中最基本的一部分。对于中文搜索引擎而言,
随着医疗信息化进程的不断发展,健康数据资料日益累积,传统医疗健康行业逐步迈入大数据时代。对健康大数据进行分析处理,不仅可以提供疾病预测、辅助诊断、决策支持,还能实现
近年来,物流产业飞速发展,更有效的配置物流资源以及更合理的个性化服务是提高物流产业竞争力的关键因素。这样首先要解决数据异构问题,然后针对不同的需求匹配相应的服务,达
移动Ad hoc网络是一种不依赖与固定设施的、自组织的无线网络,其组网方便、快捷,不受时间和空间的限制,既可应用于救援、会议、战场、探险或危险环境中的目标监控等场合,又可用于
大量计算机应用对于存储规模和性能的迫切要求导致基于商业化部件的存储集群系统产生和发展。存储集群将每个存储设备作为一个存储节点,所有的节点通过高速互联网络连接起来