网络内存服务系统及关键技术研究

来源 :中国科学院计算技术研究所 | 被引量 : 0次 | 上传用户:cxcqjf
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
传统计算机系统的CPU、内存、磁盘等各种资源紧密耦合在一起。由于系统资源固定,无法适应具有不同资源需求的应用,从而带来了若干问题,例如资源不匹配、频繁进行系统升级、资源共享困难等。 本文在机群系统及局域网环境下对内存资源进行虚拟化和网格化,实现了对内存资源的按需计算。研究了网络内存的若干问题,包括基于两级服务结构的网络内存系统NMS的设计,重点研究了主动内存机制、预取机制以及二级缓存管理策略。 (1)提出并实现了基于两级服务结构的网络内存系统NMS(Network Memory Service)。NMS采用服务机制对网络内存资源进行虚拟化和网格化,实现了动态内存资源管理,提高了网络内存资源的利用率。另外对系统的延迟、带宽、可扩展性等指标进行了测试,并采用多个应用对系统进行了性能评价。 (2)针对传统网络内存系统未发掘内存服务器计算能力的缺点,提出了主动内存思想,给出了网络内存应用模式下的主动内存计算模型AMC(Active Memory Computing)。通过和传统网络内存应用模式对比,验证了主动内存机制的有效性。在给出的矩阵转置的实验中,主动内存和网络内存交换、网络内存映射两种传统模式的最大加速比可达到5.5、2.6。在桶排序应用的实验中,主动内存和网络内存交换、网络内存映射两种传统模式的最大加速比可达到4.0、3.8。 (3)研究了网络内存上的预取算法。基于Markov链统计学方法,在ppm算法的基础上提出了两种改进的预取算法ppm-s和m-ppm。ppm-s在ppm算法中结合了顺序预取算法,使ppm-s同时具有ppm和顺序预取算法的优点。在给出的实验中,ppm-s比顺序预取和ppm有不同程度的命中率提升,最高约10C。 针对多进程、多线程等多访问流复杂访问模式,提出了一种多马尔可夫链预取算法m-ppm。m-ppm采用分治思想,首先采用[Last-Stride算法识别出多个单一流,并对每个流采用ppm-s算法进行预取。在针对混合类应用的实验中,m-ppm具有最高的缓存命中率。m-ppm比顺序预取算法seq-n最多可高出28﹪,比ppm最多可高出42﹪,比ppm-s最多可高出约39﹪,充分体现了m-ppm算法的有效性。 (4)研究了二级缓存应用模式下的缓存策略。基于LIRS算法并对其存在的缺点进行改进,提出了一种自适应缓存管理算法LIRS-A。算法可根据不同访问模式自适应调整,避免了LIRS算法存在的对某些适合时间局部性访问模式性能差的情况。针对网络流分析数据库的Groupby查询中命中率最多可提高31.2﹪;针对TPC-H查询命中率最多可提高7.2﹪。
其他文献
随着计算机网络的发展和普及,网络安全问题受到越来越多的关注。入侵检测作为一种主动的信息系统安全保障措施,有效地弥补了传统安全防护技术的缺陷,是安全防御体系的一个重要组
学位
目前,网络安全事件层出不穷,网络安全已经成为人们日益关注的焦点。如何对网络进行全面评估,及时修补网络系统安全漏洞,最大限度地降低系统安全风险程度,已成为网络安全领域一个重
学位
本文主要内容如下:第一章介绍了机器视觉的基本概念、组成和市场应用前景;第二章介绍了印刷质量检测的具体需求,国内外研究现状,以及机器视觉成象系统和光源系统的基本概念和
随着国家法制化建设的稳步推进,司法公开化的体制已经逐步形成,裁判文书作为司法诉讼结果的记录载体,已经在网络上全面依法公开。同时随着自然语言处理技术的发展,其与大数据
网络安全问题日益突出,如何检测并阻止网络攻击成为一个重要课题。传统基于特征的检测方法难以检测新出现的攻击或现有攻击的变种。另外随着加密协议的广泛应用,传统方法也难以
机器人足球比赛是近年来在国际上迅速开展起来的高技术对抗活动。它是人工智能领域与机器人领域的基础研究课题,是一个极富挑战性的高技术密集型项目。本文以足球机器人系统的
入侵检测系统是安全体系结构中的重要环节,是对入侵进行预防、检测与响应的基础。近年来,随着网络数据流量不断增大,传统的基于人工建模的入侵检测技术已经越来越无法适应新的网
得益于互联网的深入普及和移动计算的崛起,云计算技术迎来了一个飞速发展的机会,云应用作为云计算技术在应用层的一种重要体现形式,正在被越来越多的应用服务提供商所采用。云应
协同商务是近年来企业信息化的新热点,研究开发一个适用于企业协同商务应用的信息平台至关重要。本课题以此作为目标,从协同商务平台的需求特点出发,通过参阅相关文献,研究了P2P
测试用例选择是软件测试中的关键问题之一。目前,测试用例选择在并发软件测试方面鲜有涉及,并发软件测试方法往往只针对给定的多线程并发程序和输入数据进行测试,而不关心测试输