论文部分内容阅读
摘 要：合作缓存机制是近几年研发形成的一种信息技术，它在提高群体系统整体性能上有着重要的意义，在高速网络利用、节点缓存、合作管理与信息访问方面的意义突出，能有效的提高缓存命中率、优化合作缓存技术的应用，而且能优化原来工作中没有考虑到的高效用户机制，并且在工作中提出了有关通信、缓存新体制。本文从合作缓存技术的概念和特点入手，深入分析了这一技术应用的科学性、一致性、高效性和可扩展性。
关键词：合作缓存；通信技术；用户层通信
群体系统的缓存机制研究是目前信息领域工作人员探讨最多的问题之一，经常都是从并行、群体的文件系统、分布式数据库以及群体应用系统共同进行研究的，是利用群体缓存机制来提高整体性，这种方法的应用可谓是一个行之有效且广泛采用的。随着信息技术、网络技术和互联网技术的飞速发展，这一技术的应用得到了大大提高，而且其内存的速度与原来的磁盘相比较更加明显，这也使得合作缓存技术成为可能，为整个信息事业发展做出了重大贡献。
一、合作缓存概述
合作缓存技术是一个以群体系统的信息整体性为基础的研究内容，它在提高信息整体性、运输效率方面有着重要的意义。合作缓存技术是根据网络各节点的缓存访问和合作管理为基础，以提高缓存命中率为前提，但是其在合作缓存中并没有充分的考虑到应用效率和应用机制的特点，是将整个工作层同合作缓存技术相融合，从而达到了一个群系统、缓存层一体化管理模式。
在目前的社会发展中，合作缓存层技术的应用是充分利用用户通信特点为基础，以协议精简、零拷贝、虚拟内存映射等新技术为指导，是以将缓存与节点相融合，以减少群体性应用程序为主要模式的管理控制机制。随着社会经济的发展，这一技术在目前的研究中越来越深入，已成为信息领域的研究焦点，并且随着并行、集群式、分布式文件的出现和利用，它已经广泛的应用在各种群体系统中，成为提高方位效果、信息性能的重要手段。伴随着网络技术的发展，高速网络的访问使得原来的内存速速比磁盘更加明显，而且在应用上效果更突出。
二、缓存技术表现形式
随着网络技术的进一步发展，高速的网络系统使得访问远程操作成为可能，其也对磁盘提出了更加严格的要求，这也为缓存技术的应用提供了帮助，使得逐渐形成了缓存系统。但是伴随着各种改进版的逐渐出现，这也研究领域和合作缓存得到了一致的发展，并且形成了新的缓存方式。目前我们常说的缓存技术主要是以合作缓存、统一缓存两种不同的形式表现出来的，这两种表现形式是具体如下：
1、合作缓存
所谓的合作缓存主要指的是以快速的网络通信技术为指导，通过提高网络通信模式和手段来降低和网络工作效率，这样大大的环节了网络运输缺失情况，也为网络数据传输质量的提升打下了坚实的理论基础。根据近几年的研究得出，合作缓存技术的应用是以线索利用为其那提，以高效定位为核心的缓存技术，这种计算方法的研究主要是以缓存群体中的定位、管理、叫替换策略为主的，但是由于没有涉及到任何的用户通信技术特性，整个网络缓存上还存在着一定的差距。
2. 2 统一缓存
根据近年来的工作实践情况进行分析，在当前的统一缓存研究中，缓存技术主要是以用户通信层为基础表现得，具体如下：
（ 1）在加载完驱动后，通信过程将不再需要其参与，而是由用户层的通信库直接负责消息收发。一般是通过DMA 方式直接由发送进程的DMA内存向网卡传输数据，接收流程则正好相反。
（ 2）在很多用户层通信协议中，低层硬件支持虚拟内存映射通信（ VMMC）——就是在消息发送与接收方之间实现了双方进程通信内存的直接远程访问，这一技术的主要目的是减少通信程序的消息处理开销（尤其是接收方）。整个工作结构如下图：
了统一缓存的TODS 系统是一个面向对象的集群存储平台。CCM 是运行在客户端上的统一缓存通信管理模块，向应用程序提供缓存接口，管理本地的缓存替换，并负责处理其他结点的远程缓存访问请求。而CMM
是运行在服务器上的缓存协调模块，维护数据缓存块与CCM 的映射，并处理或转发CCM 的数据请求。
详细的集群统一缓存的通信内存与缓存相融合的示意图如图 2 所示（ 图右边是传统的合作缓存）。为简化起见，图2 中只给出了接收数据时的操作。可以看出，统一缓存通过将缓存与通信的合一，减少了数据拷贝与操作调用的次数，简化了用户程序的实现。
综上所述，统一缓存与传统的合作缓存在基本设计思想上存在两点不同：①前者实质上也可称为“带通信的缓存”，向上层提供的接口仍是典型的缓存接口。但因其将用户层的通信内存作为结点缓存，这样当缓存不命中的时候，可以直接通过网络方式取得数据。而所谓取得数据就是将数据接收于通信内存，即直接写入结点缓存。而不像后者，缓存与通信是截然分开的，这就必然增加数据拷贝与应用程序的复杂性，同时使得消耗的系统资源增多。类似地，缓存数据发送操作也简单了——因其本身就在通信内存中，就减少了不同模块间的调用与拷贝。②传统的合作缓存还是以显式的消息通信来进行集群缓存的一致性维护、管理与访问的。而统一缓存则利用 VMMC 机制，直接将各个结点上的缓存（也即通信内存）开放出来，以便相互间以类似远程内存访问的形式进行读写。
3、性能评价
TODS 是我们自行开发的一种新的面向结构化数据的 Internet 服务存储平台，其提供了基于集群系统的分布式数据对象读写、分布式事务操作与查询操作等功能；该体系基于层次式结构，提供了多种可复用的存储功能模块。其融合了文件系统与数据库技术的特点，在系统的可扩展性、可用性与对结构数据的支持上，均较符合Internet 应用的特点。目前已基本完成原型开发，除去底层的存储代码外均由Java实现。
4、结束语
当前这一机制的实现也存在问题：TODS 中处理的主要是小数据对象，因此统一缓存中变长的缓存块分配机制能够适用于这一情况；但面对大数据应用，就无法将对象全部装入内存，这就必须引入新的内存分配算法，如用类似于数据库缓存的页分配机制来解决此问题。
参考文献
[1] 李文中，陈道蓄，陆桑璐. 分布式缓存系统中一种优化缓存部署的图算法[J]. 软件学报. 2010（07）
[2] 薛瑞尼，张悠慧，陈文光，郑纬民. 面向集群的消息传递并行程序容错系统[J]. 清华大学学报（自然科学版）. 2006（01）
[3] 张悠慧，郑纬民. 一种新的网络对象存储设备研究[J]. 电子学报. 2003（05）
[4] 杨玉海，宾雪莲，郑玉墙. 合作式Web缓存系统的性能分析[J]. 计算机研究与发展. 2003（05）
关键词：合作缓存；通信技术；用户层通信
群体系统的缓存机制研究是目前信息领域工作人员探讨最多的问题之一，经常都是从并行、群体的文件系统、分布式数据库以及群体应用系统共同进行研究的，是利用群体缓存机制来提高整体性，这种方法的应用可谓是一个行之有效且广泛采用的。随着信息技术、网络技术和互联网技术的飞速发展，这一技术的应用得到了大大提高，而且其内存的速度与原来的磁盘相比较更加明显，这也使得合作缓存技术成为可能，为整个信息事业发展做出了重大贡献。
一、合作缓存概述
合作缓存技术是一个以群体系统的信息整体性为基础的研究内容，它在提高信息整体性、运输效率方面有着重要的意义。合作缓存技术是根据网络各节点的缓存访问和合作管理为基础，以提高缓存命中率为前提，但是其在合作缓存中并没有充分的考虑到应用效率和应用机制的特点，是将整个工作层同合作缓存技术相融合，从而达到了一个群系统、缓存层一体化管理模式。
在目前的社会发展中，合作缓存层技术的应用是充分利用用户通信特点为基础，以协议精简、零拷贝、虚拟内存映射等新技术为指导，是以将缓存与节点相融合，以减少群体性应用程序为主要模式的管理控制机制。随着社会经济的发展，这一技术在目前的研究中越来越深入，已成为信息领域的研究焦点，并且随着并行、集群式、分布式文件的出现和利用，它已经广泛的应用在各种群体系统中，成为提高方位效果、信息性能的重要手段。伴随着网络技术的发展，高速网络的访问使得原来的内存速速比磁盘更加明显，而且在应用上效果更突出。
二、缓存技术表现形式
随着网络技术的进一步发展，高速的网络系统使得访问远程操作成为可能，其也对磁盘提出了更加严格的要求，这也为缓存技术的应用提供了帮助，使得逐渐形成了缓存系统。但是伴随着各种改进版的逐渐出现，这也研究领域和合作缓存得到了一致的发展，并且形成了新的缓存方式。目前我们常说的缓存技术主要是以合作缓存、统一缓存两种不同的形式表现出来的，这两种表现形式是具体如下：
1、合作缓存
所谓的合作缓存主要指的是以快速的网络通信技术为指导，通过提高网络通信模式和手段来降低和网络工作效率，这样大大的环节了网络运输缺失情况，也为网络数据传输质量的提升打下了坚实的理论基础。根据近几年的研究得出，合作缓存技术的应用是以线索利用为其那提，以高效定位为核心的缓存技术，这种计算方法的研究主要是以缓存群体中的定位、管理、叫替换策略为主的，但是由于没有涉及到任何的用户通信技术特性，整个网络缓存上还存在着一定的差距。
2. 2 统一缓存
根据近年来的工作实践情况进行分析，在当前的统一缓存研究中，缓存技术主要是以用户通信层为基础表现得，具体如下：
（ 1）在加载完驱动后，通信过程将不再需要其参与，而是由用户层的通信库直接负责消息收发。一般是通过DMA 方式直接由发送进程的DMA内存向网卡传输数据，接收流程则正好相反。
（ 2）在很多用户层通信协议中，低层硬件支持虚拟内存映射通信（ VMMC）——就是在消息发送与接收方之间实现了双方进程通信内存的直接远程访问，这一技术的主要目的是减少通信程序的消息处理开销（尤其是接收方）。整个工作结构如下图：
了统一缓存的TODS 系统是一个面向对象的集群存储平台。CCM 是运行在客户端上的统一缓存通信管理模块，向应用程序提供缓存接口，管理本地的缓存替换，并负责处理其他结点的远程缓存访问请求。而CMM
是运行在服务器上的缓存协调模块，维护数据缓存块与CCM 的映射，并处理或转发CCM 的数据请求。
详细的集群统一缓存的通信内存与缓存相融合的示意图如图 2 所示（ 图右边是传统的合作缓存）。为简化起见，图2 中只给出了接收数据时的操作。可以看出，统一缓存通过将缓存与通信的合一，减少了数据拷贝与操作调用的次数，简化了用户程序的实现。
综上所述，统一缓存与传统的合作缓存在基本设计思想上存在两点不同：①前者实质上也可称为“带通信的缓存”，向上层提供的接口仍是典型的缓存接口。但因其将用户层的通信内存作为结点缓存，这样当缓存不命中的时候，可以直接通过网络方式取得数据。而所谓取得数据就是将数据接收于通信内存，即直接写入结点缓存。而不像后者，缓存与通信是截然分开的，这就必然增加数据拷贝与应用程序的复杂性，同时使得消耗的系统资源增多。类似地，缓存数据发送操作也简单了——因其本身就在通信内存中，就减少了不同模块间的调用与拷贝。②传统的合作缓存还是以显式的消息通信来进行集群缓存的一致性维护、管理与访问的。而统一缓存则利用 VMMC 机制，直接将各个结点上的缓存（也即通信内存）开放出来，以便相互间以类似远程内存访问的形式进行读写。
3、性能评价
TODS 是我们自行开发的一种新的面向结构化数据的 Internet 服务存储平台，其提供了基于集群系统的分布式数据对象读写、分布式事务操作与查询操作等功能；该体系基于层次式结构，提供了多种可复用的存储功能模块。其融合了文件系统与数据库技术的特点，在系统的可扩展性、可用性与对结构数据的支持上，均较符合Internet 应用的特点。目前已基本完成原型开发，除去底层的存储代码外均由Java实现。
4、结束语
当前这一机制的实现也存在问题：TODS 中处理的主要是小数据对象，因此统一缓存中变长的缓存块分配机制能够适用于这一情况；但面对大数据应用，就无法将对象全部装入内存，这就必须引入新的内存分配算法，如用类似于数据库缓存的页分配机制来解决此问题。
参考文献
[1] 李文中，陈道蓄，陆桑璐. 分布式缓存系统中一种优化缓存部署的图算法[J]. 软件学报. 2010（07）
[2] 薛瑞尼，张悠慧，陈文光，郑纬民. 面向集群的消息传递并行程序容错系统[J]. 清华大学学报（自然科学版）. 2006（01）
[3] 张悠慧，郑纬民. 一种新的网络对象存储设备研究[J]. 电子学报. 2003（05）
[4] 杨玉海，宾雪莲，郑玉墙. 合作式Web缓存系统的性能分析[J]. 计算机研究与发展. 2003（05）