【摘 要】
:
分布式共享存储技术是当今计算机并行技术的主要发展方向之一,在服务器集群、人工智能以及搜索引擎等技术中都有很广阔的应用前景,特别是在搜索引擎方向,近年来有很多理论和
论文部分内容阅读
分布式共享存储技术是当今计算机并行技术的主要发展方向之一,在服务器集群、人工智能以及搜索引擎等技术中都有很广阔的应用前景,特别是在搜索引擎方向,近年来有很多理论和技术的新突破。近期研究的面向领域的智能中文搜索引擎课题,其核心算法需要处理高维矩阵。但是单一服务器的存储空间有限而无法对其进行有效地读写。于是,本文结合分布式共享存储技术与智能中文搜索引擎的技术特点,提出了基于面向领域的智能中文搜索引擎的分布式共享存储方案——nDSM系统(nutch Distributed Shared Memory System),为搜索引擎提供一个大容量的和高效的虚拟存储空间和安全可靠的存储服务。本文重点介绍了nDSM系统的设计思想和体系结构。着眼于业务需求,nDSM系统的设计理念是实现一个易操作的和易扩充的分布式共享存储系统,具体说就是将搜索引擎针对网页相关矩阵的多线程读写操作建立在统一的共享虚拟内存中,这个共享虚拟内存是由nDSM的接口服务器和次服务器组,在满足Cache一致性、存储一致性和服务器负载平衡策略的基础上共同实现的。从功能上看nDSM系统相对于搜索引擎其它部分是透明的,并且由于具备一定的本地管理功能而和搜索引擎其它模块之间呈现一定的松耦合性。通过对面向领域的智能中文搜索引擎的分布存储系统的功能评估和性能分析,表明该系统理论上具有稳定的性能,可以满足搜索引擎的核心算法对高维矩阵的运算需求。
其他文献
随着我国民航事业的飞速发展和飞行量的不断增加,航管信息化系统扮演着越来越重要的角色,然而却面临着业务计算机系统不断发展而业务管理跟不上的问题,在保障安全、改善服务、提
随着时代的发展,Internet逐渐成为人们生活不可缺少的一部分。但是传统的基于TCP/IP协议的网络面临着许多挑战,这些挑战集中体现在对网络异构性、服务质量、移动性、扩展性和
分布式信息融合是信息融合研究的主要内容之一,是C4ISR系统的核心技术。分布式信息融合系统不但能够充分发挥网络优势,有效地利用信息资源,为信息使用者提供及时、准确的情报,而
随着联机分析处理OLAP(Online Analytical Processing)技术的发展与成熟,它的应用也越来越广泛,基本上每个企业应用程序都有稳定的数据支持。如今高级语言都是面向对象的,但
数字水印技术应用于数字多媒体信息的版权保护中,可以很好的解决网络数字多媒体信息的安全问题。另一方面,任何数字水印算法必须和水印应用协议结合使用才能起到版权保护的目的
随着网络规模的日益扩大,传统网络难以扩展的局限性日益明显。主动网络作为一种新型的中间节点可编程网络体系结构,为当前传统网络中所面临的标准化周期长和兼容性差等问题提
随着计算机技术和网络的发展,信息技术应用范围不断扩大,特别是在电子政务领域中取得了迅速的发展。为满足电子政务内网即时消息通知的需求,本文提出了呼叫系统实现消息的发
SSL (Secure Socket Layer,安全套接层)协议是用来保障网络通信安全的协议,它被广泛应用于服务器集群系统中,为客户端和服务器之间的通信提供安全的数据传输通道。但SSL协议
随着科技的发展和互联网的流行,数据流以及相关的应用正受到人们广泛的关注。在数据流环境下,很多情况下需要对其进行不同类型的复杂查询,而这一类查询往往对系统的实时性和准确
人工神经网络(以下简称神经网络)由于其突出的优点,例如高精确度、强鲁棒性、并行能力等,特别是具有较强的自学习能力,使得它在很多领域得到了广泛地应用。然而,神经网络的应