基于Hadoop的数字图书馆构建研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:gaoxiaoyu123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数字图书馆的出现给人们生活带来了极大的改善,它将图书信息进行数字化存储于计算机中,通过计算机网络进行传播,使得图书信息资源共享,这在人们的各个生活领域都起到了非常重要的作用。经过十年左右,数字图书馆的建设工作取得了一定的成就,在一定程度上满足了人们个性化、知识化的文献信息需求,它使得信息存储空间大大缩小、信息检索更加方便,达到了信息远程传播、信息共享的目的。随着计算机网络、互联网、信息数字化、信息存储技术的快速发展,信息资源与日俱增,越来越多的信息被存储下来,然而随着数字图书信息的剧增,数字图书馆在存储、检索、安全、系统维护等方面出现了一系列问题,这导致了数字图书馆的发展出现了瓶颈。本文分析了数字图书馆出现的一些问题,对云计算体系架构进行了深入的研究,提出了一种基于Hadoop的数字图书馆的构建思想。Hadoop是云计算的开源实现框架, Google公司提出了GFS和Mapreduce编程思想,这极大的改善了Google公司处理海量数据信息。针对Google公司的GFS和Mapreduce, Apache开源组织开发了一个分布式计算开源框架一—Hadoop,本质上是Google公司Mapreduce的Java实现,它让程序自动分布到一个由普通机器组成的超大集群上并发执行。本文对Hadoop体系结构进行了深入的研究,分析了Hadoop的实现机制。在此基础上,设计了基于Hadoop的数字图书馆系统,并对其中的一些主要功能模块进行了实现,在本文的最后详细介绍了Hadoop的实验环境构建,并对Hadoop处理大规模数据进行了分析。
其他文献
[目的/意义]在基于社会网络的用户画像研究中,针对传统用户建模难以处理复杂网络关系,群体构建多基于内容,以及群体相似度低或紧密性差的问题,提出基于网络结构和文本内容的
本文是利用数据驱动思想对国家数字复合出版系统工程安全体系构建进行的前瞻性研究,目的是探索数字复合出版系统工程安全体系构建方法,并期望能够对未来国家数字复合出版系统工
传统意义上,书目关系被理解为书目记录间的关系,然而书目记录的细粒度往往较大,不能满足网络环境下用户准确、高效、清晰的信息需求,同时不利于信息资源在结构上的序化与内容上的
在如今的社会文明发展进程当中,信息公开在促进社会民主和法治方面发挥的作用已经愈来愈重要,各类信息的公开程度已经成为各个国家信息化程度的一个重要标志。同时,信息公开作为
本文主要介绍江苏联通利用智能光纤系统实现线路故障的自诊断及智能调度,借助告警触发、自动探测、告警采集、拓扑关联、机器人调度等自动化、智能化手段,最终提高线路故障定
传统叙词表相关关系的构建多依赖于专业人员和编表人员的经验积累和领域专家的人工鉴别,而人的主观性容易造成相关关系不能全面揭示,这种情况的出现很大程度上由传统叙词表所处
文献资源共建共享是为解决图书馆有限的文献资源难以满足用户需求这一矛盾而采取的一种措施,各个国家根据自身现状分别建立了不同形式的共享网络。在我国,经过不断的摸索和实践
互联网的快速普及为社会发展提供不可或缺的媒介,网络正日益成为公众参与社会生活的主要场所。网民规模尤其是手机网民呈指数级增长,网络正成为人人共同拥有的信息平台,成为人人
随着Internet和信息技术的飞速发展,以及科研工作者对信息流通快速、高效的要求越来越强烈,图书馆的资源结构发生了很大变化。从20世纪末开始,大量的电子资源以不同的方式和途径
随着互联网用户规模快速扩大,网络不良信息泛滥,国家相关部委对此高度重视,要求基础电信运营商主动清理网上不良信息或链接.本文论述了互联网不良信息监控平台的系统架构、主