面向海量邮件存储的分布式文件系统研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:chinaiddm599
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网技术的迅猛发展和网络用户相互交流的迫切需要,电子邮件日益成为人们办公和沟通的重要途径,它的数据规模也呈飞速膨胀的趋势。传统的文件系统很难满足海量数据存储和读取的性能要求,而现有的分布式文件系统并没有对海量邮件存储提供很好的支持,本文正是在这种前提下,对面向海量邮件存储的分布式文件系统进行了研究。分布式文件系统主要是利用网络将多台机器构成一个虚拟的文件系统。本文主要研究并实现了一个面向海量邮件存储的分布式文件系统,它除具有很强的容错性、可用性和可扩展性之外,还必须具有很高的I/O性能。针对邮件来源的特殊性,系统必须支持多种数据源的直接写入。为此,本文重点研究了如下问题并依此实现了本系统:首先,本文根据项目对文件系统的的需求,在合理分析了已有的分布式架构的基础上,设计出本分布式文件系统的架构。根据架构,设计并实现了系统的各个组成部分。其次,在开始设计分布式文件系统的内部写入和读出算法时,引入读写锁和租约。在读出和写入数据的过程中,研究系统的不同组成部分的多策略的负载平衡。把块副本冗余作为系统核心的容错方式,设计出系统中的每个组成部分的容错方案。再次,针对邮件来源的不同,有一般的数据源FTP,HTTP,FILE,也有专门的邮件源SMTP,IMAP和POP3,研究多数据源的公共接口并实现了公共接口的分布式文件系统写入。为了增强系统的I/O性能和数据完整性,在存储的文件格式中加入压缩和同步信息。最后,对分布式文件系统进行I/O性能测试。在机器数量有限的情况下,为了使现有系统的I/O性能的测试结果,在更大规模的机群上也成立,提出了速度稳定性测试。写入速度的测试结果高于20MB/s,而读出速度测试则约为40MB/s,这个测试结果也证明了此系统具有很高的I/O性能。
其他文献
随着互联网的不断发展,网络所承载的业务类型不断增加,并呈现复杂化趋势。在网络安全方面也由传统的基于网络层的控制方式转变为面向业务流的控制方式。网络承载业务类型的快
无线传感器网络应用中,QOS保证是一个关键问题。有效评估查询质量是查询优化的必要前提。大部分技术主要以能量有效性作为查询优化评价指标,导致用户的查询请求不能得到很好
随着多媒体技术和互联网技术的蓬勃发展,图像已成为日常生活中的一种重要信息载体。面对日益增长的大规模图像数据,用户很难在其中找到其真正需要的图像,从而各种各样的图像分类
主动网络是网络发展过程中出现的一门最新的技术,是下一代网络体系结构的理想解决方案。主动网络中传输的分组被称为主动分组,主动分组不仅带有数据信息和分组头部信息,而且
图像修复是图像复原研究中的一个重要内容,也是当前图像处理和计算机视觉领域中的一个研究热点。图像修复是对图像上信息缺损区域进行信息填充的过程,其目的是恢复有信息缺损
嵌入式系统在许多领域飞速发展,各种嵌入式产品已产生巨大的经济效益,引起了国内外研究的热潮。嵌入式微控制器是嵌入式系统的核心,8/16位微控制器在运行速度、寻址能力和功
说话人识别技术因其自身独特的方便性、经济性、准确性和可扩展性等优点,在生物特征识别领域中具有广阔的应用前景。尽管在实验室环境下,说话人识别系统已经取得了比较令人满
随着网络信息化技术的发展,互联网由于其快速和跨地域等特点,受到了人们的青睐,网络信息的有效传播与交流为企业的发展提供了种种机遇和广阔的发展空间。各行各业都在进行信息化
网络安全管理中心SOC,是面向大型企业的安全综合管理、协助用户实现安全组织管理、安全运作管理和安全技术框架的中心枢纽。基于SOC分层防护骨干网中的重要网络设备,重点保护
三维重建是计算机图形学的重要分支,有着广泛的应用。随着虚拟现实技术、计算机图形学和多媒体技术在各个领域的广泛应用,人们越来越多的关注对高度真实感三维模型建模与绘制