论文部分内容阅读
随着下一代广播电视网(the Next Generation Broadcasting network, NGB)建设进程的推进和三网融合业务的开展,开放业务平台上多样化的双向交互应用将广播电视网的终端用户从单一的数据被动接收者转变为数据生产者和消费者的双重身份,这就向NGB提出了数据存储需求。基于用户对数据方便、快捷、可靠共享方式的强烈需求,以及大部分广播电视网智能终端自身存储、计算资源有限的状况,采用高可扩展、按需分配的集中式存储资源池乃是符合信息产业技术发展趋势的低成本、高效率解决方案。在这一需求背景下,在NGB中建设适合自身网络特性的存储服务具有重要意义。另一方面,广播电视网数字化整体转换过程中形成的有服务器质量保证的高清视频类业务是广播电视网区别于互联网和宽带电信网的特色业务。与其他数据的共享需求不同,高清视频主要通过直播、点播和录播的方式欣赏,录制的大容量视频文件保存在高清媒体终端本地的存储设备中。由于存储设备普遍使用价格可接受、但访问性能提升逐渐趋于平缓的传统硬盘,不足以应付视频分辨率的几何式增长速度;加快高清视频录制播放时硬盘文件系统的并行读写速度,降低文件读写时处理器的使用率,保证用户欣赏时的流畅体验就显得尤为重要。针对这两方面的问题,本文的主要工作和创新点如下:1.利用广播电视网络下行带宽大、且可管理分配的优势,提出一种参考差分压缩的去重复传输优化策略。在该传输策略中,存储服务器根据客户端发送的分块摘要值在数据库中查找相似文件和相似分块,并将相似分块回复给客户端,客户端将相似分块与本地数据进行差分压缩编码后上传更少量的数据。通过将一部分数据量从低带宽的一端移到高带宽的一端,而又不显著增加总的传输量,参考差分的去重传输策略减少了数据传输的总时间,加快了数据同步的速度。2.提出一种Hash表与B+树相结合的目录索引结构HB-Index。使用Hash表索引的方式,可以在O(1)时间内找到文件名对应的索引节点;另外仅在目录文件中保存子文件的索引节点号,并由B+树组织这些子索引节点号,支持O(logdN)时间内文件的创建和删除。实测结果表明,HB-Index不仅能够快速地处理包含大量文件的单个文件夹,在分区内文件总数很大时,也有优越的全局性能。3.提出一种磁盘文件系统-Boaz,用于提升高清视频的快速连续读写速度。它将元数据与数据分区域存储,设置合适的最小分配单元,在保证大文件最低连续读写带宽和最大磁盘空间利用率的同时,降低了写文件时的元数据更新频率和CPU资源消耗。另外,基于预期文件大小的数据块预分配策略增加了文件元数据的连续性,降低磁盘的老化速度。在高清视频播放器上的测试结果表明,Boaz在顺序读写和并行访问大文件时,能够获得比现有磁盘文件系统更快的访问速度和更低的CPU利用率。本文针对几个关键问题提出的优化解决方法,或许可以为NGB中终端用户数据的存储研究起到砖引玉的作用,在进一步完善之后能够为NGB的示范建设进程提供一些实际可应用的技术。