论文部分内容阅读
广电行业电视台全台网络化、高清数字化已逐步普及。台内生产工作流程,包括演播室录制和播出、内容采集、后期编辑、文稿处理、总编室节目编排、数据存储和媒体生产管理等诸多环节对后端存储硬件和存储软件的高稳定性,高安全性,高带宽以及无缝海量空间扩展有着苛刻的要求。本论文针对上述问题,设计了满足广电行业和通用性的媒体共享文件系统。对实现文件系统的架构和具体细节进行了优化方案。对共享文件系统的主要技术环节做了深入的研究,并给出了具体实现细节。本论文具体研究了媒体文件系统体系架构,元数据的磁盘结构,元数据日志,目录元数据在多台MDS(元数据服务器)上的划分,MDS元数据一致性问题,元数据快照实现方案,带宽控制策略,以及针对性的数据缓存优化方案,网络优化方案等问题。本文通过元数据双日志设计方案和双节点数据索引方案,满足了电视台对数据的高可靠性需求。研究分布式集群文件系统元数据目录划分,设计层次目录HASH方案解决元数据目录分布问题,目录分布原则是尽量不要产生分布式操作关系,以提高元数据可扩展性。利用PAXOS算法实现分布式锁,解决集群中数据一致性的问题。研究电视台软件读写数据块特点优化磁盘数据块写入方式,设计元数据和数据缓存实现数据的高性能访问。设计私有网络协议提高网络数据传输带宽。设计全局带宽控制策略,使各客户端有效利用存储带宽资源。通过文件系统架构和各个模块细节的优化设计,满足了电视台对文件系统的严格要求。