论文部分内容阅读
农业科技成果除了文字、图片等静态展示形式,视频这一动态显示方式日益成为首要选择。目前农业科技成果视频存储在不同的机构和单位,大多数农业视频管理平台仍然采用传统的数据库架构存储和管理的方式,检索效率低,无法保证视频文件的安全访问,限制了农业科技成果的共享传播。鉴于此,本论文研究了农业科技成果视频云存储体系架构、文件存储方法和检索方法,提出了基于角色-权限和基于身份的双重安全访问策略,在此基础上研究了农业科技成果视频云存储原型系统。主要成果如下:(1)提出了视频文件的混合分布式云存储体系架构。对农业科技成果视频分布式存储模式进行了探讨,首先分析了分布式文件系统存储特性和常见的分布式文件系统的存储工作模式,并在此基础上提出了混合分布式文件系统的存储模式,分析了其体系架构并制定相应的存储方法,包括大文件分块、基于阈值的小文件合并、基于文件访问频率的动态多副本备份,为后续工作奠定了理论基础。(2)构建了混合分布式云存储节点状态监测模型。主要对农业科技成果视频存储监测模型存储节点状态信息收集模块、节点状态信息传输模块、节点状态信息处理模块进行了介绍,其中针对存储节点状态信息收集,分析了节点状态信息的类型以及获取方法,包括CPU使用率,内存使用率和磁盘I/O使用率;分析了 HDFS、Ceph的心跳监测方法,并通过优化存储节点的心跳协议来进行节点状态信息的传输;在此基础上,对位于虚拟调度层的存储节点信息处理方法进行了分析,提出了节点存储性能的计算方法。(3)提出了视频文件云存储检索方法。该方法首先对每个视频文件进行唯一标识,构建相应的索引文件,然后基于农业科技成果视频混合分布式云存储体系架构中所构建的HDFS分布式文件系统,通过MapReduce并行计算框架来实现依据关键词的农业科技成果视频全文检索,结果显示,基于MapReduce框架的视频文件云存储检索执行时间平均在6.75秒。(4)构建了农业科技成果视频云存储安全访问策略。首先比较和分析了三种多租户的数据隔离架构的特点、数据隔离程度、数据共享、资源使用率、成本和安全性,并在此技术上提出了基于角色-权限的四级安全策略将农业科技成果视频进行权限设定,并对每类用户授予一定的角色从而获取相应的访问权限,简化了授权管理的复杂性。提出了基于身份的多重安全认证机制,以用户身份的唯一标识符作为公钥,通过身份认证后才给用户分配相应的资源。(5)研究并设计了农业科技成果视频云存储原型系统。结合农业科技成果存储需求,探讨了农业科技成果视频云存储平台的应用模式。根据农业科技成果视频存储应用的需求,制定了平台的部署方案设计原则,并介绍了具体的部署方案。最后,通过实际试用,验证研究成果具有可行性和实用性。