论文部分内容阅读
随着互联网的迅猛发展以及网络带宽逐年的扩容,使人们在网络上能做的事情不仅仅是文字信息,还有观看消耗大量带宽的视频数据,这些变化使在线收看视频甚至是高清视频成为现实,这是一件很有历史性突破的事情,因为随着互联网技术的各方面发展,网络视频开始逐渐渗透了传统电视这一天然地位,人们通过网络视频来观看视频,已经成为一个重要的选择。随着越来越多的用户的目光聚焦于互联网信息,互联网信息中的视频信息已经成为用户关注的非常重要的一部分。因此,想要了解用户喜爱何种网络视频,特别是对做网络视频的互联网企业,对网络视频信息进行快速收集是很重要的。在网络中,人们可以观看的视频,有很多的选择,人们在获取视频信息时,如何很快的获取到,这是一个非常重要的学术课题。针对上述问题,本文主要设计了一个基于视频元数据的爬取平台,用于获取全国各大视频网站的信息。本文的主要工作内容包括:一:本课题采用基于视频元数据的方式,设计出了一个网络视频爬取平台,通过对相关视频的元数据信息进行分析,从而制定出爬取网络视频数据的配置文件,爬取程序根据相应的配置文件对网络视频数据进行解析,返回粗糙的视频数据集,然后通过对解析之后的视频数据根据一定的规则进行清洗,之后通过视频数据的类型,进一步使爬虫爬取的网络视频数据分解开来,最后对所有的已处理数据进行入库操作,最终目的是实现对视频元数据信息的树枝型的持久化操作。二:为了保障网络视频爬取平台中信息的安全性以及可靠性,网络视频爬取平台通过构建一个基于角色的访问控制权限管理模型策略,对平台的安全性通过多个不同的层次进行分析,最终提出平台的安全策略,使平台不仅有很好的数据的机密性能而且平台的安全可控性能也得到了很好的保证。针对平台建设中用户密码等重要数据的安全问题,采用MD5算法对重要数据进行加密保证数据存储的安全,采用RSA加密算法保证数据传输的安全。