如今,在互联网技术的催化下新媒体更趋向于视频化发展。视频更是以其携带丰富的信息在娱乐与学习中占据不可或缺的地位。视频需求量的增大,促使着越来越多的视频网站萌发。保证商业收益的同时,也带来了网站之间的竞争、资源无法共享等问题。大型网站通过购买版权吸引用户扩大日活量,而小型网站在无法丰富视频资源的情况下面临淘汰的风险。随着机器学习时代的兴起,视频领域的研究更是需要大量的视频数据,单纯靠人工获取数据集已经无法满足需求。除此之外,各大网站视频下载极不方便,即使下载后的视频也只能在特定的客户端上进行播放,而且视频处理的流程多,功能松散,很难成体系。考虑到以上问题,本文设计并实现视频处理平台。平台解决了视频批量获取、视频下载、视频去重、视频合并和用户交互等问题。首先,平台采用Scrapy-redis分布式爬虫技术、设计ip代理池解决反爬问题以及Scrapy中自带的选择器获取并解析视频信息;其次,平台在视频下载过程中针对每个网站分析出获取视频下载的真实地址并利用多线程下载视频提高下载速率,并支持对中断下载的视频进行断点续传。视频下载地址的获取和视频下载采用生产者/消费者模式,实现系统之间的解耦。然后,利用基于硬字幕和感知哈希的算法对视频去重,利用concat protocal协议对分段视频进行合并。最后,通过使用Vue.js+Django框架开发web平台,向用户展示爬虫获取的视频信息,同时为用户提供一个可以进行操作视频下载、视频合并、视频去重等视频处理操作的窗口,为用户提供了方便,此平台目前在企业正常运行。