在互联网技术和新媒体技术的推动下,视频产业呈现飞速发展的趋势,视频也成为了人们获取信息、休闲娱乐的主要方式之一。基于广大用户对视频资源的迫切需求,近年来涌现出了一大批视频网站,极大地丰富了用户获取视频资源的途径。对视频数据的分析研究,需要批量获取视频数据集,依靠人工收集的视频数据集很难满足项目需求。并且与网页数据相比,视频资源获取的难度更大,现有的爬虫技术无法实现视频数据的批量下载。针对以上问题,本文解决了视频下载地址解析、视频缓存策略调度、重复视频检测和分段视频合并等关键问题,设计并实现了一个能同时从多个网站自动获取视频数据的系统。在使用浏览器内核解析被隐藏和加密了的视频真实下载地址时,移除了系统不需要的相关模块以提高系统性能。与其他资源相比,视频一般都是大型文件,下载视频时对网络条件要求更高,并且对同一网络环境下的其他网络应用程序的影响更大,本文根据系统目前所处环境的网络条件动态调节视频下载策略,在取得较大下载速率的同时尽可能减小对其他应用以及视频服务器造成的影响。下载过程中设置合适的视频过滤策略避免下载重复视频。系统开发使用生产者/消费者模式实现子系统之间的解耦,提高了系统整体的稳定性和健壮性。本文先介绍了课题的研究背景与现状,然后详细描述了系统的设计与实现过程,并对系统进行了测试,表明系统能稳定、高效地运行,最后对论文工作进行分析和总结,指出了下一步的研究方向。