基于分布式的大规模视频转码系统的设计与实现

来源 :电子科技大学 | 被引量 : 4次 | 上传用户:YNiit562552379
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着手机、平板等移动智能设备的普遍使用,拍摄视频已经变得非常简单,加之无线网络覆盖范围越来越广以及视频服务平台的增多,观看视频、分享视频已成为人们日常生活中重要的娱乐活动,加上监控设备的普遍应用,每天会有大量的视频数据产生。满足在不同网络环境中传输或持不同终端设备播放视频的需求,往往需要对这些视频文件进行转码。传统的视频转码是集中式的,其储存能力和计算能力十分有限,且不能随着数据量的增大而动态增加,因此不适合对大量的视频数据进行处理。本文设计和实现了一个支持对大规模视频进行转码的分布式转码系统。本文首先详细介绍了Hadoop云平台的两个核心组成:分布式文件系统HDFS和MapReduce编程框架。重点讲解了HDFS的设计思想和读写过程,以及MapReduce的实现原理和运行过程,并简单分析了几个Hadoop常用的调度器。接着介绍了视频压缩和转码等视频处理的相关知识。在深入了解视频转码和Hadoop云平台的基础上,设计了一个支持大规模视频转码的分布式转码系统,给出了系统的组成,包括四个功能模块,服务模块,管理模块,转码模块,储存模块,然后对每个功能模块的设计和实现做了详细的说明。最后,本文利用Hadoop的HDFS进行视频储存,用MapReduce框架进行并行处理,并利用多媒体库Xuggler的视频处理功能,实现了系统的分布式视频转码功能。系统主要有Hadoop集群构成,可由普通的PC机搭建而成,其储存和计算的能力可以随着节点的增加而增加,动态适应日益增长的大规模视频数据的转码需求。文章最后先对系统做了初步的功能性测试,接着用几组不同大小的数据集测试了分布式转码系统的性能,重点测试和分析了系统总的转码时间。测试结果表明:系统在对大规模视频数据进行转码时,表现出良好的并行性,且随着Hadoop集群规模的扩大,大大地降低了系统总的转码时间。最后分析测试了几个HDFS的配置选项对系统转码性能的影响,当HDFS的block大小接近大部分视频本身大小,且block副本数为3的时候,系统获得更好的转码时间性能。
其他文献
肺癌是癌症中最常见的恶性肿瘤之一。数十年来,肺癌的发病率和死亡率都呈现明显的上升趋势。提高肺部疾病治疗效果的最有效途径是早期检测与诊断。目前,CT扫描是诊断肺部疾病
未来社会对视频监控系统的发展有着越来越紧迫的需求。随着嵌入式技术的出现、图像压缩技术的提高和网络传输技术的提升,现行的视频监控系统主要围绕嵌入式系统进行开发和部署
Java程序由于平台无关性得以在Internet上迅速发布,但同时Java程序也面临着两个严重的安全问题:第一,侵权使用。Java编译器将每一个类编译成一个单独的class文件,这一特点让
图像是人们获取信息的重要渠道。然而,在图像的获取、传输和存储过程中往往会因各种原因引入噪声。因此,如何改进这些图像的质量,就成为数字图像处理中的一个重要任务。本论文对
随着计算机科学技术、自动控制技术以及智能机器人技术的发展,各种各样的机器人出现在人类生活的各个领域。微小型无人飞行器就是其中的一种。目前无人机在人类生活中的应用
粗糙集理论是在上世纪八十年代由波兰数学家Pawlak提出的一种处理模糊和不确定问题的数学理论。它能够分析出隐藏在数据中的事实,而且不需要提供任何关于数据的附加信息。粗
当今社会城市的建设规模越来越大,科学技术的发展速度也越来越快,城市照明设施管理技术的发展在大城市,甚至是一些二线城市的建设中已经成为一项衡量城市发展的重要内容。加快城
在计算机技术与网络通信技术飞速发展的今天,政府机构、企事业单位、各种组织以及个人对计算机和网络的依赖变得越来越强,计算机与网络的应用已经渗透到政治、经济、社会、教育
解决现实世界中的许多问题会遇到两种类型的难度:1)多个相互冲突的目标;2) 高维复杂的搜索空间。就第一点而言,与单目标优化不同的是多个相互竞争目标的优化结果是得到一组可行
面对制造业全球化新形势,企业必须充分利用世界范围内资源,实现制造资源动态优化整合,以更快、更好、更省的方式响应市场。然而,传统的网络化制造缺乏必要的柔性和开放性,制约了企业的敏捷性和对市场快速响应能力,严重阻碍了制造企业向经济全球化迈进。因此迫切需要一个公共的技术和服务平台,为全球企业的资源共享和协同工作提供环境。制造网格为解决上述问题开辟了一条新的路径。本文正是在这种背景下开始基于制造网格的制造