Hadoop平台下音视频转码与优化

来源 :湖南大学 | 被引量 : 0次 | 上传用户:fish3321
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来随着物联网的高速发展,它产生的数据量也急剧增长,网络流媒体传输作为物联网行业的重要应用之一,其过程中产生的数据量是非常可观的。终端的异构性和网络的不稳定性,会导致对视频编码格式多样化的需求。海量多格式流媒体的存储与分析一体化是一个研究难点。传统的存储方式无法满足其需求,转码又是计算密集型任务,考虑到集中式系统难以扩展,分布式存储与计算方式从技术上克服了这个难题。Hadoop作为一种开源的分布式大数据存储与分析工具,凭借其易用性和稳定性得到了广泛的使用。然而基于流媒体视频数据的非结构化特性,直接将Hadoop分布式框架应用到网络流媒体的处理中将会遇到很多问题。本文通过深入研究Hadoop框架和流媒体数据的特点,实现了Hadoop平台下海量音视频数据的转码,利用HDFS分布式文件系统存储海量多格式流媒体文件,通过MapReduce分布式计算框架对转码过程进行并行加速,结合container资源的分配和调度方式,提高资源的利用率,优化转码时间。主要工作及创新点如下:提出了一种Hadoop下基于位置信息的视频分割方法,目前集群加速转码相关研究都是借助开源工具对视频进行预分割,增加了额外的文件读写开销。而且视频分割处理是固定在一个节点上完成的,当视频处理服务请求量过大时,该节点会成为系统性能的瓶颈。本文通过修改MapReduce getsplit函数中的FileSplit方法,读取数据包中的位置信息,通过在分割点位置前多读数据包的方式,避免了分割在关键帧处导致的转码后视频跳帧的情况。本方法实现了在Hadoop上的快速视频分割,避免了系统的性能瓶颈,优化了系统的转码时间。提出了一种基于样本资源需求的容器资源配置方法,该方法解决了在集群变更的情况下,以最小的开销找到container最优配置的问题。基于样本资源需求的容器资源配置方法通过在样本集群中确定内存配置因子和CPU核配置因子,当集群发生变更的时候,只需在新集群上对样本split音视频分片进行转码,分析转码单个split分片内存和CPU资源的使用情况,通过基于样本资源需求的容器资源配置算法即可计算出新集群的最优并行度,从而对container进行配置。本方法可以很好地应用于虚拟化集群,同样也适用于物理机集群。实验结果表明,相较于直接使用Hadoop进行分布式转码,优化后的系统转码时间减少了25%左右,缓解了虚拟化集群内存过载的情况,CPU的资源利用率也有所提高。
其他文献
课堂导入是课堂教学的起始环节,之于一堂课来说是重要的前奏。高中生物课程与现实生活关系密切,课堂导入是学生现实生活经验与其学科知识体系之间的一座密切桥梁,对学生整体知识的构架起到了良好的衔接作用。一个好的课堂导入,除了能够创设一种丰富的学习情境,引起学生注意,激发学生的兴趣之外,还可以帮助学生聚焦新的学习主题,激发学生知识与现实的转化能力,促进学生的思考,为超越单纯的知识识记,形成高阶思维和学习方式
人工智能是图灵在1950年首次提出的概念,他将能够分辨人与计算机的智能定义为人工智能。人工智能目前有三个分支,分别是弱人工智能、强人工智能以及超级人工智能。人工智能通过模拟人脑的工作方式来进行运作。它理由相互连接单元组成的网络,这些网络通过修改神经元之间的连接来进行学习。人工智能通过构建算法和模型来认识世界,这也是模仿了人类的身体构造,称之为卷积神经网路,也就是CNN。人工智能的发展经历了多个阶段
近年来,随着电子商务在中国的迅速发展,“互联网+农业”模式已成为新趋势,如何让中小型企业拓宽网络销售渠道尤为重要。盘锦河蟹电商分销系统是作者为家乡企业开发的一款小程序应用,通过实际订单对未来销量走向进行预测,主要运用神经网络技术对预测算法进行优化,为企业解决各地区分销、线上与实体库存预测、打造品牌知名度等问题。本文对企业订单预测需求进行算法学习与研究,主要工作为动态神经网络的订单预测算法优化,提出
目的:本研究旨在探讨不同体重指数(Body Mass Index,BMI)水平与糖尿病血管并发症的动态关系。方法:本研究为一项回顾性调查,共纳入3224名2型糖尿病患者,其中男性1635名,女性1
官方网站是赛事组织向国内外受众发布信息的重要平台,对于提升赛事知名度和美誉度,推广和宣传赛事具有重要的作用。新闻内容是媒体的“生命线”,因此,网站内容设置是网站建设的关键。本研究从赛事网站营销的视角,采用文献资料法、访谈法、内容分析法、比较分析法、数理统计法,案例分析法,依据Angehrn 1997年提出的ICDT电子商务策略模型,将网站内容分为四个虚拟空间(虚拟讯息空间、虚拟沟通空间、虚拟分销空
面对越来越多的银行软件开发,这一行业也面临着巨大的难题。如何更大限度地对软件进行开发设计,如何有效地对后期更好地维护和使用都是这一行业面临的挑战。竞争越来越激烈的
目的通过检测绝经后妇女的BMD(bone mineral density,骨密度)、NLR(nutrophil lymphocyte ratio,中性粒细胞/淋巴细胞比率)水平、RANKL(receptor activator of NF-κB ligand
伴随着社会的开放度,人们社交越来越广泛,在这样社交群体中也出现了婚外情、婚外恋的现象。究其原因,一是受到西方主流思想的影响,人们热衷于“开放式、随意性”交友;二是社
当前,分布式交互仿真技术已经成为各行业仿真领域特别是大型复杂仿真系统的主流技术。基于分布式交互仿真系统很难满足大型复杂分布式仿真系统在互操作性和重用性方面的需求,
随着计算机技术、网络技术和数据库技术的快速进步和发展,其在人们工作、生活和学习过程中得到了广泛的应用。农村信用社是一个信息化办公要求较高的应用场所,已经开发了许多