面向流媒体的Hadoop调度策略研究

来源 :小型微型计算机系统 | 被引量 : 0次 | 上传用户:suguangli1507
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
流媒体数据的分布式处理的研究在流媒体处理领域具有重要的意义,电信网、广播电视网、计算机通信网的不断融合促进了媒体数据的广泛传播,随着数据量的不断增大数据处理的速度变慢,而传统的多处理器并行计算难以满足海量流媒体数据的并发处理需求.使用当前流行的开源分布式处理系统Hadoop对流媒体数据进行分布式计算将大大提高流媒体数据的处理速度,虽然Hadoop常用于大数据企业类业务数据处理,但其对实时数据处理支持较差.因此对Hadoop的调度和负载策略进行研究,通过改进Hadoop的实时调度和负载均衡策略,使其可以满足流媒体处理的实时性、并发性和处理速度的要求.实验结果表明提出的算法和策略使得Hadoop能很好的适应实时流媒体的处理,减少了处理的时间. The research on the distributed processing of streaming media data is of great significance in the field of streaming media processing. The continuous integration of telecommunication networks, radio and television networks and computer communication networks has promoted the widespread dissemination of media data. With the increasing amount of data, data processing The traditional multiprocessor parallel computing can not meet the demand of massive streaming media data concurrently.Using the popular open source distributed processing system Hadoop to distribute streaming media data will greatly improve the processing speed of streaming media data , Although Hadoop is often used in big data enterprise business data processing, but its support for real-time data processing is poor.Hadoop scheduling and load strategy research, by improving Hadoop’s real-time scheduling and load balancing strategy, it can meet the flow The real-time media processing, concurrency and processing speed requirements.The experimental results show that the proposed algorithm and strategy makes Hadoop well adapt to the real-time streaming media processing, reducing the processing time.
其他文献
试验选取300只28周龄的岭南黄父母代肉种鸡,随机分成5组,研究了四个水平的日粮大蒜素添加量对产蛋性能及种蛋孵化性能的影响.结果表明:日粮中添加适量的大蒜素能够显著地提高
市政道路工程的施工质量影响着城市的发展,关系着道路通行的安全性和可靠性.在市政道路工程施工的过程中,道路基层施工技术的选择很大程度上影响着施工的效果和质量.石灰土是
在科学技术以及社会经济不断发展的时代背景下,工程建设行业的发展也取得了一定的成就,公路工程的建设水平也明显提升.在进行公路工程项目建设的过程中,会涉及多个环节,比如
(续第2期)1.轻预防重治疗预防水产动物疾病是一个综合性过程,包括水质调节、优质饵料的充足供应、生态环境的改良和人工免疫等。许多养殖户疏忽和轻视平时的预防,待发现症状
用江汉平原灰潮土进行小麦、油菜、蚕豆和棉花锰肥盆栽和田间试验。结果表明:①这4 种作物施用锰肥增产效果显著。②不同用量的硫酸锰作基肥施在小麦、油菜和蚕豆上,其肥料效应
笔者先概述房建工程中的施工缝,然后进一步分析施工缝的留设原则,最后探讨其在实际中的具体运用.
结合基于预观控制的ZMP步态生成模式的优点并引入脚尖脚后跟与地面间的旋转关节,以生成双足步行机器人质心和踝关节轨迹,同时提出了侧向质心摆动幅度递减方法以降低快速步行
芝麻是我省的主要油料作物之一 ,年播种面积 35 0万亩左右 ,年产芝麻 2亿多kg。 1 990年以来 ,河南省芝麻研究中心根据市场需求陆续选育出了豫芝 8号、豫芝 9号及豫芝 1 1号等
随着科技的发展和网络信息技术的的进步,我国电子商务的发展速度飞快,大数据时代出现使得电子商务和大数据相结合,旧式的网络营销模式已经不适应于当今的电子商务大潮流,本文
期刊
本文通过对荣华二采区10
期刊