基于Hadoop的海量视频数据存储及转码系统的研究与设计

被引量 : 0次 | 上传用户:ilovemn
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着物联网的不断发展与演化,它产生的各种数据将急剧增长,流媒体传输作为物联网行业的一个重要应用,其产生的视频数据是海量的。如果以集中存储的方式存放这些流媒体数据将付出昂贵的代价,也很难实现数据存储与分析的一体化。海量数据的存储与处理,近年来已经有了很多深入的研究,大量开源的云计算框架被提出。Hadoop作为分布式大数据存储与分析的工具,主要被应用于互联网、医疗系统等非视频业务数据的存储与处理。由于流媒体数据在文件格式、存储方式和搜索方式上与普通数据有很大的不同,直接将Hadoop应用到网络流媒体传输系统中将面临许多挑战。论文通过深入研究Hadoop框架和流媒体数据的特点,实现了海量视频数据的分布式存储与处理。本文完成的主要工作如下:1.分析了HDFS和MapReduce框架,以及网络流媒体传输系统,给出了海量视频数据存储与转码系统的需求分析,提出了系统的设计方案。2.完成对流媒体数据的存储、HDFS上流媒体数据文件的读写、分布式转码、数据库、Web管理等5个模块的设计。实现了基于Hadoop的海量视频数据存储、转码和管理一体化的整体解决方案。3.对系统的数据存储、下载速率、分布式转码的性能进行了实验分析。实验表明:在Hadoop上实现海量视频数据的存储具有可行性,高效的存储策略有利于海量视频数据的快速搜索,分布式的转码系统显著提升了转码的效率,满足用户通过普通的播放器下载并查看录像回放的需求。
其他文献
空间节约型家具已成为近些年来家具设计发展的新趋势。在设计时应充分考虑结构紧凑、空间窄小的户型特点,通过整体化与模块化设计,以及增加单体家具功能的方法,使其能充分利
我国现行的婚姻法修订于2001年,为使实务界更好地适用法律,使法律适应社会的变化并更好地指导实践,最高人民法院针对婚姻法已配套出台了3部司法解释,特别是2011年8月9日颁布的《
大学生择业就业关系到个体、家庭、社会、国家的发展,是其价值观在择业就业实践中的体现。当代大学生择业价值取向体现出择业意向务实化,择业标准兼顾国家、社会、个人等多方需
目的 研究子宫内膜异位症的临床病理特点,探讨其病因及发病机制。方法 应用免疫组织化学S-P法,对96例子宫内膜异位症在位及异位内膜组织进行雌、孕激素受体的测定。结果 子宫内
文章认真分析了教材特点,依据教学要求提出了特色鲜明的楞次定律教学思路,并详细叙述了楞次定律教学的方法步骤。
我国的风险投资从萌芽到今天 ,已取得了一定的成绩 ,它对于我国高科技发展起到了十分重要的作用。但与此同时 ,人们在研究风险投资的过程中 ,出现了一些理论和实践上的误区。
对于大学英语学习来说,词汇学习是基础。但很多大学生依旧是采用传统的死记硬背的方法,大大降低了学习的效率。现笔者据自己所知所理解,就概念隐喻理论在大学英语词汇教学中
对于教师而言,教学方法是至关重要的,好的教学方法不仅能够促进学生学习,提高课堂效率,还能够潜移默化地培养学生的综合素质与能力。新课标推出以来,对高中化学教学提出了新
最近几年来,关于散文教学,尤其是如何筛选散文内容得到了广泛的关注。然而,在笔者看来,如果"确定"了教育内容,很有可能会导致教学模式化,同时使教师教学的多样性与灵活性都受