基于Hadoop的广电CDN数据中心系统设计与实现

被引量 : 0次 | 上传用户:kevinstudy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
CDN (Content Delivery Network,即内容分发网络)是通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络。它能够实时地根据网络性能指标综合运算的结果,将用户的请求重新导向离用户最近的服务节点上,以便使用户可就近取得所需内容,解决Internet网络拥挤状况,提高用户访问网站的响应速度。这些性能指标包括:网络流量、各节点的连接、负载状况、各节点到用户的距离,以及响应时间等等。广电行业自身的CDN定义最早来自北美,从ISA架构到NGOD架构,乃至总局定义的NGB架构,CDN只是内容分发组件,如果与互联网或IPTV的CDN对应,则应该包括CDN+VSS+SRM.广电的CDN网络的架构一般包括:数据中心、推流服务器和CDN网络。数据中心的作用包括:多媒体数据的存储、影片的切片和存储、多媒体内容的管理、内容的分发、用户行为的分析、数据报表服务。本文在现有广电CDN网络数据中心基础之上,经过分析广电行业的实际的业务需求、业务流程,以及目前系统存在的问题和弊端,然后结合信息安全的思想,设计并实现了一个满足广电行业特殊业务需求和需要的CDN网络数据中心系统。首先,本文介绍了广电行业CDN数据中心系统项目的背景,以及目前存在的主要问题;然后分析并逐条论述了该系统的功能性需求和非功能性需求。基于需求分析,我们提出了系统的设计目标和设计原则,并基于此进行了技术架构设计和功能架构设计。在技术架构上,系统主要考虑了效率、可扩展性、可移植性、可维护性以及功能性问题,因此采用当前最流行的Hadoop大数据处理技术,并基于该大数据处理架构,进行了设计分析。在功能架构设计中,本文讨论了系统各部分的功能要求、功能组成,最后按照物理架构和逻辑架构输出了整体设计。再一步进行CDN数据中心系统的详细设计。该部分按照层次化和模块化的软件设计思路来设计系统,详细介绍了数据处理层、数据存储中心、应用层、数据库设计共4个方面。在每一层中,对其包含的每个模块配合流程图、顺序图、文字描述等方式进行了详细设计。第四部分,是实现与测试部分。我们基于详细设计,首先对各层、各个模块的实现进行了简单介绍,给出了系统的功能结构图、整体效果图和各个部分的实现图。在对每个模块实现的描述中,也对真实生产系统已经实现的功能进行了描述并附图。尤其是对系统中用到的关键技术(HDFS, HIVE, MapReduce)进行介绍和分析。最后,按照真实的环境和设计要求,进行了性能测试,对测试结果和结论给出了详细的分析和描述。最后,本文对CDN网络的数据中心系统的应用情况作了简单介绍,并对系统进一步改进提出了建议。综上所述,我们在分析了广电CDN网络业务需求和大数据存储和处理系统思想的基础上,设计并实现了针对广电行业CDN网络的数据中心系统,达到了预期目的。
其他文献
中国当代少数民族诗歌创作中的原型意象,是诗人创作的重要载体与集体无意识的呈现,是人类深层欲望最本真的流露。我们在整体上对中国当代少数民族诗歌的原型与其母题进行研究
本文从身心健康、锤炼意志、团队意识、适应能力等几个方面,分析了体育教育对高职院校学生专业发展的重要意义,提出了发挥高职体育教育作用,促进学生职业发展的对策措施。
分别研究了硅酸盐防氧化脱碳涂料对45#钢和40Cr钢热处理时的保护效果。1 100℃下保温时间对钢样氧化失重率的影响实验表明,随着保温时间的延长,无涂料保护的钢样的氧化失重率
黄梅戏的生态形式与其媒介形式有着密切的关联。原生态黄梅戏保持着传统戏曲原有的生态特质和因地制宜的媒介形式,再生态黄梅戏采用正规剧院剧场作为媒介形式,变异生态黄梅戏
<正>一2012年3月14日,十一届全国人大五次会议通过新修订的《刑事诉讼法》。对于这部引起国内外人士高度瞩目的期盼已久的刑事诉讼法修正案如何评价,应该是见仁见智。作为最
情绪的产生通常伴随着相应的生理变化。积极情绪和消极情绪在进化过程中具有不同的适应意义,形成了不同的生理反应。该文综述了积极情绪和消极情绪在大脑中的反应差异,归纳了
羽毛球场馆是羽毛球运动开展所必须的物质基础,是开展这项运动所必备的硬件设施,良好的基础设施和场馆的优质服务对羽毛球运动市场化的发展,起到积极的推动作用。通过本文的
宗教及其道德从意识形态和社会功能上说 ,是对人性的压抑和否定 ,但从宗教文化上说 ,它的产生是文明社会的产物 ,是人类精神的自我超越 ,它折射出的是人类的精神需求和对自身