基于云平台的视频网站数据分析技术研究与实现

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:dy911615
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着网络媒体技术的不断发展,视频网站数据量呈爆炸式增长。为了发掘视频网站的数据价值与规律,视频的用户行为数据被大量分析。随着数据量的快速增长,数据分析的计算能力正在面临极大的挑战,而且视频网站数据来源多变且结构复杂,这就对数据分析技术提出了更高的要求。面对上述问题,传统解决方案是随着数据量增大不断增加硬件资源提升计算能力,但是性能提升在不远的将来一定会到达瓶颈而且价格昂贵,这已经不是一个可行的解决办法。本文提出一种基于云平台分析技术的解决方案,首先利用Ambari快速构建Hadoop云平台,并进行便捷的维护,利用廉价机器构建低成本、高效率的计算平台。然后,针对视频网站数据的特点,去设计实现一套视频网站数据采集程序及数据库的表结构,根据数据的多样性设计不同的分析策略,提出一种保证数据质量提高数据可用性的数据清洗逻辑。本平台利用MapReduce对视频网站数据进行多维度的分析处理,并将分析结果以图表的方式展示在前端网页上。本文已经完成了云平台的搭建,以及视频网站数据分析程序以及前端图表显示的设计与开发。此外,根据数据采集系统的长时间运行参数验证采集系统的健壮性,通过使用真实数据对MapReduce分析程序进行计算测试,验证了分析程序的可行性,通过前端网页图表截图验证前端图表的运行状况。
其他文献
目的:观察七氟烷麻醉时其代谢产物游离六氟异丙醇(hexafluoroisopropanol,HFIP)的生成是否受肝功能状态的影响,以及其与麻醉恢复质量的关系。方法:选择肝功能正常(A组)与肝功
加工中心,是适应省时、省力以及节能等时代背景要求而迅速发展起来的自动换刀数控机床。高速电主轴单元是决定数控机床实现高速化和高精度的关键部件,始终是机床技术发展的基
分析评价临床医学2008级五年制本科2班学生的生物化学期末考试试卷,考试成绩呈负偏态分布,平均成绩为73.35分,难度为0.78,区分度为0.26,信度为0.88。试卷题型分布合理,试题总
医学本科留学生教育已经成为我国高等教育的重要组成部分,同时对医学生物化学的全英文教学提出了全新的要求。从留学生特点、生物化学课程的特点、授课各环节的体会进行了全面
高等医学院校基础医学师资普遍存在着总量不足、结构失衡等问题,加强基础医学师资建设是提高高等医学教育质量的根本保障。文章紧密结合地区发展特点,针对徐州医学院的基础医
目的:通过回顾性分析来评估显微镜下精索静脉结扎术(microsurgical subinguinal varicocelectomy,MSV)对治疗精索静脉曲张(varicocele,VC)合并男性不育和阴囊疼痛症状的临床
目的探讨糖类抗原CA242在恶性肿瘤诊断中的意义。方法采用免疫放射分析(IRMA)的方法共检测232例恶性肿瘤患者及作为对照的105例健康人血清CA242的水平。结果恶性肿瘤组显著高于
近年来,我国高速公路在快速的建设,路网结构逐步形成并不断完善,收费系统业务也在不断的增加,精细化管理的要求越来越高,路网快速涌现并形成了多维度、多剖面、多种类的海量
随着高压直流输电工程的建成和发展,交直流混联系统在我国已逐步形成,但直流系统对交流系统继电保护的影响也越来越突出。本文以交直流混联系统下换流变压器(简称换流变)差动
目的探讨使用动力髋螺钉(DHS)加防旋螺钉及小转子内固定治疗股骨转子间骨折的临床疗效。方法时2003年2月~2008年3月使用DHS结合防旋螺钉及小转子固定治疗37例股骨转予间骨折的疗