面型多为指标的视频点播数据分析子系统设计与实现

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:g471151931
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着通信技术的发展以及互联网的普及,越来越多的家庭在收看电视节目时选择了点播的方式进行观看。而制片方和广告投放者也越来越关注用户的点播数据,以便正确调整节目结构和广告植入。传统的用户点播数据采集使用较为简陋的样本统计方法,准确率低且不具有及时性。随着数据科学的发展,使用大数据技术进行全样本分析正逐步成为点播数据分析的主流方法。因此,建立一个扩展性强、灵活性高的点播数据分析系统至关重要。现有的一些点播数据分析系统往往借助于数据仓库引擎进行数据聚合,分析结果的可复用性不高。诸如Kylin之类的开源数据分析工具虽然在多维数据聚合的灵活性方面表现出色,但时间性能则有所不足,且对长时段指标的计算能力也有所欠缺。通过对现有的大数据分析技术进行调研,本文针对用户的分析需求,确定采用Spark框架进行用户记录的离线分析。系统后端采取分布式架构,采用Hive存储用户记录,并使用数据库存储分析结果。此外,该系统利用了面向对象建模的方法,将核心功能分解成五大模块,并设计了相应的接口。本文将点播数据分析的过程划分为生成含有多维信息的中间结果以及指标汇聚两阶段,并详细设计了各个阶段的输入输出及执行过程。该设计增加了结果生成的灵活性,减少了重复计算带来的资源浪费,使整个系统工作更有效率。本文还设计实现了基于布隆过滤器的分布式数据去重算法,以较低的内存占用解决了长时间段去重类指标的计算问题。通过详细的需求分析和模块设计,本文最终编码实现了视频点播数据分析子系统。经过一系列的实验测试,本系统在长时段指标分析的时间和空间性能上均有出色的表现;同时在指标分析方面具有良好的扩展性,达到了系统构建的目的。
其他文献
现如今科技水平飞速发展,各行各业都在逐步使用人工智能技术,针对智能技术的研究也已有许多较为成熟的算法。本文在传统蚁群算法的基础上进行改进优化,目的是为了提升算法的寻优性能,并针对无人艇路径规划提出相应的解决方法。传统蚁群算法是根据蚁群觅食的行为研究所得,算法逻辑是基于蚂蚁协同完成觅食任务而提出的一种仿生学随机算法,用于解决搜索寻优类问题。算法搜索的核心元素是蚁群中个体所释放的信息素,通过信息素对遍
随着安卓智能设备的快速普及,“碎片化问题”极大的提高了安卓应用的测试成本。许多企业纷纷使用第三方的自动化测试服务。对于测试服务提供商来说,如何应对不同客户需求的差异,应对客户需求变化的风险,成了亟待解决的问题。与此同时,越来越多的互联网企业开始实施中台战略,以追求更为坚固的基础设施、更为通用的公共服务、更为灵活的项目架构。但是很少有人关注测试中台系统,尤其是对于安卓应用测试这种强依赖于物理设备资源
近年来国家对装配式建筑大力推广,各省市以装配式建筑为主的绿色建筑迅速发展,在其发展过程中既带来巨大机遇,也面临着严峻的内、外部的挑战。而PC构件物流运输节点作为整个装配式建筑重要部分,在整个构件供应链全程中显得尤为突出,如何在维护供应链正常运行和保持物流运输优化节点控制的同时,促进物流运输效率的提升和整体效益最优化,已成为构件物流运输方面研究的重点方向。文章通过研究PC构件物流运输节点相关内容、物
在传统认识论中,人是认识的中心,人是万物的尺度,人为自然立法等观点一直被人类所认可。千年的发展与沉淀,认识论产生了诸多分支,这些观点在其他方面唇枪舌战、据理力争,但对
充分而高效地利用太阳能一直是人们孜孜以求的目标,特别是对于我国而言更为重要。在众多利用太阳能的途径中,太阳能热光伏系统由于其潜在的高效利用前景引起了人们极大的关注。其核心是对太阳光谱进行高效的调控,而针对底电池设计适当波长的发射体与滤波器是提升系统性能的关键之一。本文从选择性发射体和窄带滤波器对光谱的调控入手,对二维硅基光子晶体、硅基F-P腔滤波器的光谱调控性质进行了研究讨论,主要内容和结果如下:
新时代下的合乘是一种以互联网信息服务技术为支撑、有偿的互助出行行为,与传统的合乘出行、网约车以及巡游车之间存在显著的差别,平台的出现使得合乘出行成为了人们出行的新的方式,但搭乘者的人身、财产的安全却遭受着重大的隐患。实践中,法院对于如何认定平台经营者在合乘业务中的民事责任存在较大分歧。该分歧主要表现在违约责任的认定及侵权责任的认定两方面:在违约责任认定中,存在着法律关系认定不明确的问题;在侵权责任
税收收入是国家财政收入的重要组成部分,它影响着财政收入的质量水平。随着我国经济增速逐步放缓,国家为了将经济发展重心从高速发展向高质量发展过渡,开始进一步推进更大规模的减税降费,但在税基较为稳定的情况下,减税降费必然会带来税收收入的减少,特别是在2020年初,由于新冠肺炎疫情的大规模爆发,全球经济都遭受到了巨大冲击,伴随着国际原油价格暴跌、美国持续加大货币供给、西方国家大打“贸易牌”等一系列黑天鹅事
2017年11月,财政部颁布92号文开始严格监管规范PPP市场。金融机构为此恐慌,并对PPP项目持谨慎态度甚至全面停止对PPP项目发放贷款。这样的环境导致的融资难问题使得参与PPP的企业资金周转困难甚至爆发财务危机。行业寒冬已至,前路艰难,企业将何去何从?在这种形势下,研究蒙草生态在92号文颁布后及时采取的财务战略转型措施及成效,对其他企业“过冬”具有重要借鉴意义。本文即以此为背景,依据不完全契约
全球科学与工业技术的不断发展进步使得人们对石油的消耗越来越大,石油和危险有机溶剂的泄漏事件也越来越频繁地发生。这对生态环境和人类的生命健康造成的危害不容忽视,亟需找到有效的治理方法。开发绿色高效的低成本吸附剂便是其中的一种有效治理方法。三维石墨烯气凝胶由于拥有高比表面积、高疏水亲油性及优异的化学和热稳定性,已成为近年来高效水油分离领域的研究热点。水热法还原氧化石墨烯是制备石墨烯气凝胶最简单环保的方
铅是电解锌行业污染防控的重中之重,实时监测技术缺乏是导致该行业重金属污染的主要原因。铅基阳极制膜封铅电解过程为快速连续多元素反应单位,电解液中多离子共存、浓度跨度大,其中SO42-离子浓度高达70~120g/L,Mn2+离子浓度为40±1g/L,Pb2+为1~30mg/L。现有技术普遍采用光谱、色谱、质谱或联用等方式进行离线分析或在线检测,但均存在预处理步骤多,操作复杂,耗费时长的缺点,导致分析结