【摘 要】
：
随着互联网的普及以及视频应用的丰富,互联网每时每刻都在产生海量的视频用户行为数据。当前针对视频用户行为日志数据进行采集分析的研究普遍基于批处理思想,导致分析结果实时性不强,并且缺乏服务器集群健康的实时监测使得系统的可用性不高。系统基于双中心节点中心副本控制协议和实时流处理计算等相关技术,设计实现了一个分布式日志采集分发系统,完成对集群健康信息的监测和从用户日志数据中获取用户特征。系统由五个模块组成
论文部分内容阅读
随着互联网的普及以及视频应用的丰富,互联网每时每刻都在产生海量的视频用户行为数据。当前针对视频用户行为日志数据进行采集分析的研究普遍基于批处理思想,导致分析结果实时性不强,并且缺乏服务器集群健康的实时监测使得系统的可用性不高。系统基于双中心节点中心副本控制协议和实时流处理计算等相关技术,设计实现了一个分布式日志采集分发系统,完成对集群健康信息的监测和从用户日志数据中获取用户特征。系统由五个模块组成:日志采集模块负责多点采集传输日志数据;日志缓存模块负责日志数据高速缓存和持久化存储;日志分析模块负责提取行为信息形成用户特征集;数据存储模块负责数据分析结果;集群健康监测模块负责高效监控系统运行状态。为了更好地监控集群运行状态和得到实时性更高的分析结果,系统重点优化了中心副本控制协议以及采用基于流数据处理思想的分析引擎。优化的中心副本控制协议通过添加一个从中心节点形成双中心节点架构,中心节点出现故障可通过从中心节点快速恢复服务,基于优化协议实现的集群健康监测模块完成对节点存活、工作流量和资源使用等信息的更新同步工作,保证系统的高可用性和健康数据的强一致性。日志分析模块使用最新的实时流数据分析框架,以事件驱动特点提高日志分析的实时性和准确性。此外系统在日志采集模块中设计了双层采集架构,提高采集模块的安全性和可拓展性。经过测试表明,采用优化后的双中心节点中心副本控制协议实现的集群健康监测模块保障了系统的高可用性,以双层采集、高速缓存、流式计算和分布式存储技术,实现从海量视频用户行为日志中提取用户特征,为智能推荐视频内容、提升用户使用体验与增加用户粘性提供了数据支撑。
其他文献
目的:该项Meta分析旨在探讨秋水仙碱对冠状动脉疾病患者的临床有效性。方法:检索中国知网、维普数据库、中国生物医学文献数据库、万方数据库、Pub Med、Embase、Cochrane Library等7个数据库,并对报告的主要心血管事件进行Meta分析。结果:共纳入8项临床随机对照研究,共12314名患者。与对照组相比,秋水仙碱可以显著降低冠状动脉疾病患者主要不良心血管事件（P＜0.001;RR
目的:生活质量能够从生理、心理、社会、环境等多方面衡量健康水平,是综合性的健康评估指标。大学新生首次进入大学,他们面临着更加突出的新的挑战。本研究旨在描述大学新生的生活质量水平,分析大学新生生活质量的相关因素。方法:本研究是一项横断面调查,采用随机整群抽样的方法,于2019年11月至12月纳入武汉某211重点大学的大学新生2193名,通过问卷星在线收集大学新生的人口学信息,包括性别、年龄、专业、民
目的:目前,达格列净已成为治疗代谢相关脂肪性肝病（Metabolic associated fatty liver disease,MAFLD）患者的一种新型治疗选择。然而,达格列净治疗MAFLD患者的有效性和安全性尚未得到有效评估。本荟萃分析旨在总结这些随机对照试验,并评价达格列净治疗MAFLD的疗效和安全性,为其临床运用提供一定的参考价值。方法:通过对中国知网、万方数据库、中国生物医学数据库、
结构域是蛋白质三维结构中具有特定生理功能的独立性球状区域,大部分蛋白质都是由一个或多个结构域组成,每个结构域在生命活动中都发挥着重要的作用。蛋白质结构域在临床疾病治疗、药物研制、蛋白质功能预测等方面都产生了重要的价值。由于结构域本身的重要性以及结构域相关生物学知识数据的复杂性,且现有生物学结构域数据库都缺乏结构域组合查询和重要性分析的功能,为了方便生物研究人员理解和查询结构域与结构域、结构域与蛋白
目的:基于全球肢体解剖分期系统（Global Limb Anatomical Staging System,GLASS）,分析影响慢性肢体威胁性缺血（Chronic Limb-Threatening Ischemia,CLTI）患者治疗强度的因素,探讨发生再干预和无截肢存活（Amputation-free survival,AFS）事件的预测因子。方法:收集2018年1月至2020年1月期间收治于
随着经济建设不断发展,社会对于成品油需求持续增加,相应地对成品油的运输保供提出了更高的要求。某成品油管道公司近年来新修多条成品油管道,站场遍及中部六省,数量多达百座,公司的服务器数量增加且分散多地,以往通过发现业务系统异常再人工排查服务器异常的方法无法适应生产需要,故建立一套服务器监控与告警系统迫在眉睫。某成品油管道公司服务器监控与告警系统分为Server和Webapi两个模块,主要包括登录、监控
目的:本研究旨在通过对武汉某大学大一新生失眠症状展开调查,了解该大学大一新生失眠情况。从社会人口学、生活方式、躯体及心理、环境、个性特征和大学生特异性影响因素等角度探讨与其失眠症状检出率相关的因素,分析可能关联,并提出有针对性的对策及建议,为相关部门改善大学生尤其是大一新生失眠症状提供可参考依据。方法:采用随机抽样的方式从武汉某重点大学理工类及文科类院系共计抽取4个学院,以网络问卷调查的形式完成对
互联网的快速发展使得各行各业都逐步向服务线上化迈进,海量数据的存储也无形中增加了信息检索的复杂度。用户不再仅仅关注购票功能,而对系统的性能、稳定性、新功能等提出了更高的要求。在线票务系统不仅要解决大数据时代信息过载问题,实现用户个性化推荐;还应当顺应疫情背景下动态分散就座的需求,实现动态锁座机制。此外,系统应当能够应对高并发访问下的流量暴增问题以及具备完善的服务监控机制。首先对现有的推荐技术和在线
集换式卡牌游戏,简称TCG（Trading Card Games）,是SG（Stratigic Games,策略游戏）下的一个分支,早期的实体TCG以纸质卡牌这一简易载体,实现了复杂的博弈性,培养了丰富的玩家基础。2014年开始,电子卡牌逐渐风靡全球,伴随的是众多实体卡牌游戏的电子化,并带动了大量原创的电子卡牌游戏。电子卡牌游戏中的平衡性调整这一工作,是维持游戏长期稳定运营的关键。但是,该项工作仍
增材制造技术是制造业研究的热门方向,而表面检测是增材制造质量控制工程中重要的一环。基于图像的检测方式无法获得工件表面的空间几何结构关系,同时气孔缺陷在工件表面上的分别是毫无规律的,这导致自动化检测工作难以推进。针对气孔这种空间起伏缺陷,三维点云具备非常好的描述能力,但是三维线激光扫描设备在获取工件表面点云信息时,存在运动倾斜、过度扫描等问题,故为了推动检测自动化,并提升检测自动化的运行效率和检测性