【摘 要】
:
随着广告投放业的蓬勃发展,一条广告在商业变现流程中所需的基础平台服务系统的复杂性也在不断的提高。在这样复杂的分布式系统架构下,系统依赖导致系统间数据不一致的现象也是时有发生,这对用户来说就是利益受损,对平台来说就是产生资损。因此如何确保业务数据的准确、解决系统的数据一致性问题成为重中之重。该系统即为在公司实习期间,为解决系统间数据不一致的问题所立项的项目。系统结合公司实际业务背景和需求,旨在为多业
论文部分内容阅读
随着广告投放业的蓬勃发展,一条广告在商业变现流程中所需的基础平台服务系统的复杂性也在不断的提高。在这样复杂的分布式系统架构下,系统依赖导致系统间数据不一致的现象也是时有发生,这对用户来说就是利益受损,对平台来说就是产生资损。因此如何确保业务数据的准确、解决系统的数据一致性问题成为重中之重。该系统即为在公司实习期间,为解决系统间数据不一致的问题所立项的项目。系统结合公司实际业务背景和需求,旨在为多业务、多数据源提供统一的数据核对能力,主要包括数据源管理、监控任务的统一化配置、任务的异步化调度、任务的执行、异常数据的告警和告警原因的预测、异常数据的处理、异常数据的分析与统计模块,通过监控业务数据,及时暴露数据异常,尽可能小的减少资金损失,提高公司的内部效能和业务数据的准确性。本人在项目中参与并完成了系统的前期调研与立项、系统的需求分析,设计开发、测试和上线的过程,主要负责的系统模块有监控任务配置、任务的异步化调度、任务的执行、异常数据的告警和处理、异常原因预测五个模块。在系统的具体实现中,Web框架使用Python的Flask框架,RPC(Remote Procedure Call)框架使用公司自研的Euler框架,消息队列使用Rocket MQ,数据缓存使用Redis((Remote Dictionary Server),告警原因预测算法使用朴素贝叶斯分类算法。目前系统已经完成基本功能需求的上线,稳定地在线上运行,且进入运营阶段,已经指导多位用户进行规则的配置,规则执行成功率达到99%+。在使用过程中也在不断的收集线上需求,进行需求的持续迭代中。
其他文献
由于传统化石能源的日益枯竭,开发利用新型清洁能源对人类的可持续发展至关重要。光催化技术能够高效利用清洁、易得的太阳能,因此受到越来越多的研究关注。石墨相氮化碳(g-C3N4)由于具有固有的可见光吸收,结构稳定且前驱体来源丰富,因此在可见光催化领域受到众多研究人员的青睐。但g-C3N4自身也存在一些缺陷:材料的比表面积较小,光生载流子的复合较为严重,化学反应催化活性不佳等,因此在针对其改性方面具有广
随着人脸交互系统的广泛应用,人脸交互系统的安全性和可靠性成为人们关注的热点问题。其中,人脸防伪造是其中的一个重要领域,其目标是识别人脸是真实的图像的还是伪造的图像,其中伪造的方式包括非真实人脸的伪造(impersonation attack)和混淆人脸的伪造(obfuscation attack),这种非真实人脸的伪造包括伪造图片,伪造视频等,混淆人脸的伪造包括人脸化妆和部分遮挡。虽然已经取得了巨
混合动力系统采用多种动力源供能,具有灵活配置、经济环保等优点,在船舶运输中受到广泛关注和应用。能量管理策略是影响混合动力系统性能的重要因素。良好的能量管理策略是优化系统中各动力源能量分配、提高系统效率、降低能耗和排放的保证。本论文面向柴电混合动力船舶推进系统,进行建模和能量管理控制技术研究,具体研究工作开展如下:首先针对串联式柴电混合动力船舶,介绍了多种柴电混合动力船舶应用拓扑,并基于目标船舶运行
传统互联网采用尽力而为的方式转发数据包,难以满足较高服务质量需求的应用。为此,IETF工作组提出了确定性网络的概念,服务保护作为确定性网络的关键技术之一为可靠通信的定制化带来了可能性。然而,确定性网络发展处于初期阶段,具体实施方案仍需进一步分析研究。因此,采用何种网络架构以及如何实现服务保护功能成为了学术界研究的关键问题。针对上述问题,本文着眼于网络通信过程中的可靠性研究,依托SDN网络架构、确定