基于Spark Streaming的反刷单系统的设计与实现

来源 :北京邮电大学 | 被引量 : 2次 | 上传用户:jiu0703
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着移动互联网的普及和网络支付技术的不断发展,网络内容提供平台不断涌现,网络消费的规模越来越大,订单的产生量也越来越多。为更好地维护网络平台的秩序和确保平台交易数据的质量,需要一个可用于实时反刷单监控的系统。咪咕数媒手机阅读平台原有的反刷单系统存在一些问题,需要基于Spark Streaming重新实现一个反刷单系统。本文通过将复杂事件处理系统的设计思路与分布式流计算框架Spark Streaming结合在一起,设计和实现了一个在数据流处理方面具有一定通用性的反刷单系统。本系统通过解析基于SQL配置的监控任务实现了对刷单行为的灵活监控。在本系统实现过程中尝试将Spark Streaming和MySQL两种系统的数据处理能力融合在一起,既增强了系统的处理能力,又简化了数据的处理逻辑。系统在流控和数据容错方面的改进增强了系统的稳定性和容错性。系统对数据流信息和规则信息的独立管理,实现了信息的复用,同时也简化了监控任务的配置过程。在最后的系统测试过程中,系统表现出了很好的稳定性和可扩展性。
其他文献
分析了骑行运动和洗衣机工作的各自特性,并结合各自的优点,创新地提出了多功能洗衣机的设计方案。对骑行部分,发电部分,洗衣部分等详细结构的设计思路,效率及可行性做出了论
柑橘上市比较集中,如何使其在较长时间内保持新鲜度以及延长上市供应期以取得较好的经济效益,是橘农最关心的问题。现将几种常用的储藏保鲜方法介绍如下:一、采收柑橘储藏前必
期刊
随着科学技术的发展,我国的网络技术有了很大进展,星地协同网络被认为是一种新兴的网络体系结构,能够适应未来网络中的各类服务与应用。多接入边缘计算(multi-accessedgecomp
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
正如供应链管理专家Christopher所言,21世纪是供应链的时代,快速消费品(FMCG)企业如何在这供应链管理的时代对供应链风险进行管控将是一项富有挑战性的任务。从供应链风险管
作者在积累中医抗肿瘤临床治疗经验的基础之上,提出“健脾补肾、化痰散结、疏肝解郁”即培本化痰解郁治法理念.根据疾病演变过程中的正邪消长,采用健脾补肾、化痰散结、疏肝
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
会议
目的观察伊伐布雷定对慢性肺源性心脏病合并心力衰竭患者心肌微循环状态及血小板参数水平的影响。方法前瞻性选取亳州市人民医院收治的86例慢性肺源性心脏病合并心力衰竭患者
本文基于网络思维视角,分析了高职高专应用型英语人才培养意义、网络思维和高职高专应用型英语人才培养相互间关系、运用网络思维分析高职高专应用型英语人才的培养模式,其中
以淮山、木瓜蛋白酶等为试验材料,研究木瓜蛋白酶复合剂对鲜切淮山的褐变防控效果,探索生物酶法在淮山鲜切加工中的应用.以多酚氧化酶(PP0)、过氧化物酶(POD)、褐变度(BD)为考察指