支付宝商户风险监控系统爬虫子系统的设计与实现

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:zx2353
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着电子商务的高速发展,在线交易量日益增大,光靠网银自身的系统已经支撑不了客户支付的要求,于是一系列第三方支付公司如雨后春笋拔地而起。第三方支付平台汇总了各大银行的支付接口,同时还丰富了很多应用,满足了客户在线支付的需求。第三方支付平台允许商户网站接入其提供的支付接口,为客户提供在线支付服务。本文分析了支付宝在线支付平台的具体情况,可以得到目前支付宝平台主要提供资金的在线流动服务,对具体的交易内容是无法知晓的,使得很多电子商务网站在线进行一些非法交易,严重破坏了网络支付环境。针对当前接入支付宝平台支付接口的电子商务网站规模和业务领域进行了分析,找出了一套合理地商户风险监控方案,建立商户风险监控系统,系统还提供管理员后台操作界面,允许人工介入对系统发现的嫌疑商户进行验证,确保最终整改的商户确实为非法商户。商户风险监控系统分为爬虫子系统、审核任务子系统。本文对爬虫子系统的基础数据维护、基础数据加载、分布式环境负载均衡、网页地址分发和去重以及文本分析结果处理功能做了详细的需求分析以及设计实现。根据对当前商户数据量的评估,设计了合理的系统物理架构。维护的基础数据包含关键词、商户筛选策略以及应用场景,这些数据加载到爬虫系统中用来进行高风险商户网站的筛选和商户网站内容的分析。采用基于Hash的任务调度机制实现了分布式爬虫的负载均衡,利用BloomFilter数据结构,实现了高效的网页地址去重,由关键词分析之后的嫌疑违规文本会被封装成人工核查任务分发给审核任务子系统。该系统于2011年12月20号已经上线运行。在实际运营中验证了爬虫子系统的理论研究和设计实现的实际价值,对商户的监控起到了比较好的效果。
其他文献
有一次我看到一辆农用运输车摇摇晃晃地开过来,急忙停车问个缘由.司机告诉我:这车在平坦的水泥路上走得很平稳,在机耕路上走就振动摇摆得不得了,拿到修理厂修理,修理师傅取出
根据玉林市的实际情况和西部开发的特点,我们要在实施科技兴农战略,积极调整农业生产结构,加快农业科技进步的同时,一切从农业和农民的利益出发,把握机遇,主动参与西部大开发
近日,广西农机安全监理专题网站(http://aqjl.gxnj.gov.cn)开通运行,这是广西农机部门加强信息网站建设的又一重要举措。
蓄电池极桩经常容易发生氧化现象,形成氧化皮.正极桩往往呈现墨色,负极桩呈现铅灰色.导电不良氧化皮,大大增加线路电阻,特别是起动机器时,电压降损失大,造成起动困难.为防止
闪电成像仪是我国正在研制的风云四号气象卫星所携带的一种可以从太空对地面的闪电进行监测和定位的光学遥感器,通过它可以实现对闪电的定位,掌握闪电的规模以及变化情况等重要
农机户要致富,光靠勤劳是不行的,还必须善于动脑筋,勇于实践。一些农机致富能手把这些经验概括为“十字经”:看看、问问、转转、学学、练练。
期刊
<正>1风险管理案例教学的必要性笔者在一所应用型本科高等院校为财务管理、会计学等专业的学生讲授《公司战略与风险管理》,这门课是注册会计师(CPA)资格考试的科目之一,但是
目的进一步探讨和分析早期牙菌斑控制在2型糖尿病患者牙周病防治中的效果。方法选取该院于2011年11月—2013年11月期间收治的100例2型糖尿病患者,将患者平均分成对照组和观察
随着经济全球化进程的加快,国际竞争日趋激烈,而国际竞争归根结底是科学技术的竞争,尤其是自主创新能力的竞争。我国已明确提出科技发展战略要实现从以跟踪模仿为主向以自主创新