【摘 要】
：
随着电商平台的快速发展,物流行业增长迅猛,其中物流服务平台的访问日志能够反映用户的行为规律,从而挖掘潜藏信息助力物流服务平台优化业务已至关重要.目前,针对于此类大规模日志数据处理提出了更高的实时性需求,本文综合考量多种实时计算的流处理框架、大规模存储数据库以及日志采集工具等,选取Flume及Kafka作为日志采集工具与消息队列,并利用Flink及HBase进行流数据实时计算以及大规模数据存储.同时,对平台设计了数据去重、异常告警、容错策略以及负载调度的功能.经实验测试证明,本处理平台可以有效处理物流服务平
【机 构】
：
西安工程大学计算机科学学院,西安710600
论文部分内容阅读
随着电商平台的快速发展,物流行业增长迅猛,其中物流服务平台的访问日志能够反映用户的行为规律,从而挖掘潜藏信息助力物流服务平台优化业务已至关重要.目前,针对于此类大规模日志数据处理提出了更高的实时性需求,本文综合考量多种实时计算的流处理框架、大规模存储数据库以及日志采集工具等,选取Flume及Kafka作为日志采集工具与消息队列,并利用Flink及HBase进行流数据实时计算以及大规模数据存储.同时,对平台设计了数据去重、异常告警、容错策略以及负载调度的功能.经实验测试证明,本处理平台可以有效处理物流服务平台的日志数据,具有较强的创新思路以及实际价值.
其他文献
细胞受到致癌因子刺激时引起突变,突变过程使基因组发生具有一定模式的改变,称为突变印迹.突变印迹分析是阐明致癌因子的致癌机制及驱动癌症发展的一项重要任务,将为肿瘤早期诊断和个体化治疗提供新的依据和选择.下一代测序技术的突破和发展使得海量体细胞突变被识别,从而使从大规模基因组中挖掘突变印迹成为可能.本文详细解释了突变印迹识别问题的数学模型,介绍了求解方法和重要参数,系统全面地比较了主流算法和软件,指明了突变印迹提取的注意事项.最后,对该领域的未来发展趋势进行了探讨.
目前,传统的军用车辆管理方法已经无法适应部队信息化的发展,迫切需要使用一种高效的、融合新技术的管理模式.为此,本文针对管理中涉及的安全认证和授权方面,设计了一款基于人工智能的军用车辆远程授权及监控系统.该系统采用了最新的人脸识别技术和网络技术,由车辆端、服务器端和客户端3部分组成.其中,车辆端部署于车辆驾驶室内的NVIDIA Jeston Nano AI开发板上,使用人脸识别模型对驾驶员进行认证,并与服务端进行数据交互.服务端部署于云服务器,用于管理车辆端和客户端信息、汇总车辆端上传数据、在车辆端和客户端
随着社会的发展,人才履历真实与否在企业招聘环节至关重要,传统基于第三方机构的履历存证存在数据管理中心化、履历造假等问题难以解决.针对上述问题,提出一种基于区块链的可搜索加密人才履历共享方案.首先,利用区块链不可篡改的特性结合链上链下协同存储机制保证了履历数据的真实性;其次,在履历数据共享过程中,利用区块链去中心化的特性取代传统第三方机构,并结合可搜索加密技术实现了参与方之间的公平性与数据存储、更新时的隐私保护;最后从安全性和正确性角度对方案进行分析,证明了本方案能解决上述难题.
许多新材料研发企业的研发设计、制备以及测试表征分处于不同部门,导致材料制备工艺数据、测试表征数据以及研发设计数据呈离散化、碎片化状态,形成信息孤岛,且不能与材料计算有效地关联.开发一个通用的,能将材料测试表征、制备和服役数据深度融合的数据库系统,进而基于数据驱动方法,构建“成分-组织-工艺-性质”预测模型,有着非常重要的意义.然而,材料种类和体系众多,不同材料其测试表征方法以及制备方法多样性,给开发一种通用的融合材料测试表征和制备工艺的数据库系统带来很大挑战.基于此,我们首先参照CSTM材料基因工程数据通
青少年注意力不集中的现象在生活中十分普遍,而现有的青少年注意力检测和训练系统功能单一.因此,本文研发了一个基于脑电信号的青少年注意力检测和训练系统.针对注意力检测分类少、准确率低的问题,本文将注意力分为5类,并提出基于随机森林模型的注意力检测方法以改进检测的准确率,达76.17％;针对注意力效果不佳的问题,本文基于闭环脑电生物反馈感知技术,首次根据持续型注意力、选择型注意力和集中型注意力,分别设计3个面向青少年的严肃游戏训练模式,并提出4个评估指标进行实验,排除游戏熟悉程度对受试者影响的同时,结合自身对照
针对以分散形式存储学科信息导致资源难以统计的问题,基于计算机学科领域本体模型,融合多源异质的学科数据构建高校计算机学科知识图谱.首先通过网络爬虫等技术从相关网站和已有文档中获取领域知识,并基于BERT模型对数据进行清洗;然后利用Word2Vec判断人物研究方向之间的相似度,解决实体对齐问题;最终将数据导入Neo4j图数据库中实现知识的存储.根据构建好的知识图谱建立计算机学科可视化系统,能够提供信息检索与图形显示等多种功能,实现计算机学科基础数据的快捷查询和资源统计,以期促进后续的学科评估工作更加高效地完成
针对电力线巡检需求,本文设计并实现了一套基于低成本多激光雷达组合的电力线安全距离监测预警系统.将单线激光雷达(思岚RPLIDAR S1)安置在RoboMaster GM6020云台电机上构成一套设备可以进行三维环境感知,在电力作业斗臂车四周安装4套同样的设备进行环境感知,通过布设标靶纸,同时采集点云数据并测量标靶纸全局坐标系坐标,根据最小二乘原理进行4个激光雷达之间的空间位置关系标定并统一到同一个坐标系下.通过网络通信将4套设备采集的点云实时数据传输至数据处理平台进行可视化显示、安全距离监测和报警,可以有
在经济快速发展、道路建设不足等多重压力下,城市交通负担越来越重.在现有的资源条件下,如何提高道路资源的利用效率和道路的通行效率是缓解交通问题的重要途径.本文以设计一种基于交通流量自适应控制的路口子系统为目标,首先分析、研究了交通管控系统的相关算法和相关信息系统的现状,在综合现有系统的基础上,设计了一个交通管控系统的体系结构,系统包括路口子系统、区域中心和信息与控制中心等3部分.通过路口子系统实现交通流数据的实时采集和路口本地的智能控制;设计并实现了路口子系统的检测方案,路口子系统的数据采集和本地的智能控制
针对目前安检场景中违禁品种类复杂、人工检查效率低易出错等问题,文章提出一种名为Res152-YOLO的网络架构,该架构基于YOLOv4(You Only Look Once)优化目标检测网络.为提高对X光图像中危险品的检测精度,Res152-YOLO采用ResNet-152网络代替原YOLOv4中的CSPDarknet-53网络,将改进后的ResNet残差网络与YOLOv4网络连接.实验中利用YOLOv4、Res152-YOLO等一系列网络在同一数据集上进行对比实验,分别比较上述网络的损失曲线、对各类危险
当前信息环境下,非结构化文本是各类信息的重要组成部分,如何针对用户信息需求,从文本数据中快速提取所需信息,为用户提供快速高效的信息获取方式成了当前信息服务领域亟待解决的问题.该文基于语义检索以及抽取式文档阅读理解模型,研究了如何快速有效地从大型文档库中根据用户问题提取出所需答案信息的技术,构建了基于文档库的信息服务问答系统.对于解决当前海量信息环境下快速有效的帮助用户获取所需信息,提升信息服务效率具有重要意义.实验表明,该系统可以快速精确的定位用户所提问题的答案,帮助用户快速有效的获取所需信息.