论文部分内容阅读
通过用户浏览网页时的网络日志分析,可发现用户的一些浏览习惯,从而有针对性的对网站进行改进,给用户带来更好的体验。本文通过搭建多个虚拟机对Web日志进行离线分析,通过flume系统收集日志,利用Hadoop文件系统存储,SparkSQL进行离线分析,按照需求进行相应业务的统计的分析。
基于Spark的分布式网络日志处理系统的设计与实现
【摘 要】
：
通过用户浏览网页时的网络日志分析,可发现用户的一些浏览习惯,从而有针对性的对网站进行改进,给用户带来更好的体验。本文通过搭建多个虚拟机对Web日志进行离线分析,通过flume系统收集日志,利用Hadoop文件系统存储,SparkSQL进行离线分析,按照需求进行相应业务的统计的分析。
【机 构】
：
延边大学工学院
【出 处】
：
科学技术创新
【发表日期】
：
2021年15期
【基金项目】
：
延边大学中青年科技计划项目(项目编号:延大科合字(2018)第11号)基于Spark的分布式网络日志处理系统的设计与实现,延边大学应用基础研究项目(项目编号:延大科合字(2021)第2号)基于VB.NET的房产中介管理系统的设计与实现。
其他文献
针对大视角变化下复杂纹样提取与匹配准确性和快速性难以兼顾的问题,本文提出了基于改进AKAZE-FREAK仿射不变特征(Improved AKAZE-FREAK Affine Invariant Freature, IA-FAIF)的纹样提取与匹配方法。该方法将纹样构图复杂、形态多样且具有视角变化的清代龙袍纹样作为待匹配图像,首先对拍摄视角变化造成的经度角和纬度角进行模拟,得到一系列模拟后的图像;其次在模拟后的图像中进行IA-FAIF检测与描述;最后对得到的描述符进行粗匹配和精确匹配,实现清代龙袍纹样的特征
海拉尔盆地呼和湖凹陷构造运动频繁,断裂体系复杂,大磨拐河组及南屯组二段地层发育多套煤层,对下伏层地震信号具有一定的屏蔽作用,导致主要目的层南屯组地震能量弱、资料分辨率低、断层不清楚等缺陷,为解决这一系列题,在呼和湖凹陷部署采集了50km2“两宽一高”三维地震资料开展试验、利用其宽频带、宽方位的特点,开展OVT域地震处理、分方位断裂识别、宽频地震反演等,取得了较好的效果。
以无人船为载体进行河流、湖泊、水库的水质监测能够突破常规人工取样检测诸多限制,为配合无人船水质监测的有效开展,通过设计一种合适的无人船水质监测系统,实现研究区域内不定期水质、水温等环境等数据采集,并且及时上报流域水质情况。系统通过与无人船建立实时通信收集位置、监测结果等原始数据,及时对数据进行校验、分析、处理,并进行无人船监测轨迹及水质分布图展示,此外系统提供满足水质监测业务需要的历史水质数据查询
目的:分析万向排牙导板对牙槽嵴低平患者中全口义齿的修复效果。方法:选择81例无牙颌患者为研究对象,将病例随机分为实验组和对照组,两组均采用下颌排牙法,对照组采用传统下颌排牙方法,实验组采用万向排牙导板辅助下颌排牙。观察两组患者佩戴义齿3个月后患者的满意程度及咀嚼效能。分析两组全口义齿患者的修复效果。结果:通过对患者的问卷调查分析表明两组患者佩戴义齿3个月后自觉在义齿外观、发音的满意程度方面对比无统计学差异(P>0.05);但在义齿稳固度、义齿咀嚼功能和口腔舒适度3个方面,实验组明显优于对照组(P&l
设计了一款应用于MCU的宽电流范围全集成LDO,可以满足MCU在不同工作模式下对电源的需求。芯片采用UMC公司的0.11μm CMOS工艺设计,版图面积为0.102mm2。仿真结果表明,在低功耗模式下,LDO的静态功耗只有0.505μA;正常工作模式下,最大负载电流可以到100mA,且具有很好的瞬态响应。
本文利用常规仪器对近期在珠宝市场上出现的一种改色青海“翠青玉”样品的鉴定特征进行研究分析。结果表明,这种改色“翠青玉”的主要鉴定特征为:紫外可见光谱具有特征650nm宽吸收带;紫外荧光灯下具有明显的中-强荧光;显微镜下可见染料沿裂隙分布,颜色浮于表面,过渡不自然;在查尔斯滤色镜下会出现变红现象。
针对移动自组网内部恶意节点可能产生的攻击,在路由协议中选择安全节点进行路由活动显得尤为重要。本文提出一种AODV路由协议改进方案,该方案的算法在路由活动中,使用模糊神经网络对节点检测因子进行计算,得到节点信任值以评估节点安全性,并均衡考虑节点安全与网络环境,在防御恶意节点攻击的同时兼顾节点利用率,在路由维护阶段进行参数优化。仿真实验表明改进协议能够提升车联网网络性能。
针对煤矿井下过高的温度、湿度、粉尘浓度、流量等引起的安全问题,设计了一种基于无线传感器的煤矿环境参数监测系统。由传感节点、ZigBee模块、微控制器和上位机组成。利用传感器模块、微处理器、ZigBee模块组成无线传感器网络,实现数据的实时采集、处理和传输功能;利用LabVIEW软件编写监控界面,以显示参数的大小并进行预警。实验验证了该系统能够对环境参数实时检测,温度,湿度,粉尘浓度、流量的相对误差
针对目前巷道锚杆支护普遍预紧力较低、全长锚固锚杆预紧力在岩层内扩散效果不理想等客观事实,采用现场实测、数值计算、理论分析等综合研究方法,煤巷高预紧力全长锚固锚杆支护关键技术研究,得出以下成果:发明了减摩垫片、优化了扭矩倍增器等给出了全长锚固锚杆施加高预紧力的新途径;创建了全长先张后锚固工法,将锚杆锚固段分为快速锚固区和滞后锚固区,并研究制定了全长先张后锚固技术工法两个技术准则。研究成果推动力了煤矿锚网支护技术的发展。