信息管理系统日志分析系统的设计与实现

来源 :山东大学 | 被引量 : 0次 | 上传用户:ivan_wongxc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当今社会,互联网面临数以亿计百亿次的用户访问,同时产生了大量记录用户访问信息的日志文件,这些隐藏着用户访问规律的日志信息是一笔非常珍贵的财富。如何处理这些海量日志数据,逐渐成为业界一大热门领域。本文在hadoop平台的基础上,以信息管理系统日志文件为切入点,基于信息管理系统日志文件的特点、日志分析的业务特点,设计了一种能正确满足信息管理系统日志分析业务需求的软件架构,并阐述了该软件架构的设计思想,论述了选择软件架构的理由。该设计在逻辑与功能上将整个系统设计为日志采集、日志存储、日志处理、处理结果存储、结果展示五个部分。在面对海量日志数据时,该设计能较好地满足业务与性能需求,同时具有部件耦合性低,后期维护简单等优点。结合实际的业务需求,以山东大学研究生管理信息系统为例,本文给出了该软件结构设计的具体软件实施方案与核心代码实现。在论述系统中日志采集部分的实现方式时,比较了 Flume与Scribe的异同,介绍了如何配置Tomcat日志与Flume组件,并给出来具体的配置方案。在讲解系统中日志存储部分的设计与实现时,论述了选择HDFS作为存储方式的理由,并给出了具体实现。在设计实现系统中日志处理部分时,结合日志分析的业务特点,详细介绍了 MapReduce在该系统中如何实现日志分析,阐述了 MapReduce编程模型在处理海量日志文件的优势,比较了 Hive与传统关系型数据之间的异同。同时,根据业务设计出Hive表结构。在介绍系统中处理结果存储部分的实现方式时,展示了 MySQL数据库在实现该部分时具有的优点,并给出具体表结构。在论述系统中结果展示部分的实现方式时,简单配置实现了一个小型信息展示系统,并简单介绍了如何使用可视化控件ECharts实现结果数据展示,并给出核心实现代码。
其他文献
科学地进行土地评价,实现土地评价的定量化、综合化、信息化、精准化、动态化、信息化,有利于实时掌握土地利用结构和产业布局的变化,有利于提出合理的可持续发展的土地评价
考虑青藏高原严酷环境中影响混凝土耐久性的综合因素,选择函数形式,确定参数与混凝土材料使用寿命的关系,建立了一个能顾及多重因素,但形式简化的严酷环境下混凝土使用寿命的预测
一直以来,很多人认为老子、孔子双方的思想相差甚远,实则二者的思想不完全是对立的,生活在几乎同一时代的两位圣贤思想上有相融的一面。老子只是对孔子思想中的违反自然的成
我国古代是一个人治的国家,因而特别重视人才的鉴别与选用,在古代就逐渐形成了“知人善任”的传统,且在人才选拔过程中也蕴含了丰富的人格鉴定思想。研究和挖掘中国古代人格
马克思主义生态思想是以人与自然、社会和谐永续发展为价值取向的科学理念。要想不断加快推进生态文化的建设,必须以马克思主义生态思想为指导,紧密围绕社会主义生态文明建设
"八五"以来,我国职业教育发展迅速,特别是2005年全国职教会议召开后,职业技术教育倍受关注。但因起步较晚,我国对"以学生为中心"的课堂形式还没能很好实施,如何训练学生的职
1引言研制了可以同时测定空间悬浮体姿态(3个自由度)和位置(2个自由度)的装置。使用此装置,在本所进行的以质量的量子标准为目标的超导磁性悬浮法来测定悬浮体的姿态。在大约100年
文中就非连续增强金属基复合材料在循环温度场作用下的复合材料力学行为从实验研究和理论模型建立两个方面作一回顾和介绍;并阐述了未来的发展趋势。
设计一种基于射频芯片nRF905为无线通信核心的电子天平无线遥测子系统的实现方案,整个系统通过STM32微控制器来控制,由24位超低噪声的模数转换器ADS1232来对称重传感器的模拟信
根据传输线理论,在射频波段内采用扫频方法,可同时测量出多个频率时的电感、电容量。