基于Hadoop的网络安全日志分析系统的设计与实现

来源 :第25次全国计算机安全学术交流会 | 被引量 : 0次 | 上传用户:wu19851110
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
传统分布式数据库因其扩展性、容错性、和可靠性等方面存在一些不足,本文提出了一种基于Hadoop系统的两个子项目HDFS和MapReduce的网络安全日志分析系统的设计与实现方法.通过实验,证实我们设计的系统是可以正常运行的,性能也能接近现有分布式数据库系统。但我们的系统在可扩展性、数据可靠性、系统开销、作业可靠性等方面优于分布式数据库。通过将节点注册到Namenode,就可以实现系统扩容;通过注销,就可以实现系统的缩容,系统通过检查副本数,将注销节点上的数据块,平均存储到其他机器上。由个人PC组成的Hadoop集群的软硬件成本都会远小于分布式数据库所需要的软硬件成本。通过任务的分解和并行执行,Hadoop系统的执行作业的性能也能接近传统分布式文件系统的性能。Hadoop系统通过自动检查副本数也验证数据校验和,保证数据可靠性;通过自动任务恢复机制,保证执行的高效性。
其他文献
目前,重庆市计委通报了国家给予重庆的6项优惠投资政策。这些优惠政策具体包括:财政专项补助支持;贷款规模安排高于全国平均水平,其中包括库区联营专项贷款15亿,库区基本建设专项
在开放的电子商务环境下,对交易的实体给予信任评价是降低交易风险、提高交易成功性的有效手段.已有的研究往往只是针对某个节点进行信任评价,不区分节点的服务内容等属性,给
会议
辽宁丹东市九连城镇套里村有一菜农买了一桶黄瓜种子,回家后打开一看是黄色包衣的,他非常高兴,他想这带药的种子一定好,就立即按常规办法浸种催芽。结果只出了几个胚根皱缩
患帕金森病的老人因为语言障碍,发音吐字不够清晰,给他们生活带来很多不使。很多患病老人因此也就变得少言寡语,精神抑郁。专家说,导致帕金森老人语言障碍的原因,主要是病人
关联规则是对不同网络安全事件进行关联分析的基础,它关系到关联分析子系统对多步攻击的识别能力.本文对关联规则的增加方法进行了研究对比,提出了自动化生成关联规则的方法,
为什么有人花了很长的时间、很大的力度,减肥仍然不能奏效呢?原因之一可能是没有从血型出发。美国一位医学博士的《根据不同血型的减肥术》一书,不仅在美国,而且在全世界畅销
随着视频监控的广泛应用,视频资源的跨网络和跨信任域访问的需求愈发迫切。由于视频资源访问存在网络带宽高和实时性要求的特点,现有的网络隔离和安全交换方案不适合视频监控
随着全球经济、文化一体化进程越来越快,使得我国在经济建设方面以及文化发展方面,与国际之间的交流越发的密切起来。加之我国不断的对现有的经济制度进行深化改革,使得我国
文章认为,要抓住新一轮改革的契机,认真研究住房的生产、流通、分配制度和与之配套的政策措施。以住房货币分配为突破口,积极推进住房制度的深化改革,培育和促进其形成新的经济增
利用特殊取芽器取下12~14龄橡胶树优良无性系茎干基部幼态休眠芽片,将其嫁接在3~4龄的大砧木上,根据树木养分输导原理,进行独特的环剥和合理的管理,促进了处于深度休眠状态的幼