大数据处理平台Hadoop攻击和检测技术研究

来源 :南京航空航天大学 | 被引量 : 1次 | 上传用户:qirongsong
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
由于Hadoop高可扩展、低成本、高效等优点,目前已广泛应用到海量数据处理、分析中。随着Hadoop的广泛应用,其安全问题日益凸显。Hadoop大规模、分布式的特性,使得恶意用户无需攻击整个Hadoop集群,仅需攻陷单个或部分节点,便可达到延长任务执行时间、篡改数据等目的。因此,面向Hadoop的攻击模型和检测技术是目前急需研究的问题。本文以大数据平台Hadoop为研究对象,重点研究面向Hadoop的内部攻击模型,并提出相应的攻击检测算法。本文的主要研究工作及创新点如下:(1)现有工作未对Hadoop的攻击进行系统研究和实验定量分析,本文提出了四种新的Hadoop攻击模型,通过调整心跳时间、篡改中间数据、阻塞网络等方式,延长集群中作业的执行时间或者破坏作业执行结果的正确性。在Hadoop集群中实现了这些攻击,并通过实验对其效果进行了评估。实验结果表明,这些攻击模型是有效的,且会对Hadoop集群的性能产生较大的影响。(2)针对Hadoop数据攻击,由于其隐蔽性强,目前没有一种高效的检测方案。本文提出了一种基于对比验证的Hadoop数据攻击检测方案。为了减少攻击检测带来的性能开销,在数据输入阶段对数据按照设定的比例做抽样,并根据抽样的数据大小启动一定数量的集群节点执行map任务,然后在reduce阶段将抽样数据的中间结果和正常数据的中间结果进行对比以检测集群中是否发生数据攻击。实验结果表明,该方案具有较高的检测率。(3)针对心跳、MR调度、Shuffle等攻击,提出了一种基于机器学习、通用的Hadoop内部攻击检测方法。为了提高检测结果的准确性,提取了DFS、YARN、Map Reduce、RPC、IO及CPU、磁盘等与任务执行相关的46种特征,采用“重要性”筛选训练过程中的关键特性,然后利用支持向量机、K近邻、随机森林、逻辑回归、决策树等机器学习算法对Word Count、Tera Sort、Word Mean等任务提取到的不同攻击数据进行实验,实验结果表明,该方法针对心跳、MR调度、Shuffle等攻击检测的成功率达到了85%以上。
其他文献
目的 探讨李氏砭法铜砭刮痧对血液透析患者皮肤瘙痒的疗效。方法 选取血液透析后皮肤瘙痒患者60例作为研究对象,随机将其分为对照组与观察组,每组30例。对照组实施常规药物治疗,观察组患者在常规组治疗基础上加入李氏砭法铜砭刮痧法进行治疗,对比2组患者皮肤瘙痒改善情况及睡眠改善情况。结果 干预后,观察组患者皮肤瘙痒情况和睡眠情况均明显优于对照组,差异均有统计学意义(P<0.05)。结论 将李氏砭法铜砭刮痧
期刊
学位
学位
现如今,随着火电机组单体装机容量的不断增大,其配备的自然通风逆流式湿式冷却塔的体积也朝着超大型化发展。1000 MW等级的发电机组配备的冷却塔雨区直径超过120 m,循环水量超过10万吨/小时,导致环境空气很难抵达塔心区域,造成塔内径向通风不均,降低了冷却效率。基于此,本课题组提出了超大型湿式冷却塔的干-湿雨区结构,并探索性地研究了无风工况下其对冷却塔热力和阻力性能的影响规律,但其对塔内三维流场及
学位
学位
在农村发展过程中,“三资”为重要物质基础,直接影响农村建设进程。基于此,对农村集体经济组织的资金、资产和资源管理问题展开了分析,围绕“三资”问题进行系统研究,从管理模式、管理制度、监督管理等方面探寻问题的成因,提出对应的问题解决对策,希望能够推动农村“三资”管理水平的提升,为加快新农村建设奠定扎实基础。
期刊
随着电子电工行业的飞速发展,电子元器件日趋高功率密度、微尺寸化,为保障电子器件稳定运行,要求高功率密度电子器件基板的耐击穿电压超过2 k V,导热系数超过15W/m·K。目前,使用散热和加工性能良好的铝合金作为基板材料已成为高功率密度电子器件的首选材料,但限于其表面绝缘材料导热系数仅为0.5-5 W/m·K,高功率密度电子器件的热可靠性成为制约行业发展的瓶颈。α-氧化铝的理论耐击穿强度和导热系数分
学位
基于供给侧改革背景下,促进了国内财政税收政策的改革和调整。由于受到很多因素的影响,目前国内财政税收政策仍然存在诸多问题,并且这些问题能否得到有效的解决,直接关系到我国财政税收改革的成效。基于此,本文主要对供给侧改革背景下财政税收政策存在的问题进行了总结,重点对财政税收政策应用展开全面分析和研究。
期刊
学位
非政府组织活跃于巴勒斯坦社会领域,主要缘于以下背景与条件:一是巴勒斯坦人的现实迫切需求;二是巴勒斯坦各方的政治需要与支持;三是伊斯兰传统的慈善文化的影响;四是以色列的默许。在巴勒斯坦,非政府组织主要在慈善与救济、医疗卫生、教育、环境等社会领域开展活动,其活动基本上可以归类为公共基础社会服务性质,其活动资金来源多样,但高度依赖国外援助。从长时段看,非政府组织在巴勒斯坦社会领域的角色多元,既是政府职能
期刊