论文部分内容阅读
所谓“云”,其实是对互联网及其底层基础设施的一种抽象比喻说法;而云计算（Cloud Computing,CC）是基于互联网的相关服务和交互模式,以此来提供虚拟化的资源。因此,获得网络信息安全的基础就是保护网络信息系统,确保其可靠性、完整性和私密性等属性。车载自组织网络（Vehicular Ad hoc Network,VANET）是智能交通系统（Intelligent Transportation System,ITS）中的核心部分,可以实现辅助安全驾驶和共享交通路况信息等应用,对改善交通管理和保障行车安全等都具有十分重要的意义。车载云计算（Vehicular Cloud Computing,VCC）整合了VANET中所有的可用资源,提供各种实时服务,并可对交通拥堵等问题进行优化。在VCC被广泛接受并实施部署之前,亟需解决其安全和隐私问题,而云计算的安全即是其中的核心问题。本文基于目前最流行的开源云计算平台Hadoop 2.0,围绕如何提升YARN（Yet Another Resource Negotiator,另一种资源协调者）框架在高效处理网络信息的同时又可以保证数据安全这一核心问题,针对网络信息安全的三个基本属性（可靠性、完整性和私密性）,对YARN进行了改进,分别实现了三个原型框架YRPF（YARN Reliability Protection Framework）、YIPF（YARN Integrity Protection Framework）和YPPF（YARN Privacy Protection Framework）,并通过理论推导分析和真实集群实验来验证它们的实用性和有效性,而且它们也统一形成了安全的YARN框架。同时结合VCC中的实际应用场景验证了整个安全YARN框架的通用性,并考察其性能及推广应用价值。本文的主要研究内容如下:1.提出YARN可靠性保护框架利用推测执行（Speculative Execution,SE）的基本复制原理,结合MD5哈希值计算,提出了一个YARN可靠性保护框架,保证了Map Reduce的中间结果和最终结果的正确性,并基于Hadoop2.8.0实现其原型YRPF。首先,由理论推导及仿真可知,YRPF的恶意节点检测率Dratio随着推测执行比率Er、节点执行恶意行为的概率P和MRv2执行的作业数t的增大而增大。当t≥25且P≥0.2时,只需设定Er≤30%,就可达到期望的恶意节点检测率Dratio≥85%。而且,P越大,Dratio越高。其次,本文根据仿真得出的参数设定值,在真实Hadoop集群中对YRPF进行了基准测试,证明YRPF不仅能确保Map Reduce结果的正确性,而且对Hadoop集群中恶意节点的检测率约为87%93.3%,与理论仿真预期相符。2.提出YARN完整性保护框架基于Hash树的验证方法,本文提出了一种YARN完整性保护框架,简称YIPF。它结合了私有云和公有云的优点,形成一种混合云架构。我们系统地介绍了YIPF的设计与实现,并对它的安全进行了定性和定量分析。由定性分析可知,如果潜在的恶意节点执行了恶意行为,且结果集被YIPF选择为验证对象,那么该节点必定会被发现。而且YIPF采用随机采样指定的方式来验证结果,潜在的恶意节点因无法提前预知而无法做到成功地欺骗和隐藏。此外,定量分析又可以弥补定性分析的不足,将采样比率、恶意行为概率、检测概率和错误结果数量等引入了Map和Reduce的验证阶段,通过参数的设定和细化,能更有效地发现集群中潜在的恶意节点。最后,在基于YRPF的真实集群中试验,依然选择三种不同场景进行对比。由实验结果可知,YIPF对集群中节点的资源消耗很小,对CPU的使用率、硬盘吞吐量和网络吞吐量几乎没有影响,而仅仅略微提升了RM的内存使用率。由此可以证明YIPF在Hadoop集群中对网络信息完整性地保护是有效的,且可以同时提供安全保护。3.提出YARN私密性保护框架网络信息安全的第三个主要属性就是数据的私密性。为了保护用户使用Map Reduce处理数据的私密性,本文在数据云存储端和用户指定的Map Reduce任务之间添加了隐私保护层（Privacy Preserving Layer,PPL）,由此形成一种YARN私密性保护框架,简称YPPF。原始数据集存储于云端,即使是数据所有者也无法直接访问,他们首先必须指定隐私请求并提交给PPL,PPL负责根据隐私请求对原始数据集进行采集并匿名。然后,数据用户可以在Map Reduce作业中指定应用程序逻辑,并在匿名数据集上运行作业。从始至终,YPPF操作的数据均保持匿名,且只有数据所有者才能调用Map Reduce处理自己的数据。因此,YPPF高度保护了数据的私密性。在真实集群实验中,本文使用了Test DFSIO测试YPPF对文件系统I/O性能的影响。实验结果表明,YPPF增加的时间消耗低于8%,对HDFS几乎没有影响,甚至还提高了网络带宽利用率。4.将安全YARN框架应用于VCC,探讨安全性、性能及问题的应对策略加强VCC的安全,不仅需要安全YARN框架,还需确保VANET节点是可信的,路由协议是安全的。因此,本文首先提出“可信节点”的定义和一个可信安全GPSR路由协议。通过仿真实验,证明了该协议不仅能保护VANET中节点的邻居位置信息表不被恶意篡改,更能降低大约10%的分组丢包率;其次,考察安全YARN框架在VCC中的应用性能,若VCC在DSRC传输分组数据包的情况下,Map Reduce shuffle阶段的平均包冲突率为9.35%,总耗时约为有线网络中的10倍,说明了目前YARN在VCC常规场景中并不能高效地处理大量数据,而其根本原因在于无线动态数据的传输性能不佳;然后,针对此缺陷,在停车场应用场景中进行分析。在保持DSRC通信距离的情况下,RM将整个VCC划分为若干组,集中式的TDMA是管理所有VCC分组的良好选择。综上所述,本文通过完成以上研究内容,达到了提升YARN框架可靠性、完整性和私密性的目的,分别实现了YRPF、YIPF和YPPF三个原型框架,并通过Hadoop集群实验证明了它们的合理性、正确性和有效性。将其应用于VANET场景,与可信安全路由协议共同维护VCC的安全,以及考察网络性能优劣并提出了解决方案。期望本文能对VCC的发展和尽早普及有一定的促进作用。