论文部分内容阅读
预警机（AWACS）执行任务时记录的海量数据蕴含着丰富的有价值信息，为了提升信息作战能力，就需要对大量的预警机情报数据进行分析。如何从海量数据中提取信息以便为情报分析服务，怎样提升海量数据信息情报挖掘的高效性与准确性，对提高情报质量和提升作战能力具有十分重要的意义，一直是传统数据分析面对的重大难题。新兴的云计算技术为上述问题提供了新的有效解决途径，其使用分布式的计算技术来实现大规模并行计算，大大提升了数据处理能力，且可随时快速动态的提供大量廉价计算能力，因而将云计算技术应用于预警机海量数据挖掘，可望突破传统数据挖掘的瓶颈限制，有效提升情报挖掘的效率。 本文根据某型预警机情报分析对海量雷达探测情报数据挖掘的需求，从云计算框架Hadoop入手，依托其分布式框架，研究了Map/Reduce计算框架运行机理，提出了基于Map/Reduce的改进型数据挖掘算法，并将该算法应用于预警机探测情报信息分析平台。主要工作与创新点有： 1.为了给情报提供高质量的挖掘数据，对数据准备阶段的数据规范化进行了研究，深入分析了传统规范化方式存在的主要问题，针对存在的问题提出了基于Hadoop平台的数据规范化方法，通过实验测试验证了所提方法的快速性和高扩展性。 2.在数据规范化基础上，深入研究了数据挖掘算法。分析了经典的Apriori算法的流程及其制约算法执行效率的根本因素，设计出了以Map/Reduce为基础的依据关联规则对数据进行深度挖掘的算法，该算法将传统关联规则算法转化为Map/Reduce模型，采用了压缩原始事务集的方式，实现了并行化改造，具有高扩展性，且适合于云计算环境。 3.搭建预警机探测情报信息分析平台对改进型数据挖掘算法进行测试，验证了算法的可靠性、正确性与高效性，然后通过对某型预警机雷达探测情报实飞数据进行挖掘分析，提出了对该型预警机探测出现漏点影响较大的因素的强关联规则。