论文部分内容阅读
摘要：新技术的发展促进来了社会的进步和行业的发展，大数据技术作为新兴技术的代表，自出现以来不断发展并衍生应用到不同领域。为进一步提高民航发展水平，大数据技术也被引入到民航发展领域当中，本文主要针对民航空管监控系统的发展进行研究分析，详细分析大数据技术在民航空管监控系统中的应用前景。首先就大数据技术进行解读，然后就大数据技术在民航空管系统的中应用思路和流程进行研究和分析。
关键词：大数据技术;民航;空管监控系统
引言
大数据技术自发展以来，因其优越性和创新性受到人们的广泛，在受到关注的同时也被应用到不同领域。大数据技术不仅仅能够应用于现有数据的分析、风险规律，而且能够对现有数据进行深度解读实现对未来的预测，因此其具备广泛的用用前景。目前，大数据不仅仅代表一种技术，更代表着先进的生产力，逐渐变为一种生产要素和资源被应用到不同的领域和行业。英美等发达国家最开始发展并布局大数据产业，“大数据研究和发展技术”的布局和开展投资数亿元，经过多年发展之后已经创造来了巨大的价值。另外欧美国家以及日韩等发达国家也同时发展大数据技术，出台了相应战略性举措，在这一背景下我国也不断发展大数据技术，希望在发展技术的基础上开拓大数据技术应用领域，预计我国大数据技术的潜在市场规模超过十亿美元。大数据技术作为未来的“矿产和石油”，其发展水平直接决定了我国综合国力，在民航空管监控系统中引入该技术也势在必行。
1.大数据技术
1.1 特点
1.1.1 规模性（Volume）
大数据技术涉及巨大的规模和数据量，而且规模具有完整性。大数据技术涉及的数据量能达到ZB。大数据技术和网络技术以及数据存储技术息息相关，大数据技术发展水平的提高，必然推动网络技术和数据存储技术的进步。我国近年来网络技术、互联网技术不断发展，使得数据量和数据存储量激增。比如
1.1.2 高速性（Velocity）
高速性是大数据技术最典型的特征，主要是大数据和数据流的移动性，其高速性是基于现实生活中对数据实时性需求基础上发展起来的。移动网络技术、互联网技术的发展让人们越来越注重数据实时性，包括人们日常生活中常见的物流信息、交通信息、天气信息等。实时性催生了数据信息的高速性，要求互联网数据、大数据技术能在第一时间获取关键事件信息，同时将获取的信息进行传递和传播，最终实现了数据传输的高速性。
1.1.3 多样性（Variety）
大数据技术呈现出典型的多样性，包括非关系型数据和关系型数据等。大数据的多样性对大数据提出了明确要求，需要能够对种类繁多、海量的数据进行分析，通过深度分析发现数据间的内在联系。尤其是在互联网技术发展的背景下，数据类型繁多，不仅仅包括传统的简单文本数据，还包括音频、视频、传感器、日志等各种信息。大数据技术充分利用多样性，对于海量数据中的有用数据进行分析和筛选，从而能够得到有用信息，并剔除不需要的信息，最终满足用户的数据需求。
1.1.4 价值性（Value）
價值性是大数据技术应用的真实意义，大数据技术的价值性体现在其不确定性、稀缺性和多样性。目前海量的数据实质是杂乱的“稻草堆”，引入大数据之后能够对这些数据和“稻草堆”进行梳理，在其中找到有价值、有意义的信息。价值信息往往较少，并且呈现出稀疏性，这也是大数据技术的典型特征。
1.2 方法
1.2.1 可视化分析
大数据分析使用者不仅仅包括大数据分析专家，还包括具备大数据需求的普通用户，对于二者而言均具备可视化实际需求。希望通过可视化能够将所有的数据进行直观呈现，将数据特征直观形象的呈现给用户和大数据分析专家。
1.2.2 数据挖掘算法
大数据技术得以发展和推广的核心是数据挖掘算法，通过数据挖掘算法能够对杂乱、多样性的数据进行梳理、分析，得到有价值的信息并直观呈现。作为最难、最先进的数据统计方法，目前大数据技术被人们广泛认可，其在价值信息的挖掘中也呈现出不可忽视的作用。通过数据挖掘算法能够迅速、及时的进行大数据的处理，传统的算法在海量数据的处理中往往需要耗费长达几年的实践进行处理，才能得到有价值的信息，而数据挖掘技术的应用很好解决了这一问题，大数据价值直接呈现。
1.2.3 预测性分析能力
大数据技术的另一典型特征是预测性分析能力，大数据技术能对当前海量的数据进行统计和深度分析，挖掘出特点的基础上结合数学技术构建科学的模型，然后利用该模型和新数据进行未来数据的预测。
1.2.4 语义引擎
目前大数据技术已经在数据挖掘和分析中广泛应用，可以借助标签关键词、关键词和其他输入语义进行信息搜索，在检索和分析的基础上判断用户的实际需求，然后根据实际需求进一步挖掘和分析，为提供用户更有价值的信息。
1.2.5 数据质量和数据管理
大数据技术在不同领域的应用需要高质量数据的支持，数据管理技术对大数据技术的应用和推广和具有重要意义。只有有效的数据管理技术和高质量数据的支持，才能够保证大数据技术应用和分析结果的价值性、有效性以及真实性。
1.3 工具
云计算技术和大数据技术两者相辅相成，密不可分。大数据技术的应用和推广必然需要结合分布式架构，同时也需要大量计算机的支持，依托云计算的分布式数据库、分布式处理、虚拟化技术以及云存储技术实现。就目前大型大数据的应用中主要采用Hadoop 平台，该平台是基于Apache基金会额分布式系统基础架构基础上进行构建的。作为一种可靠、成熟、可伸缩、高效的处理方式，Hadoop结构图如图1所示。
2. 大数据技术在民航空管中应用思路及流程
2.1 思路 前面分析提出大数据技术和云计算技术是相辅相成、密不可分的，在大数据技术的应用中必须要依靠多台计算机设备、采用分布式架构，基于此才能够对庞大数据进行挖掘、分析和整合。在大数据技术中引入云计算技术之后，能够实现对海量数据的有效梳理、存储和虚拟管理。比如前面指出目前常用的大数据技术是基于Hadoop平台进行构建的，结合分布式系统基础架构实现问题的高效、科学处理。
2.2 流程
2.2.1 数据采集
基于传感器形式，结合不同数据库对Web以及App等中的数据采集和接受，该技术还需要保障用户具备处理和查询权力。目前大数据应用中会涉及到大量用户同时操作或访问服务的情况，这给大数据技术带来极大的挑战。以机票销售网站作为案例进行分析，尤其是机票销售网站的节假日期间，往往会有大量的用户同时访问网站，并且这些用户具有查询、购买机票的服务需求，给大数据技术采集、带来挑战，机票销售网站的荷载力较大。
2.2.2 导入与处理
大数据技术在完成数据采集之后需要对采集到的数据进行梳理、统计和分析，在此过程中需要将数据导入分布式存储集群和分布式数据库之中。数据导入和处理的关键点包括数据预处理工作，另外数据量极大，每秒钟有超过千兆、百兆的数据传输。
2.2.3 统计分析
大数据技术借助分布式数据库、分布式计算集群技术进行统计和分析，首先对海量的数据进行分类、整理、归纳和分析，根据用户需求进行匹配性处理。大数据技术应用的难点之一是海量的数据，其会占据巨大的存储空间。
2.2.4 数据挖掘
数据挖掘技术和传统的数据处理技术不同，不预先设定主体，根据算法和现有数据进行分析，在分析和解读的基础上预测未来的发展趋势，从而满足更高级别数据分析的实际需求。大数据技术的运算数量较大、运算方式复杂。
3. 民航空管大数据处理平台架构
3.1 总体架构
如图2所示的空管大数据处理平台的底层是硬件层，硬件层中涉及到的大量硬件能够为大数据处理平台提供硬件支撑，其由文件服务器、防火墙、网络资源、数据库服务器以及存储阵列等硬件构成，这些硬件能够为平台提供计算、存储、网络和通信支持。硬件层又由硬件基础服务平台和虚拟化基础平台构成，实现对业务资源、虚拟资源和用户资源的集中存储、计算，另外在硬件层中还配备统一接口，实现对虚拟资源的统一管理和调度，极大降低空管数据处理成本，另外也提高了系统的可靠性级安全性，对节能、绿色、安全大数据处理中心的构建具有建设性、基础性意义。
3.2 基础平台组成
本文提出的空管大数据处理平台同样是基于Hadoop 平台架构，作为主流的平台架构，其同样是采用HDFS分布式文件系统，分布式 NoSQL 列数据库采用HBase，处理数据仓库采用Hive，并行计算采用MapReduce。基于此构建的平台具备专家系统、实时监控、趋势分析和数据挖掘功能，能够对空管设备采集和监测到的实时数据进行接收和采集，在数据整理的基础上将信息以表格、图形、Web Gis的形式展现出来。另外该系统还具备历史查询、实时警告功能。结合分析引擎、模型对数据进行挖掘和分析，以此分析空管设备的运行状态、运行趋势，结合分析结果对接维修单位，提供专家系统服务。
3.3 平台计算引擎
3.3.1 批处理计算引擎
在空管监控系统中的冲突预测、流量预测、尾流间隔缩减、跑道侵入预测等业务模块均由批处理计算引擎支持。流量预测首先需要对机场中的航班计划、航班运行信息结合大数据技术进行分析，在航线、高度、航班、时间、空域以及天气监控的基础上对未来一段时间内的机场、空域运行情况进行信息预测。基于预测信息合理管制人员值班计划、安排绕滑行道使用、安排航班进离场顺序等，进而提升民航空管的效率和安全水平。在对空管航班飞行高度、飞行时间统计分析的基础上，首先对航路潜在冲突的预测，根据预测结果采取应对措施有效规避冲突。批处理计算引擎主要面向航司、空管部门提供的航班时刻表、飞行计划报、空域信息等历史积累数据。
3.3.2 流处理计算引擎
民航空管监控系统在引入大数据技术的时候具备极高的快速性、实时性和准确性要求，对于航班飞行过程、天气信息、飞行计划、飞行器运行状态等信息必须要实时获取，实现对航班和飞行器的实时监控管制。平台的实时监控模块数据来源包括场面运行、ADS-B、ACARS等，涉及到航班运行状态、飞机运行高度、速度、位置以及航向等重要信息，而空管指挥要求实时、精确、快速的获取这些信息，此类信息的价值会因时间的推移而逐渐降低。大数据处理平台具备实时性、快速性，实现对飞行器运行状态、运行状况的实时监控，管控人员根据监控信息对飞行器飞行态势进行判断。如果发现危险或者潜在危险的时候，空管人员会根据监控情况进行分析，得到问题和潜在问题的原因，调度地面工具和工作人员、技术人员采取针对性措施进行处理和预防，进一步提升故障解决效率。
目前，应对实时流计算引擎主要包括：Apache Flink，Yahoo 的S4，Twitter 的 Storm 和 Facebook 的 Puma。
结论
我国民航产业不断发展，空管监控系统发展要求不断提高，信息化建设迫在眉睫，智慧空管不仅是当前空管系统建设的要点，也是未来空管行业的重要发展趋势。在未来空管行业发展中，希望能够实现智慧空管在空管系统中的全覆盖。面对海量的数据，大数据技术在智慧空管发展中具备不可替代的重要作用。采用大数据技术对海量的数据进行采集、传输和存储，为分析、预测、判别、故障处理提供数据支持，有效规避信息孤岛情况的出现，满足行业数据需求，对我国空管行业迈向智慧空管有着重要的意义。
参考文献
[1]寧召宇.大数据时代机场网络安全威胁及防护研究[J].中小企业管理与科技（中旬刊），2021（04）：128-129.
[2]佟岱山. 民航工程建设大数据平台架构的思考[N]. 中国民航报，2021-04-15（006）.
[3]胡翼.以大数据为基础的空中交通流量管理研究综述[J].民航学报，2021，5（02）：65-68.
[4]赵学武，吴宁，王军，阮利，李玲玲，徐涛.航空大数据研究综述[J/OL].计算机科学与探索：1-30.
[5]潘卫军，刘铠源，朱新平，王玄，王少杰.民航机场应急救援大数据处理平台架构研究[J].计算机与数字工程，2021，49（02）：280-283.
关键词：大数据技术;民航;空管监控系统
引言
大数据技术自发展以来，因其优越性和创新性受到人们的广泛，在受到关注的同时也被应用到不同领域。大数据技术不仅仅能够应用于现有数据的分析、风险规律，而且能够对现有数据进行深度解读实现对未来的预测，因此其具备广泛的用用前景。目前，大数据不仅仅代表一种技术，更代表着先进的生产力，逐渐变为一种生产要素和资源被应用到不同的领域和行业。英美等发达国家最开始发展并布局大数据产业，“大数据研究和发展技术”的布局和开展投资数亿元，经过多年发展之后已经创造来了巨大的价值。另外欧美国家以及日韩等发达国家也同时发展大数据技术，出台了相应战略性举措，在这一背景下我国也不断发展大数据技术，希望在发展技术的基础上开拓大数据技术应用领域，预计我国大数据技术的潜在市场规模超过十亿美元。大数据技术作为未来的“矿产和石油”，其发展水平直接决定了我国综合国力，在民航空管监控系统中引入该技术也势在必行。
1.大数据技术
1.1 特点
1.1.1 规模性（Volume）
大数据技术涉及巨大的规模和数据量，而且规模具有完整性。大数据技术涉及的数据量能达到ZB。大数据技术和网络技术以及数据存储技术息息相关，大数据技术发展水平的提高，必然推动网络技术和数据存储技术的进步。我国近年来网络技术、互联网技术不断发展，使得数据量和数据存储量激增。比如
1.1.2 高速性（Velocity）
高速性是大数据技术最典型的特征，主要是大数据和数据流的移动性，其高速性是基于现实生活中对数据实时性需求基础上发展起来的。移动网络技术、互联网技术的发展让人们越来越注重数据实时性，包括人们日常生活中常见的物流信息、交通信息、天气信息等。实时性催生了数据信息的高速性，要求互联网数据、大数据技术能在第一时间获取关键事件信息，同时将获取的信息进行传递和传播，最终实现了数据传输的高速性。
1.1.3 多样性（Variety）
大数据技术呈现出典型的多样性，包括非关系型数据和关系型数据等。大数据的多样性对大数据提出了明确要求，需要能够对种类繁多、海量的数据进行分析，通过深度分析发现数据间的内在联系。尤其是在互联网技术发展的背景下，数据类型繁多，不仅仅包括传统的简单文本数据，还包括音频、视频、传感器、日志等各种信息。大数据技术充分利用多样性，对于海量数据中的有用数据进行分析和筛选，从而能够得到有用信息，并剔除不需要的信息，最终满足用户的数据需求。
1.1.4 价值性（Value）
價值性是大数据技术应用的真实意义，大数据技术的价值性体现在其不确定性、稀缺性和多样性。目前海量的数据实质是杂乱的“稻草堆”，引入大数据之后能够对这些数据和“稻草堆”进行梳理，在其中找到有价值、有意义的信息。价值信息往往较少，并且呈现出稀疏性，这也是大数据技术的典型特征。
1.2 方法
1.2.1 可视化分析
大数据分析使用者不仅仅包括大数据分析专家，还包括具备大数据需求的普通用户，对于二者而言均具备可视化实际需求。希望通过可视化能够将所有的数据进行直观呈现，将数据特征直观形象的呈现给用户和大数据分析专家。
1.2.2 数据挖掘算法
大数据技术得以发展和推广的核心是数据挖掘算法，通过数据挖掘算法能够对杂乱、多样性的数据进行梳理、分析，得到有价值的信息并直观呈现。作为最难、最先进的数据统计方法，目前大数据技术被人们广泛认可，其在价值信息的挖掘中也呈现出不可忽视的作用。通过数据挖掘算法能够迅速、及时的进行大数据的处理，传统的算法在海量数据的处理中往往需要耗费长达几年的实践进行处理，才能得到有价值的信息，而数据挖掘技术的应用很好解决了这一问题，大数据价值直接呈现。
1.2.3 预测性分析能力
大数据技术的另一典型特征是预测性分析能力，大数据技术能对当前海量的数据进行统计和深度分析，挖掘出特点的基础上结合数学技术构建科学的模型，然后利用该模型和新数据进行未来数据的预测。
1.2.4 语义引擎
目前大数据技术已经在数据挖掘和分析中广泛应用，可以借助标签关键词、关键词和其他输入语义进行信息搜索，在检索和分析的基础上判断用户的实际需求，然后根据实际需求进一步挖掘和分析，为提供用户更有价值的信息。
1.2.5 数据质量和数据管理
大数据技术在不同领域的应用需要高质量数据的支持，数据管理技术对大数据技术的应用和推广和具有重要意义。只有有效的数据管理技术和高质量数据的支持，才能够保证大数据技术应用和分析结果的价值性、有效性以及真实性。
1.3 工具
云计算技术和大数据技术两者相辅相成，密不可分。大数据技术的应用和推广必然需要结合分布式架构，同时也需要大量计算机的支持，依托云计算的分布式数据库、分布式处理、虚拟化技术以及云存储技术实现。就目前大型大数据的应用中主要采用Hadoop 平台，该平台是基于Apache基金会额分布式系统基础架构基础上进行构建的。作为一种可靠、成熟、可伸缩、高效的处理方式，Hadoop结构图如图1所示。
2. 大数据技术在民航空管中应用思路及流程
2.1 思路 前面分析提出大数据技术和云计算技术是相辅相成、密不可分的，在大数据技术的应用中必须要依靠多台计算机设备、采用分布式架构，基于此才能够对庞大数据进行挖掘、分析和整合。在大数据技术中引入云计算技术之后，能够实现对海量数据的有效梳理、存储和虚拟管理。比如前面指出目前常用的大数据技术是基于Hadoop平台进行构建的，结合分布式系统基础架构实现问题的高效、科学处理。
2.2 流程
2.2.1 数据采集
基于传感器形式，结合不同数据库对Web以及App等中的数据采集和接受，该技术还需要保障用户具备处理和查询权力。目前大数据应用中会涉及到大量用户同时操作或访问服务的情况，这给大数据技术带来极大的挑战。以机票销售网站作为案例进行分析，尤其是机票销售网站的节假日期间，往往会有大量的用户同时访问网站，并且这些用户具有查询、购买机票的服务需求，给大数据技术采集、带来挑战，机票销售网站的荷载力较大。
2.2.2 导入与处理
大数据技术在完成数据采集之后需要对采集到的数据进行梳理、统计和分析，在此过程中需要将数据导入分布式存储集群和分布式数据库之中。数据导入和处理的关键点包括数据预处理工作，另外数据量极大，每秒钟有超过千兆、百兆的数据传输。
2.2.3 统计分析
大数据技术借助分布式数据库、分布式计算集群技术进行统计和分析，首先对海量的数据进行分类、整理、归纳和分析，根据用户需求进行匹配性处理。大数据技术应用的难点之一是海量的数据，其会占据巨大的存储空间。
2.2.4 数据挖掘
数据挖掘技术和传统的数据处理技术不同，不预先设定主体，根据算法和现有数据进行分析，在分析和解读的基础上预测未来的发展趋势，从而满足更高级别数据分析的实际需求。大数据技术的运算数量较大、运算方式复杂。
3. 民航空管大数据处理平台架构
3.1 总体架构
如图2所示的空管大数据处理平台的底层是硬件层，硬件层中涉及到的大量硬件能够为大数据处理平台提供硬件支撑，其由文件服务器、防火墙、网络资源、数据库服务器以及存储阵列等硬件构成，这些硬件能够为平台提供计算、存储、网络和通信支持。硬件层又由硬件基础服务平台和虚拟化基础平台构成，实现对业务资源、虚拟资源和用户资源的集中存储、计算，另外在硬件层中还配备统一接口，实现对虚拟资源的统一管理和调度，极大降低空管数据处理成本，另外也提高了系统的可靠性级安全性，对节能、绿色、安全大数据处理中心的构建具有建设性、基础性意义。
3.2 基础平台组成
本文提出的空管大数据处理平台同样是基于Hadoop 平台架构，作为主流的平台架构，其同样是采用HDFS分布式文件系统，分布式 NoSQL 列数据库采用HBase，处理数据仓库采用Hive，并行计算采用MapReduce。基于此构建的平台具备专家系统、实时监控、趋势分析和数据挖掘功能，能够对空管设备采集和监测到的实时数据进行接收和采集，在数据整理的基础上将信息以表格、图形、Web Gis的形式展现出来。另外该系统还具备历史查询、实时警告功能。结合分析引擎、模型对数据进行挖掘和分析，以此分析空管设备的运行状态、运行趋势，结合分析结果对接维修单位，提供专家系统服务。
3.3 平台计算引擎
3.3.1 批处理计算引擎
在空管监控系统中的冲突预测、流量预测、尾流间隔缩减、跑道侵入预测等业务模块均由批处理计算引擎支持。流量预测首先需要对机场中的航班计划、航班运行信息结合大数据技术进行分析，在航线、高度、航班、时间、空域以及天气监控的基础上对未来一段时间内的机场、空域运行情况进行信息预测。基于预测信息合理管制人员值班计划、安排绕滑行道使用、安排航班进离场顺序等，进而提升民航空管的效率和安全水平。在对空管航班飞行高度、飞行时间统计分析的基础上，首先对航路潜在冲突的预测，根据预测结果采取应对措施有效规避冲突。批处理计算引擎主要面向航司、空管部门提供的航班时刻表、飞行计划报、空域信息等历史积累数据。
3.3.2 流处理计算引擎
民航空管监控系统在引入大数据技术的时候具备极高的快速性、实时性和准确性要求，对于航班飞行过程、天气信息、飞行计划、飞行器运行状态等信息必须要实时获取，实现对航班和飞行器的实时监控管制。平台的实时监控模块数据来源包括场面运行、ADS-B、ACARS等，涉及到航班运行状态、飞机运行高度、速度、位置以及航向等重要信息，而空管指挥要求实时、精确、快速的获取这些信息，此类信息的价值会因时间的推移而逐渐降低。大数据处理平台具备实时性、快速性，实现对飞行器运行状态、运行状况的实时监控，管控人员根据监控信息对飞行器飞行态势进行判断。如果发现危险或者潜在危险的时候，空管人员会根据监控情况进行分析，得到问题和潜在问题的原因，调度地面工具和工作人员、技术人员采取针对性措施进行处理和预防，进一步提升故障解决效率。
目前，应对实时流计算引擎主要包括：Apache Flink，Yahoo 的S4，Twitter 的 Storm 和 Facebook 的 Puma。
结论
我国民航产业不断发展，空管监控系统发展要求不断提高，信息化建设迫在眉睫，智慧空管不仅是当前空管系统建设的要点，也是未来空管行业的重要发展趋势。在未来空管行业发展中，希望能够实现智慧空管在空管系统中的全覆盖。面对海量的数据，大数据技术在智慧空管发展中具备不可替代的重要作用。采用大数据技术对海量的数据进行采集、传输和存储，为分析、预测、判别、故障处理提供数据支持，有效规避信息孤岛情况的出现，满足行业数据需求，对我国空管行业迈向智慧空管有着重要的意义。
参考文献
[1]寧召宇.大数据时代机场网络安全威胁及防护研究[J].中小企业管理与科技（中旬刊），2021（04）：128-129.
[2]佟岱山. 民航工程建设大数据平台架构的思考[N]. 中国民航报，2021-04-15（006）.
[3]胡翼.以大数据为基础的空中交通流量管理研究综述[J].民航学报，2021，5（02）：65-68.
[4]赵学武，吴宁，王军，阮利，李玲玲，徐涛.航空大数据研究综述[J/OL].计算机科学与探索：1-30.
[5]潘卫军，刘铠源，朱新平，王玄，王少杰.民航机场应急救援大数据处理平台架构研究[J].计算机与数字工程，2021，49（02）：280-283.