基于自然语言处理技术的民航安全信息数据质量提升方法研究

来源 :中国民航大学 | 被引量 : 0次 | 上传用户:ellen0807523254
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
安全是民航稳定运行和发展的生命线,航空安全信息是保证航空安全的重要数据来源,而数据质量是影响数据分析的关键因素。本文针对民航安全信息数据填报质量不高,数据分类不准确等问题,提出了基于自然语言处理技术的数据质量提方法,初步实现了对事件信息中的简要经过和事发阶段两个维度的数据质量的提升,本文相关方法也可用于其他类型航空安全信息的数据质量提升。本文的具体的工作内容如下:(1)提出了一种基于Fast Text模型的民航安全信息填报要点提取方法。根据Fast Text模型运行速度快、准确性高的特性,最初由多个词语和N-gram特征进入输入层,在经过平均叠加的隐含层对词向量处理后,得到各个标签的概率作为输出结果,最终判定概率最高的标签为结果。选取选取鸟击、中止进近/复飞、外来物击伤、风切变四个事件类型作为实验数据,利用Fast Text模型构造分类器分别对四个事件类型的要点进行提取,最终得出各个事件类型的要点填报情况。(2)根据提取出来的事件类型的要点填报情况,选取鸟击事件为代表,利用关联分析中的Apriori算法建模,设置最小规则置信度为0.1,最低条件支持度为0.5,分别将事件类型的要点与各个管理局、航空公司以及机场进行关联分析,根据挖掘出来的关联规则得出以下结论:在七大地区管理局中,华东管理局对于“鸟击是否通报机务”填报情况最好;华北管理局对于“残留情况”的填报情好于其他管理局;中南管理局对于“起降阶段是否通报管制”的填报情况较好。在航空公司与机场的分析中,航空公司对于各个要点的填报情况要好于机场的填报情况。(3)提出了一种基于SVM模型的数据清洗方案。针对事发阶段中分类不准确问题,首先设计了一种基于one class svm的异常值筛选模型,筛选出其中分类错误的数据。然后,利用BERT模型对分类正确数据进行训练,利用经过训练的模型对筛选出来的异常数据进行重新分类。最终试验后的数据分类准确率提高了10.2%,数据质量得到了提升。
其他文献
在国家双循环新发展格局政策引导下,我国航空货运迎来了重大变革期。然而,目前机场空侧货运区作业能力无法满足实际运行需要的货运发展瓶颈已逐渐凸显。为延伸空侧货运区资源,最大程度优化资源配置,航空货物短途驳运应运而生。但由于航空货物短途驳运属于航空货物运输的一个环节,且涉及人员较多、操作流程较为复杂,各个环节都存在着潜在的风险因素,若未对其进行有效地控制,将对航空货物运输造成不可估量的后果。因此,对航空
学位
单幅图像去雨任务的一个关键挑战是在完全去除雨痕的同时仍然保留准确的图像细节。由于雨痕和背景场景细节之间的固有重叠与相似,在消除雨痕的时候,纹理细节会不可避免地丢失,这使得图像去雨任务的两个目的相互矛盾。现有的基于深度学习的方法试图在一个级联框架中同时解决这两个问题,或者将它们作为平行结构中的两个独立任务分别解决。然而,没有一个现有的方法能探索雨水分布与隐藏特征响应之间的联系与作用。使用雨水分布对隐
学位
在飞机的起降阶段极易发生突发事件,无论是自然灾害、技术事故、还是社会事件,都会对机场运行造成一定的影响。这些事件发生的概率和强度都很难预测和控制,但可以从机场运行系统本身的角度,提升自己抵抗突发事件不利影响的能力,降低机场的运行脆弱性。本研究在机场面临的众多干扰中选取跑道安全事件为干扰因子,基于脆弱性概念和VSD模型,结合其他研究中脆弱性指标设计思路,确定了暴露程度、敏感性、适应能力3个方面的一级
学位
随着近年民航业的迅速发展,航班业务量的大幅增加,机场为满足运行需求均在进行大幅扩建和在建,同时支线机场的数量也在大幅增加,仅在2020年,整个行业全年新建和更新114个新机场场,增加4条跑道,377个停车区和179.8万平方米的终端空间。到2020年年底,全行业的运输机场将有265条跑道、6621个停机位和1799.8万平方米的航站楼。另外还新增了93个通用机场,将全国管理的通用机场数量增加到33
学位
近些年来,卷积神经网络因其强大的建模及表达能力改变了甚至革命化了许多机器学习任务,视频显著性物体检测就是其中的一个。视频显著性物体检测旨在识别出一个视频内最具有显著性的物体,不仅有助于理解人类视觉系统的机制,而且还是许多高级计算机视觉任务不可或缺的预处理方法,例如视频物体分割、视频分类、视频重定时和自动驾驶等。视频显著性物体检测在日常生活中的应用也有很多,比如帮助审核视频内容的人员或进行视频监控的
学位
联邦学习(FL)作为一种保护隐私的分布式机器学习,在智慧医疗,金融分析等领域有广泛的应用前景。联邦学习被广泛部署于边缘应用场景,致力于在保证隐私安全的前提下充分挖掘边缘设备中的数据和计算价值。然而,由于边缘场景的复杂性(如设备异构性,物理宽带限制等),联邦学习技术还远远未成熟,仍存在巨大的可优化空间。特别地,如何在联邦学习训练中对进行客户机选择是一个研究切入点。鉴于其部署环境中的物理带宽限制,在每
学位
随着我国火灾形势的日益严峻以及哈龙灭火剂的全面淘汰,超细ABC干粉灭火剂以其灭火效率高、环保无污染等优点成为最理想的哈龙替代灭火剂之一。其中,以聚磷酸铵(APP)为主要灭火组分的超细ABC干粉灭火剂,与以磷酸二氢铵为主要灭火组分的超细ABC干粉灭火剂相比,具有低吸湿性和高灭火能力的优势,逐渐成为研究热点。APP作为一种聚合物,分子结构具有多样性,在不同的制备工艺下可获得聚合度和晶型结构具有显著差异
学位
长期以来,航空公司管控不利事件首要强调防患于未然,期望能通过风险管理,尽可能避免其发生。这确实取得了丰硕的成果,但随着公众对民航运输需求的不断提升,航空公司的运营规模与运行复杂性激增,致使准确、全面预测风险的难度日益提高,着重强调事前预防的管理模式正面临严峻挑战。虽然目前航空公司已考虑到这一点,建立了应急响应预案以应对可能发生的事件,但应急预案的核心作用是在事件发生过程中迅速止损和防止损失扩大,并
学位
随着我国危险品航空运输量逐年递增,危险品航空运输事故频发,国家亟待解决应急决策短板问题。事故发生,现场科学高效的应急决策对于遏制事故蔓延,降低事故损失尤为重要。本文针对危险品航空运输事故现场由于信息传递不及时、不全面造成应急决策效率低下的问题,将案例推理(CBR)应用于危险品航空运输事故应急决策。本文对危险品航空运输全流程进行风险分析,从危险品航空运输托运方进行准备、订舱、收运、安检、配载、入库、
学位
目前航空货运和客运中锂电池爆炸起火的事故层出不穷,主要原因是锂电池热失控引起的。发生热失控的最主要原因在于锂电池内部结构状态发生变化,故锂电池内部结构状态的检测成为机场急需解决的重要问题。论文针对目前在航空运输安检中锂电池内部结构状态检测较少的问题,基于机器视觉技术提出两种针对18650锂电池分类识别的方法。具体包括以下研究内容:基于锂电池图像特征提出了两种算法。对显微X射线计算机断层扫描(CT)
学位