【摘 要】
:
随着信息技术的快速发展,现实世界中每天都会产生大量的数据,通过数据分析技术可以从大量数据中获得有价值的信息并加以利用。高质量的数据是进行高效准确的数据分析的前提。然而,高质量的数据很难直接获得,数据缺失的问题对数据质量造成很大影响。针对数据缺失问题,高效的数据填补方法能够保证数据的完整性,提高数据质量,为数据分析提供数据支撑。目前,在缺失数据填补的研究上有两个难点:一个是大部分的数据集都是无标签信
论文部分内容阅读
随着信息技术的快速发展,现实世界中每天都会产生大量的数据,通过数据分析技术可以从大量数据中获得有价值的信息并加以利用。高质量的数据是进行高效准确的数据分析的前提。然而,高质量的数据很难直接获得,数据缺失的问题对数据质量造成很大影响。针对数据缺失问题,高效的数据填补方法能够保证数据的完整性,提高数据质量,为数据分析提供数据支撑。目前,在缺失数据填补的研究上有两个难点:一个是大部分的数据集都是无标签信息的不完整数据集,在数据填补过程中忽略了数据的潜在类别信息,造成填补准确性下降;另一个是为了充分利用现存数据,有些数据填补方法把存在缺失的数据也加入到填补模型中训练,这会导致填补模型性能下降。因此,缺失数据填补方法对获取高质量数据有很大作用,设计并研发一个高效的数据填补系统势在必行。针对上述缺失数据填补领域存在的问题,本文提出如下解决方法:首先,针对无标签数据集,为了挖掘出数据潜在的类别信息并加以利用,提出一种基于伪标签的数据集划分方法,将待填补数据集按照数据的潜在类别划分为若干子集。其次,提出一种生成对抗降噪填补网络(Generative Adversarial Denoise Imputation Network,简称:GADIN),用于在每个子集中填补缺失数据,融合了降噪方法的GADIN,降低了缺失数据对构建填补模型的影响。最后,通过实验验证的结果表明该数据填补方法的有效性。本文在进行了详细的需求分析的基础上,设计并实现了一个基于生成对抗降噪网络的数据填补系统。本系统有五个功能模块:用户登录、用户管理、数据预处理、模型构建和数据填补。用户登录模块用来验证用户的登录信息;用户管理模块用来进行用户信息的维护;数据预处理模块用来进行清洗数据,使数据满足填补方法的需要;模型构建模块用来训练数据填补模型,数据填补模块利用训练好的填补模型将不完整数据集填补完整。本系统是通用的数据填补系统,可为各个领域提供数据填补功能,为测试该系统的功能,本文以金融领域数据填补为例进行系统测试。
其他文献
以煤矿采煤机作为所要研究的对象,对其发生的故障进行诊断,对有故障倾向的事故进行预防,以达到减少生产事故发生的效果,避免造成人员的伤亡。但对于煤矿采煤机而言,其内部结构非常的复杂,并且其部件繁多,造成故障的形式多种多样,这样会导致故障诊断难度系数大大提高。因此,我们要用科学的方法来进行相应的故障勘测。首先我们将利用传统机械学习算法的人工神经网络、支持向量机、集成学习算法构建组成神经网络模型;然后对所
目的:探索建立北京协和医院互联网药学服务模式,助力公立医院高质量发展,以期为“互联网+药学”发展提供参考。方法:查阅国内外文献、开展调查研究,结合医院实践经验,归纳总结北京协和医院互联网药学服务管理制度、操作规程、服务内容和质控体系。结果:初步搭建北京协和医院互联网药学服务模式,服务内容包括互联网药学咨询、互联网处方审核、互联网用药指导、药品配送到家和互联网药学门诊。截至2022年11月30日,已
高速列车出厂前的系统化调试是保证列车能够正常运行的前提。记录调试过程的步骤、调试结果、参与人员等信息将有助于分析列车调试的整体进度以及关键参数。使用传统的纸质工艺文件进行调试,存在调试周期长、检测结果产生误判、列车关键测试数据无法自动提取分析的缺点。为了减少调试时间的成本,降低调试误判的风险,提高调试管理效率,提出基于SSM(Spring+SpringMVC+MyBatis)框架的列车智能调试平台
随着数字中国战略的提出,工程勘察设计企业数字化转型的需求日益迫切。为满足数字化协同设计的需求,解决统一协同设计环境和规范化资料管理手段缺乏、流程流转效率和真实性低、项目信息化管理手段不足、三维成果可视化分析不易、知识数据资产无法沉淀的问题,对协同设计平台进行研究并完成相关研发。确定了协同设计平台框架,结合层次化索引、增量存储技术、流程数字化构建、数据采集技术、基于WebGL引擎的数字孪生场景构建五
本文针对市政道路施工过程中的协同管理问题,探讨了基于BIM技术的协同管理模式。首先介绍了BIM技术的基本概念和在市政道路施工中的应用现状,分析了BIM技术在市政道路施工中所带来的优势。其次,设计了基于BIM的市政道路施工协同管理模式,明确了协同管理的原则和流程,并对模式的实施和效果进行了评估。本研究为市政道路施工提供了一种新的协同管理思路,具有一定的实用价值和推广意义。
随着新时期教育改革的深化和素质教育的推进,劳动教育与德育、智育、体育、美育并列起来成为我国教育工作中的主要内容,也是促进学生全面发展和推动学生综合素质提升的关键。在小学阶段开展的劳动实践活动首先是对小学生身体素质的锻炼和提升,其次是对小学生思维体系发展的促进与升华,最后是对小学生核心素养与综合素质培养的推动与助力,能够帮助小学生形成正确的劳动认识和掌握更多的劳动技能,对小学生良好道德品质的形成能够
当前,国际形势日趋复杂,全球经贸摩擦不断加剧,地缘政治危机屡见不鲜,全球供应链受阻问题愈发突出。党的二十大明确指出,我国要“着力提升产业链供应链的韧性和安全水平”,可见如何提升供应链韧性这一问题已经上升到国际战略层面,与国家安全与经济发展密切相关。同时,在数字经济的浪潮之下,数字智能技术的加速迭代促进各行各业转型升级,为供应链信息流的及时性和准确性提供了保障,数字智能技术如何赋能供应链,帮助其在不
<正>湖北省药监局近日起草并公布了《湖北省社会药房互联网药学服务管理规定(征求意见稿)》(以下简称《规定》)。《规定》要求,社会药房开展互联网药学服务实行报告制度:(一)具备高级药学服务能力的药品零售连锁企业和药品零售企业(包括药品上市许可持有人从事药品零售活动)可以开展远程审方药学服务。(二)其他社会药房可以由第三方电子处方流转平台提供电子处方,并提供相应的互联网医疗服务和药学服务,
滚动轴承作为机械设备的关键零部件之一,已广泛用于轨道交通装备、工程机械、精密机床、仪器仪表等工程领域。据统计约30%的旋转机械故障是由轴承故障引起,轴承一旦发生故障将会严重影响设备正常运行,甚至可能造成安全事故和经济损失,因此轴承故障诊断,对提升设备的安全性和可靠性具有重要意义。而轴承往往是在多工况交替的运行下,不同工况下的数据意味着训练与测试数据分布不同,此时深度学习的方法诊断精度低甚至失效的问