鲁棒主成分分析及其在异常检测中的应用研究

来源 :太原理工大学 | 被引量 : 0次 | 上传用户:zfbandfsy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为了从高维的数据中挖掘其内在的价值,并提高数据分析的时间效率,需要提取高维数据的低秩特征。主成分分析算法能够提取数据的低秩特征,提高机器学习算法的计算效率以及机器学习算法的泛化能力。经典的主成分分析算法存在不能提取含噪声数据的低秩特征的缺点,通过对鲁棒主成分分析算法的研究,能够解决传统的主成分分析算法不能提取含噪声数据的低秩特征的这一问题。现有的鲁棒主成分分析算法具有时间效率低下的问题,本文基于此问题,提出了牛顿-软阈值迭代算法,该算法利用牛顿法提高了求解低秩矩阵的速度,利用软阈值迭代算法提高了求解稀疏矩阵的速度。同时使用牛顿法与软阈值迭代法,使得鲁棒主成分分析算法的时间复杂度大幅降低。通过实验数据证明,本文提出的牛顿-软阈值迭代鲁棒主成分分析算法能够有效的解决含噪声数据的低秩特征提取问题,同时经过实验证明,本文提出的牛顿-软阈值迭代鲁棒主成分分析算法相比较现有算法,在时间效率上有显著的提升,相比较低秩矩阵拟合算法的时间效率提升了92.4%,相比较梯度下降的鲁棒主成分分析算法的时间效率提高了54.2%。同时由于提出的软阈值估计算子,提升了软阈值迭代法的精确度,因此在视频前景背景分离,图像降噪的实验中,本文提出的牛顿-软阈值迭代算法具有较高的精确度。在图像降噪实验中,牛顿-软阈值迭代算法计算得到的图像的峰值信噪比为32,是对比算法中最高的,也证明牛顿-软阈值迭代算法的精确度得到了提升。传统的异常检测算法对线性的数据进行异常检测,容易将正常数据判断为异常数据。鲁棒主成分分析算法能够抵抗噪声提取含噪声数据的低秩特征,基于此特性,本文提出了广义鲁棒主成分分析算法,广义鲁棒主成分分析算法能够将含噪声的数据分解成为两组数据,一组是纯噪声数据,一组是不含噪声的正常数据。根据给出的广义鲁棒主成分分析算法的定义,通过最大似然估计计算分类数据的阈值,根据给出的阈值将数据分为正常数据与异常数据,达到数据异常检测的目的。最后通过实验分析,本文提出的广义鲁棒主成分分析异常检测算法能够有效解决针对线性数据的异常检测问题,并保护正常数据不被误判为异常数据。同时设计实验对比传统的异常检测算法与本文的广义鲁棒主成分分析异常检测算法的异常检测能力,结果证明,本文提出的广义鲁棒主成分分析异常检测算法能够将真正类率提高到99.8%,有效的保护了正常数据。同时,本文提出的算法以91.1%的正确率在所有对比算法中最高。
其他文献
入侵探测技术被广泛用于区域防护以保障人身和公共财产安全。现有的入侵探测技术包括激光雷达、光学/热红外摄像机、电子围栏、振动电缆传感器、光纤传感器和入侵探测雷达。除入侵探测雷达外,其它入侵探测技术普遍存在隐蔽性差、易受环境温度、可见度以及嘈杂振动影响的缺陷。入侵探测雷达采用泄漏电缆或者常规天线发射探测信号和接收回波信号,从而构建人眼不见的电磁防护区域,弥补了上述缺陷。但是受限于发射信号的固有特性,入
激光雷达作为一种主动式扫描探测技术,可以快速获取周边环境的信息。随着激光雷达在机器人、无人驾驶等领域的广泛应用,国内外激光雷达市场迅速发展。鉴于目前市场上成熟的激光雷达产品存在价格昂贵、国外技术垄断和控制算法不开源等问题,本课题开展了激光雷达的设计研究工作。本文以移动机器人室内环境感知为背景,结合车载环境和实际应用需求,使用课题组自行研制的激光测距模块,设计了一种二维激光雷达扫描系统。设计的二维激
基于超宽带雷达的非接触式生命体征监测系统是将雷达技术应用于生物监测领域,其目的是通过非接触方式获取目标人体的呼吸和心跳频率。在新冠肺炎全球蔓延的大背景下,医院各方都在寻求更为有效与安全的监测手段,而基于超宽带雷达的非接触式生命体征监测系统,在保护病人生命安全的同时,也为前线医疗人员提供安全保障,集合了高效、安全的监测特征,不仅应用于防疫医疗监测,也适用于慢性病患者或老人居家呼吸心跳等健康体征监测,
语音识别技术在人工智能的推动下再一次迎来发展的热潮。人们迫切的希望在实际的生活当中,也能与智能机器有更好的交流,让机器听懂人们的语言,按照人们发布的指令正确的完成应答操作。但当下,语音识别技术走出实验室进入生活仍存在一些技术性难题。在没有噪声或者噪声很小的环境中,语音识别系统识别效果良好,会有较高的识别率;但当在背景噪声很大,或者识别环境更复杂的情况下,识别系统的性能就不如实验室安静环境下理想。所
语音增强是指从含噪语音中去除噪声,以提高语音质量和可懂度。目前已经有包括卡尔曼滤波在内的多种语音增强方法,其中卡尔曼滤波器的增强性能很大程度上取决于参数的估计精度,但是传统卡尔曼滤波方法中对于参数的估计存在缺陷,这会直接影响到卡尔曼滤波器的增强性能。此外由于早前的研究者认为相位对于语音质量的提高贡献有限,因此多数语音增强方法在对含噪语音进行增强时仅对幅度谱进行处理而相位则使用含噪语音相位直接代替。
混沌信号具有类噪声、高带宽、随机性强等特点,在加密通信、随机数发生器、车载激光雷达等领域有重要应用价值。特别是在激光雷达领域,混沌激光的功率决定了雷达的有效探测距离。因此,实现高功率的混沌激光产生是车载混沌激光雷达发展的必然趋势。1550nm波长处于激光的近红外波段,相比于传统激光雷达使用的800~1000nm波段激光信号,1550nm激光在雾霾、沙尘等低能见度天气下穿透能力更强,对人眼也更安全。
随机数从根本上决定着信息系统的安全,在全球通信安全和金融安全领域起着至关重要的作用。量子随机数的产生基于量子物理的不确定性本质,即量子的内禀随机性,是安全性信息论可证明的真随机数产生方案。在各类量子随机数产生方案中,基于连续变量量子态分量起伏不确定提取随机数的方案因其熵源及测量模型明确、探测系统高带宽、鲁棒性等优势尤具应用前景。对于实际的量子随机数产生方案,系统量子熵含量的严格评估、量子随机数的提
近年来随着无人驾驶技术的发展,激光雷达已经成为无人智能车中重要的环境感知设备,相比于与毫米波雷达,激光雷达具有距离分辨率高、抗交叉干扰能力强、体积小等优点,在高精度测距的同时可以实现高分辨成像。随着激光雷达的大量应用于无人驾驶汽车中,传统的脉冲激光雷达极易受到其他激光雷达的干扰或者人为干扰攻击,使得激光雷达出现探测错误、增加虚警概率,导致激光雷达产生误判,引发交通事故。因此在车载激光雷达领域,高精
天线具有收发电磁波的重要作用,在无线通信系统中的地位不言而喻,近年来无线通信技术飞速成长,系统对天线的要求也随之不断升高。微带天线因其容易和其他设备集成、尺寸小、成本低廉且容易制作等优点得到了广泛的使用,但是传统微带天线增益低、方向性差、带宽窄等缺点也成为众多学者需要攻克的难题。超材料的提出为改进微带天线性能打开了一条新的思路。电磁超材料是一种周期性排列的人工结构,所表现出来的逆多普勒、负折射率等
人体的脉搏波信号中包含了大量的能够显示人体各机能状态的生理和病理信息。其在人体健康的预测判别、疾病辅助诊断等方面具有重大的现实意义和广泛的应用价值,但传统脉诊过程中的非客观化因素,极大的阻碍了脉搏波信号背后隐藏的价值信息的挖掘,使得该生理信号的相关应用范围变得局限。通过设计相应的脉搏波信号采集记录装置,结合多种有效的信号特征分析方法,能够准确客观实现脉搏波信号的特征量化,借助高信息量以及低维的信号