【摘 要】
:
现今,深度学习凭借其优异的性能广泛地应用于医疗、交通、国防、工业、农业等诸多领域,正飞速地改变人们传统的生活方式和习惯。然而,深度学习模型复杂,训练代价高,可解释性差,易受对抗样本攻击,这些缺点给现今广泛应用的智能系统带来了巨大的隐患,限制了深度学习的进一步应用。因此,构建可解释、轻量级机器学习模型的需求越发强烈。模糊系统,也称模糊神经网络,可通过模糊集和规则与人类的决策方式建立联系,是一种能满足
论文部分内容阅读
现今,深度学习凭借其优异的性能广泛地应用于医疗、交通、国防、工业、农业等诸多领域,正飞速地改变人们传统的生活方式和习惯。然而,深度学习模型复杂,训练代价高,可解释性差,易受对抗样本攻击,这些缺点给现今广泛应用的智能系统带来了巨大的隐患,限制了深度学习的进一步应用。因此,构建可解释、轻量级机器学习模型的需求越发强烈。模糊系统,也称模糊神经网络,可通过模糊集和规则与人类的决策方式建立联系,是一种能满足该需求的机器学习算法。然而在现阶段,传统的模糊系统优化算法逐渐难以适应日益复杂且庞大的数据量,使得模糊系统在主流机器学习算法中失去了竞争力。针对该问题,论文参考其它机器学习算法尤其是深度学习的前沿理论和技术,基于小批量随机梯度下降优化,在保持模糊系统原有可解释结构的前提下,探索如何提高Takagi-Sugeno-Kang(TSK)模糊系统的性能。论文的主要研究成果如下。针对TSK模糊系统性能不足的问题,提出了基于均匀正则化和批标准化的模糊系统算法,其中包含两项改进:(a)提出均匀正则化方法,强制要求各规则的平均归一化激活度一致,避免只有少数规则主导预测结果;(b)提出在TSK模糊系统中使用批标准化层对规则后件输入做标准化以加快模型收敛速度。训练后将批标准化层的参数整合到规则后件参数中,即可保持原有TSK模型结构不变。实验结果显示,二者结合可显著提高TSK模糊系统性能。揭示了TSK模糊系统面临维度灾难问题的原因在于:归一化激活度的计算可等效为一个归一化指数函数,而该函数的输入会随维度升高单调递减,导致该函数饱和,造成规则利用率降低、损失地形图崎岖等问题。针对这一问题,提出了基于高维去模糊化的模糊系统算法,在去模糊化层面缓解饱和问题。实验结果显示,高维去模糊化算法可显著提高模糊系统在高维问题上的性能。揭示了TSK模糊系统使用不同梯度下降算法时效果差异显著的原因在于:规则数增多造成归一化激活度减小,进而导致规则后件参数出现梯度消失问题,模型容易陷入局部最优解。针对这一现象,提出了基于层标准化的模糊系统算法,使用层标准化放大归一化激活度,并使用线性整流函数过滤层标准化产生的负激活度规则以保持可解释性并提高鲁棒性。实验结果显示,基于层标准化的模糊系统算法在不同梯度下降算法和不同规则数上都可显著提高性能,且极大地消除了不同梯度下降算法带来的性能差异。针对脑机接口应用场景,提出了深度模糊系统算法和多层次预测平滑方法,基于脑电信号实时监测驾驶员疲劳状态。为提高模型泛化性能,深度模糊系统算法采用多层神经网络作为特征提取器并在训练中动态丢弃通道特征,以高维去模糊化算法为回归器并动态丢弃规则。多层次预测平滑方法融合了特征层面和标签层面共三种平滑方法,极大地消除了噪声对模型预测的干扰。实验结果显示,深度模糊系统算法效果显著优于单独使用深度神经网络或模糊系统,多层次预测平滑方法可进一步提高深度模糊系统算法性能。综上,论文发现并解决了模糊系统在使用梯度下降优化时会遇到的一系列问题,所提算法简单通用且有效,可借助现有机器学习库快速实现。另外,论文还在脑机接口实际场景中对部分所提算法的有效性再次进行了验证并取得了最优效果。
其他文献
无线通讯的5G时代,对通讯系统的低时延和低损耗提出了更高要求,低介微波介质陶瓷因介电常数(εr)低和品质因数(Q×f)高的优点被广泛用于高端微波介质器件和基板中。但低介微波介质陶瓷的谐振频率温度系数(τf)一般为较大的负值,近零的τf值才有助于器件在工作时保持谐振频率的温度稳定。CaSnSiO5陶瓷具有低εr、高Q×f和反常正τf值的特点,可能是一种新型的τf值调控剂,但CaSnSiO5陶瓷具有高
在数字时代,有效使用信息的能力是影响组织决策的核心因素,但其在政府决策中的作用机理却较少得到关注。本文结合资源基础理论和动态能力理论,构建了基于信息能力的政府决策过程分析框架,并运用该框架对数字化改革先发省份基层智治大脑唯一市级试点——Q市进行个案分析,系统考察基层智治大脑在提升政府信息能力的同时重塑决策过程的具体机制及实际效果。研究发现,“大脑”的应用显著强化了政府对决策信息的获取、配置、整合、
随着我国双碳战略目标的推进与实施,提高能量利用效率与减少排放已成为当下的重要议题,在生产生活中有总量较多的小规模余热被排放到大气中,如车船尾气余热、小规模工业流程废热等,当这些场景对冷量有需求时,采用氨吸收式制冷技术可以对包括尾气余热在内的小规模余热进行回收并提供冷量,以提高能源利用效率。本文围绕尾气驱动的小型氨吸收式制冷系统进行了理论与实验研究。1)构建了尾气驱动吸收式制冷系统理论循环的数学模型
飞行器智能蒙皮技术是改变未来先进飞行器设计及实现自主飞行的一项革新技术,具有自诊断、自适应、自学习、自修复等能力。飞行器需要实时监测飞行过程中的环境气动参数(如压力、温度、速度)以及结构状态参数(如应变、振动、冲击)。然而目前柔性智能蒙皮及其核心传感器的研究还处于小面积、单功能、低速测试的初级阶段,无法满足飞行器表面的大面积、非平面、多参数、精细化等测量需求。锆钛酸铅(PZT)传感器既对压力信号又
高光谱图像数据的低空间分辨率和光谱变异性等特征,引起的混合像元问题严重制约了高光谱图像的精准应用。尽管深度学习算法在解决混合像元问题上表现出不俗的实力,但仍存在难于充分融合先验信息、缺失重要端元信息等问题,导致解混性能不佳。针对上述问题,本学位论文基于自编码器框架,结合积分概率度量和率失真理论,设计出一系列有效的高光谱图像解混算法,具体研究工作概括如下:(1)针对现有解混算法难于充分融合先验信息导
大型托卡马克装置稳态强杂散磁场引起的电力与电子设备失效问题是其稳定运行的潜在威胁,磁场抗扰度测试是托卡马克装置现场设备准入性检验的主要技术手段。大口径稳态磁场线圈是抗扰度测试系统的核心部件,主要用于产生测试所需的大空间均匀强磁场。为实现中国聚变工程实验堆(China Fusion Engineering Test Reactor,CFETR)现场设备的抗扰度测试,国家重大科技基础设施项目“聚变堆主
血流速度异常是微血管功能障碍的迹象之一。因此,连续监测血流速度变化对于评估微血管功能和解析基础研究中的病理学机制具有重大意义。激光散斑成像是一种无接触、宽场、高时空分辨率和低成本的血流速度检测技术,在临床诊疗方面取得了广泛应用。然而,诸多因素影响了激光散斑血流检测的准确性,其中包括与成像系统有关的相干性损失和光电探测器噪声、与生物组织特性相关的电场自相关函数形式、与静态散射相关的非各态历经性成分以
图像目标检测是视觉分析和理解的重要基石,旨在识别图像中所有目标类别并用外接矩形定位。随着大数据、人工智能、计算机视觉技术迅速发展,基于深度学习的目标检测算法取得了突破性成果,使目标检测技术广泛应用于智能医疗、安防监控、智慧交通、自动驾驶等各个领域。虽然深度学习算法在复杂场景中的效果远超传统算法,但是其网络模型存在的一些问题依然限制了检测精度和效率,例如:深度多尺度特征表达能力不强、不同类别样本数量
最大可满足性问题(Maximum Satisfiability problem,Max SAT)是第一个被证明为NP完全的可满足性问题(Satisfiability problem,SAT)的优化形式。作为逻辑约束优化模型,Max SAT有很强的表达能力,学术研究以及工业优化中有很多问题都可以转化为Max SAT问题,从而利用Max SAT的方法和策略进行研究或求解。近年来,国内外研究者们对Max
中国是世界上最大的抗生素生产国和消费国,抗生素药物的大量使用和不当处置会造成严重的水环境问题,给水生态和人体健康带来潜在威胁。由于常规的城市水处理技术对这类污染物的处理能力有限,因此开发高效、安全的药物处理方法十分必要。基于过氧乙酸(PAA)的高级氧化技术能产生多种活性物质,具有降解水中抗生素类药物的潜能。本文以广泛使用的抗生素磺胺甲恶唑(SMX)为目标污染物,开发过渡金属活化PAA的高级氧化技术