农业数据处理中的异常检测方法研究

来源 :中国农业大学 | 被引量 : 9次 | 上传用户:fclzlj123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着物联网等信息技术的发展,在农业生产领域产生和积累了大量的数据,为农业数据处理提供了丰富的数据来源。然而,由于受农业生产成本和复杂的农业生产环境等因素的影响,数据中也包含了大量的劣质数据,极大降低了数据的可用性。如何发现海量数据中的异常数据是农业数据处理过程中首先要解决的问题。本文从农业数据处理中对数据预处理的需求出发,研究了农业传感器数据和近红外光谱数据的异常检测方法。主要研究内容包括:(1)在单传感器数据异常检测方法研究的基础上着重研究了多传感器数据的异常检测方法。传感器数据除具有无限、快速等典型的数据流特征外,还具有时间相关性和空间相关性等特点。针对传感器数据的特点,本文在研究单传感器数据异常检测方法的基础上,针对传感器数据的时间相关性和空间性等特点,研究了多传感器数据的异常检测方法。提出了一种多传感器数据的异常检测框架,框架包括在线异常检测和离线异常源识别两个阶段。为方便对异常点来源的识别,在传统异常点分类方法的基础上提出了一种新的分类方法。基于以上研究,设计了基于邻差和聚类相结合的多传感器异常检测算法和基于相关关系的异常源识别算法,并通过实验进行验证。实验结果表明,本文提出的算法可有效实现对多传感器数据中异常点的检测及异常点来源的识别。在实验数据集中,异常点来源的识别准确率达95.8%。(2)研究了近红外光谱定量分析中异常样本的检测方法。近红外光谱分析由于其快速、无损等特点,已广泛应用于农产品的品质检测、土壤元素含量检测等领域。但另一方面近红外光谱具有信噪比低、易受测量环境干扰等问题,异常样本的存在进一步影响了预测模型的准确性。与常规的数据不同,近红外光谱数据具有典型的高维特征,且各维属性之间具有明显的关联关系。本文通过理论推导得到近红外光谱定量分析中的光谱距离和化学值之间的关系,并基于该结论设计了一种基于XY变量联合的ODXY异常检测算法。通过实验结果表明,ODXY算法相对于传统的异常检测方法具有对异常样本具有更好的检测能力和更好的泛化能力。根据NIR光谱的叠加性,在ODXY算法的基础上经理论进一步推导得到近红外光谱多组分分析时光谱距离和所有样本的化学值之间的关系,并提出一种专门用于近红外光谱多组分分析的异常样本检测算法。经实验证明:在NIR光谱多组分定量分析中,MODXY法相对于其他方法具有更好的异常样本识别能力。同时经实验表明:ODXY法和MODXY法具有一定的适用范围,它们更适合于待测组分的含量值相对标准偏差较大的情况。
其他文献
以四氢呋喃为原料,经酯化、磺化、酰氯化、缩合、环化等步骤,合成了化学名为4-(四氢-2H-1,2-噻嗪基-2)苯磺酰胺-S-2-二氧化物的抗癫痫药舒噻嗪(sulthiame),通过IR、^1H NMR和元素分析对其结
长乐故事会为国家非物质文化遗产,流行于湖南汨罗江畔长乐镇,主要依据各类故事,以孩童为主体,以古装装扮出生动造型并当街行之,是一种神秘灵动的行为艺术。它可分为地故事、
FMC即fixed-mobile convergence,是指固定通信与移动通信的融合。目前对这一概念有着多种理解。全球性固定移动融合联盟对FMC这样定义:它是运营商统一利用移动和固定运营商的
介绍了BN纳米管的研究进展,纳米管结构和制备技术发展状况,阐述了包括电弧放电、激光烧蚀、机械球磨、碳纳米管取代反应、热淬火法、碳热法和化学反应法等多种制备方法,展望
研究了脂肪胺的脂水分配系数实验值与半经验量子化学计算获得的理论计算参数值间的相关关系,结果表明:实验测定值与分子范德华体积及碳氮键长之间有良好的多元线性关系.
当前传统固网运营商走到了一个十字路口,面临很多新的机遇和严峻挑战。随着通信日益个人化、移动化,移动通信对固定通信的分流成为全球不可逆转的趋势。规模庞大的PSTN(Public S
相关研究表明,无线自供电传感器可能是持续监测基础设施的关键设备。目前,美国联邦公路管理局赞助了无线自供电传感器的研究,旨在促进该技术的发展和应用。对桥梁及其他交通
HDSL2Mb/s接入技术S.GulluogluJ.Waldinger在接入网中应用高比特率数字用户线(HDSL)技术,可以利用普通模拟电话的双绞线对简单、经济地实现ZMb人数字信号传输。与传输***3码的系统相比,这种技术的主要优点是通信距离可增加..
在KF-Al2O3负载型固体碱催化下,2,4- 噻唑二酮1和芳香醛2a-2f发生缩合反应,高产率地合成了5-苯亚甲基2,4-噻唑二酮3a-3f,测定了产物3a-3f在16种溶剂中的紫外光谱,其最大吸收频率与Hamme
1964年10月,开学后刚刚上了一个多月的课就停下了。根据校党委的决定,河北大学文、史、哲三系三年级以上的同学,包括部分青年教师,奔赴河北省新城县高碑店(今为高碑店市),参