物联网作为国家战略性新兴产业,广泛应用于工业控制、智慧城市、军事国防等领域。海量节点差异、异构网络互联、多源数据汇聚、跨域服务共享等特点,导致物联网更容易遭受DoS、SSH暴力破解、XSS/SQL注入、节点捕获伪造等攻击。系统异常检测研判与实时响应成为保护物联网系统安全的基础。海量日志分析是异常检测与研判的主要手段。因网络管理系统(NMS)需要特定领域知识并且不能识别出详细的网络事件,不能满足物联网安全的基本要求,本文研究基于关联关系的日志模板提取方法和基于自主学习的异常检测方法,提升物联网系统异常检测的准确性,具体研究内容如下:针对物联网海量多源异构日志结构的复杂性,设计一种有效信息的抽取模型,设计抽取规则机制,实现对海量日志的自动解析及清洗。针对模板词与参数次词在日志文本中的概率差异,设计一种基于DBSCAN的模板词提取方法,利用密度有效区分模板词。针对一个网络事件在多源异构日志中产生的多处痕迹,依据其中的关联关系,提出一种模板提取方法,形成攻击类型索引的日志模板集。针对攻击方式层出不穷、部分供应商不对外公布模板库的情况,提出一种基于相似度的在线模板集更新方法。实验表明,基于以上方法的模板抽取模型平均准确率可达98%,能够实现对海量非结构化物联网日志模板的精准抽取。针对物联网平台主动异常检测的需求,需要对未知的网络事件主动学习以及分类,基于K-Means聚类算法无监督思想,提出一种自主学习网络事件的方法,设计了基于K-Means的数据分类方法,实现对海量非结构化物联网日志的向网络事件的转换。实验证明,该方法的事件识别准确度可达95%以上,且可以处理多源异构日志类型,具有动态适配性。基于所研究的技术和方法,在自主研发的微物联共享平台的基础之上,开发了基于ELK的日志采集、分析、传输、存储及展示系统,实时检测已知攻击,判别未知攻击,提升了物联网平台的安全性,验证了本文所提出的方法的有效性。