由于现代计算机软件系统结构复杂、规模庞大、相互协作等特点,软件系统出现异常行为的可能性也越来越高,并且因软件异常行为引起的软件执行故障已经成为软件系统的关键问题,而软件执行故障产生的随机性以及难以复现、捕捉等特点均导致软件行为异常检测面临严峻的挑战。日志记录了系统运行时的详细信息,分析系统运行日志是软件行为异常检测的主要手段之一。本文聚焦于分析海量非结构化软件运行日志,检测复杂软件系统的行为异常,并研发软件系统行为异常自动化检测工具。基于系统日志异常检测的传统方法,例如不变量挖掘方法,只构造日志事件计数向量,忽略了日志间的时序关系,在HDFS日志数据集中检测精确率较低,并且挖掘过程非常耗时,不利于实时日志异常检测。本文分析了系统日志的结构特征,将非结构化日志统一处理成只包含常量信息的结构化模版,提出基于余弦相似度的日志模版提取方法,实现海量非结构化日志的预处理。在异常检测方面,提出一种基于自编码器模型的软件行为异常检测方法,该方法将日志事件序列表示成TF-IDF向量,根据系统正常行为日志与异常行为日志的数量差异特点重建数据误差,将异常行为检测出来。该方法属于无监督学习方法,异常检测精确率最高为92.2%,高于不变量挖掘方法。软件系统正常行为产生的日志事件序列内部联系紧密,根据日志执行路径可以进行异常检测,本文提出一种基于GRU神经网络的软件行为异常检测方法。该方法只使用少量的训练数据,便可以完成一个高检测精确率的异常检测模型,可以实时进行日志记录分析。该方法可以发现软件系统行为中隐藏的时序异常问题,适用于大型软件系统的日志分析,其检测精确率最高可达95.3%,并且训练简单易于实现。在所研究基础上,提出了一个日志异常检测系统的框架设计,并实现了自动化异常检测工具。该工具支持不同的异常检测算法,可以根据实际场景需要选择合适的异常检测算法,方便使用。