随着物联网业务系统数据采集点的逐步增多,日志数据量增长呈现指数趋势,传统的日志分析方法不再适用.针对海量的应用日志、错误日志、系统日志等分散存储在不同设备中,企业会面临异常监控发现不及时、日志分析效率低下、统计检索繁琐等问题,针对此问题提出了一种海量日志处理技术,该技术替代了传统的Shell脚本对日志的处理方式,基于图论中最短路径的Dijkstra算法,在MapReduce框架中进行了实现,将其并行化.实验结果表明,通过分布式算法处理海量日志,使用控制器和存储来控制和管理所有的路径和链接.因此,查找效率大大提升.另外,通过在一个网状网络的小型测试平台的实验,证明存在异常日志的网状网络可以快速查询到,基于Dijkstra方法改进的日志处理算法具有更小的时间复杂度,可在少量迭代次数之内找到异常日志所关联的节点,极大地提升了异常日志分析的效率.