随着分布式系统的快速发展,复杂应用不断水平扩展,日志被分散在很多不同的机器设备上,同时各类应用程序在运行中产生的日志呈爆炸式增长[1],给日志的收集、存储和分析都带来了新的挑战。目前市场上常见的日志收集方案,不能同时解决日志可分析性差、性能差、不可靠、不好扩展等问题,其中性能方面暂未取得突破性进展,无法满足业务快速扩张的需求。因此本文核心要解决性能问题,同时保证可靠性、可分析性和可扩展性,为特定场景下的日志采集提供了更好的解决方案。在可分析性问题上,本文通过JSON序列化将日志数据进行结构化,方便后续的可分析性;添加了日志排序字段,能保证毫秒内日志的有序性,方便排查问题。在可扩展性问题上,当组装日志数据时自动获取MDC中日志数据,各业务线可以根据各自的需求,将定制化的属性放入MDC中即可做到日志内容的方便扩展;采用Kafka和Pulsar这种分布式可水平扩展的组件来解决日志中心服务的可扩展性问题。在可靠性问题上,当日志中心不可用时,支持将日志暂存在本地;采用心跳机制,避免由于网络异步发送带来的日志丢失问题;采用发送确认机制,避免内存中日志由于服务重启带来丢失问题。本文针对日志本地存储实现了一个日志持久化文件系统,该系统可以提供对日志的临时存储和读取,支持对日志使用不同的压缩算法,保证日志读取的有序性,支持对单个日志文件的大小以及日志文件的个数可配置,支持服务重启后自我检索并还原到上次读写的索引位置。针对性能问题,在网络传输中引入批量技术节省网络IO开销;采用Disruptor高性能队列替代JDK自带的阻塞队列,能提供更好的性能表现;重写了JSON序列化方法,减少中间过程和临时对象的创建;采用内存重用技术,减少内存开辟和销毁的开销;采用零拷贝技术,减少内存复制的开销。本文自定义实现的JSON序列化工具,可以做到零拷贝和零GC。该工具支持对时间戳的格式化,支持对较长的字符串做截取,支持byte数组重用,其中重写的时间戳格式化,相比Java自带的日期格式化工具来说,性能提升了7倍。系统经过测试后性能提升明显,相较于Filebeat文件采集方式,吞吐量提升了18倍,相较于Github网络采集方式,吞吐量提升了5倍,在4核8G这种常见的机器上,最大能支持到100万的日志打印速度。本论文设计实现的日志收集器已经在公司应用系统中投入使用,使用效果良好。