随着信息化程度的提高,数据产生的速度超过以往任何时候,据统计中国网民数量已经达到10.32亿,网民在网络活动中产生了海量的用户行为日志。利用流式技术从这些行为日志中及时挖掘潜在的价值具有重要的实际意义,也是大数据处理的重要研究方向,本文基于Flink流式处理引擎实现了用户行为日志的统计系统。首先文中对基于用户行为日志中资源信息的统计需求进行了详细分析,主要包括提供用户行为日志收集服务,并将收集到的原始数据进行拆分存储以支持批处理与流式处理;通过流式处理计算基于资源的多维度统计信息,其中包括历史累计统计与窗口统计。其次设计实现了系统功能,并解决了流式处理中的两大难题。其中通过Flume设计实现了二层的日志收集与转储系统,日志分别存储到HDFS与Kafka,提供了支持批处理与流式处理的稳定数据来源;借助于Flink的窗口机制实现了对用户行为日志中资源的多维度的历史累计统计与窗口统计,统计结果分别存储于Redis与HBase。针对高并发处理造成的巨大存储压力,本文系统利用Flink“窗口”机制聚合了输入流量,实现了数据产出时效性与存储压力的平衡;通过Redis存储类型的设计,实现了免读的累加运算,大大优化了存储访问压力。针对多源数据流下基于事件时间水位触发不准确的问题,实现了“基于事件时间”分窗,“基于处理时间”的水位机制,此机制在多源数据流下水位产出稳定递增,保证了按事件时间“分窗”数据产出的时效性;通过HBase数据库Rowkey的设计存储了最小粒度窗口数据,实现了延迟到达数据的不丢失,保证了数据的完整性。最后对系统功能设计了测试用例,并对测试结果进行了分析,确保了系统功能符合需求。