随着保险行业业务发展的不断扩张,传统保险行业急需一种更加有效面对日益增长的海量数据的处理方法。然而在国内的传统保险行业当中,面对如此海量的数据,利用效率却依然具有很大的局限性。大数据技术和数据可视化的出现,使得对海量数据的利用取得了巨大的突破。本文针对目前大数据实时看板的发展现状,结合Hadoop的开源大数据生态与Spark计算框架,基于B保险公司的具体业务项目,通过梳理设计业务场景的数据模型,设计了专门针对该保险公司业务的新型ETL数据处理方案,并设计与开发了结合数据存储、数据处理和数据应用的完整保险大数据实时看板系统应用。首先,文本通过查阅目前国内外的保险行业发展以及大数据相关技术的研究现状,通过对比分析几种常见的数据处理框架,选择了开源、稳定、能够同时处理实时以及离线数据的Spark计算框架;接着,本文详细研究了Hadoop平台的MapReduce处理机制,HDFS分布式系统以及Hive数据仓库三个方面的内容,并介绍了在Spark实时计算当中会涉及到的Kafka消息队列,Spark Streaming和Hbase数据存储相关的技术,为后续实现具体系统功能打下理论基础;然后,本文对功能性需求和非功能性需求的分析主要来源于保险大数据所涉及的具体业务逻辑和使用场景,接着对该系统的整体技术架构和逻辑架构进行了设计,并对基础数据层和分析数据层进行了详细的设计;在此基础上本文对大数据实时看板的处理模块所涉及的具体功能进行了详细的设计,包括对保险数据流向的新型ETL任务的设计、实时数据以及离线数据的新型版本控制方法设计、在实时处理过程当中的新型异常数据回退处理方法、以及数据聚合和汇总的方法设计等。在数据应用模块当中,本文通过对最具本系统代表性的全流程理赔监控以及报表可视化的功能进行了设计与说明。然后本文针对具体的系统实现过程,给出了本次系统所涉及的四个模块的时序图和流程图,对涉及重要设计部分的类进行了具体的解释说明,并以具体的业务使用场景对系统的功能使用进行了细节补充。然后在本文的测试部分,主要对系统的数据准确性和可靠性部分进行了测试,同时也对数据应用模块看板部分以及监控功能进行了测试,并对其可用性、易用性、实时数据处理能力进行了论证,结果说明本系统可以满足B保险公司,日活在千万级别的数据处理水平。基本能够满足日常使用和需求中的各种业务场景。最后,本文总结了全文的内容,分析了本系统设计以及在具体使用过程当中尚有的不足之处,并展望了本系统在下一步可以提升的部分,以及未来保险大数据的其他应用方向。