行业短信覆盖各大行业,内容包括产品推广、活动通知等多种形式,已成为企业进行商业活动的重要方式之一。短信服务商通过接口向企业客户提供短信收发服务,所有经由平台发送的短信会被存储记录下来,每月的数据量可以达到百万级别。对于短信服务提供商,历史累积短信会占用大量存储空间,但数据资产利用率低,公司缺乏快速、有效、深入的分析手段,无法掌握业务情况。此外,对于诈骗类、涉政类、反动类等具有一定风险的短信,公司缺乏有效的风险排查手段。另外,业务人员需要频繁从历史累积短信中,通过查询、统计、号码匹配方式,提取数据用于制作业务报表。最后,利用数据挖掘技术可从短信数据中提取大量用户相关信息,通过建立用户画像,开展例如精准营销、内容推荐、有偿信息咨询等新业务,实现数据的二次利用。因此,对于短信公司,一个能处理大量数据的行业短信分析系统就显得十分重要。本文首先对行业短信分析系统的研究背景进行介绍。之后对数据挖掘技术在文本分析领域的应用以及大数据技术在国内外企业中的使用现状进行介绍。然后,详细介绍了本系统所用到的文本聚类、文本分类、分布式存储、并行计算等技术。具体包括文本预处理工具Jieba 和 TF-IDF、DBSCAN 算法、集成学习 XGBoost 算法、Hadoop 和Spark大数据处理框架。其次,本文根据短信公司业务背景,分析用户需求,将需求转化成功能描述,确定用户角色和非功能需求。之后,根据需求分析结果,对系统进行整体设计,确定技术实现方案,并对每个功能实现流程进行梳理,完成核心功能的详细设计。最后,根据设计方案开发实现行业短信分析系统,并对系统进行功能和性能测试,确保符合系统需求。本系统利用文本聚类、文本分类等技术和大数据处理技术,实现对大量历史累积的行业短信进行快速、有效、深入地分析,满足了业务人员频繁、复杂的数据分析需求。本系统具有多个创新点和优势:支持多种分析手段、可建立标签丰富的用户画像、支持多行业类别、采用多分类器集成、分布式存储和并行处理。支持多种分析手段指,包括聚类分析、行业分类、风险分类、数据查询、数据统计、号码匹配。此外,通过数据挖掘可对每个短信用户建立多标签的用户画像,方便公司掌握业务状况,也可基于此与广告公司合作,进行精准营销,发挥短信数据的二次价值。在行业类别方面,本系统支持多达59种行业类别划分,从传统行业到近年来新兴行业均有覆盖。由于分类标签众多且每条短信可能属于多个行业类别,故在分类器方面,采用能处理多输出问题且兼顾分类性能的集成学习XGBoost算法,分类性能提升明显。此外,基于Hadoop和Spark的框架,使得系统相较于传统数据存储方案,具有高容错、高吞吐、处理速度快等优势。