论文部分内容阅读
在全球信息社会高速发展的现状下,零售业时时刻刻都在产生数据,处理分析海量数据的需要也急剧增加。零售业商业竞争激烈,对于零售企业的管理人员而言,必须从数据中快速准确地发现经营状况异常并迅速做出商业调整才能让企业继续发展。顾客在互联网上对于零售企业的评价即网络舆情(network public opinion,NPO)对企业而言也有着巨大的可参考性。因此企业需要综合场内财务数据与场外网络舆情数据判断经营数据是否出现了异常,分析异常产生原因进行策略调整从而提高企业核心竞争力。经营状况的异常检测是零售企业运营中的挑战,为了迎接这个挑战,应先解决两个问题,第一个问题是怎么将网络舆情数据与财务数据整合。第二个是问题是常规的机器学习异常检测算法应用于连锁超市的多维混合经营数据检测效果不佳,应该用什么方法才能适用于连锁超市的复杂数据,解决这两个问题迫在眉睫。本文针对连锁超市数据特点,对已经存在的异常检测算法进行可行性分析,对传统的模糊综合评价法(FCE)进行了优化改进,并提出了一种动态FCE模型对连锁超市经营数据作异常判断,实现将其运行在Spark分布式计算框架上。本文完成的主要工作内容如下:(1)对连锁超市场内财务数据进行预处理,清洗去除脏数据。获取并量化连锁超市的场外网络舆情数据,与财务数据整合后建立数据集。(2)针对传统FCE人工定权值误差大这一缺点,本文建立了混合网络舆情的连锁超市FCE异常判断模型(NPO-FCE),用三角模糊数-层次分析法(TFN-AHP)对原有FCE主观赋权法进行优化,提高了连锁超市经营数据异常判断结果的准确性。(3)针对FCE不能动态适应市场变化这一缺点,本文建立了混合网络舆情的动态连锁超市FCE异常判断模型(NPO-DFCE),结合了因素之间的相关性与相关因素偏差度,自适应动态生成FCE的因素权重集与因素隶属度集,去除了人为误差,降低了误判率,提高了连锁超市经营数据异常判断的准确性与信服力。本文利用步步高商业连锁股份有限公司的真实经营数据集进行实验,实验结果表明提出的两种异常判断模型都能在连锁超市经营数据的异常判断上有良好的分析结果。