论文部分内容阅读
随着互联网技术的快速发展,网站浏览与信息发布成为人们网络生活不可缺少的一部分。与此同时,各大网站与论坛中已经积累了海量的网络舆情数据,其中蕴含着一定的挖掘与分析的价值。企业也已经将网络舆情监控、数据分析等工作列入企业数字化战略的一部分。对于整车企业而言,网络舆情数据分析正在不断地凸显其应用价值。整车企业开拓新市场依赖于精准的市场定位,并通过新车型的发布满足市场需求。传统的数据分析依赖于统计年鉴、行业管理部门数据、属地市场调查等信息,这些数据大多存在准确度低、时效性差、样本量不足等缺点。其次,依靠传统的数据收集和统计难以满足大数据环境下的分析需求,缺乏自动化的数据分析工具和有效的数据方法成为阻碍业务发展的痛点。除此之外,数据没有积累,导致了数据复用性,分析方法拓展性的严重缺失。采集并积累汽车网络舆情数据,构建高效、可靠的数据分析系统,通过数据可视化支持整车企业的战略决策成为了解决这些问题的关键。本文首先对网络舆情数据分析的研究背景与现状进行论述,介绍了本文的研究内容。其次对网络舆情分析的方法论,即文本挖掘进行了介绍,同时介绍了相关的算法与技术。然后在基于目前的现状,提出了一套整体的解决方案。对舆情情感分析、市场洞察分析和新词发现的研究与实验进行了论述。针对舆情情感分析,首先介绍了网络舆情数据预处理的过程,包括数据清洗、文本转换和分句分词。其中着重介绍了文本分词的原理和执行方法。然后根据汽车行业的特点构建了专业词库。本文将词库匹配和基于Spark的机器学习算法进行结合,提出了一套舆情情感分析的整体流程。着重介绍了机器学习算法的训练与评价过程。对决策树、逻辑回归、朴素贝叶斯等多种文本分类算法进行训练和测试,根据Fmeasure评价结果选择运行效果较好的算法运用到系统构建中。在汽车市场洞察分析中,本文针对整车产品的竞争关系、购车比较以及购车决策路径三个分析场景提出了相应的分析方法。运用词库匹配的方式进行数据处理。依托数据仓库技术,设计提供了相关主题域的逻辑模型。最终提供了多种图表展现的数据可视化方案呈现数据分析结果。为解决专业词库维护难度大的痛点,运用了隐马尔科夫模型、信息熵和正则表达式三个算法结合的方式,进行了基于汽车网络舆情的新词发现研究与应用,实现了专业词库的补充与网络流行语的洞察。为词库管理人员中提供了维护便利,为专业词库的管理工作提供了完整的解决方案。本文对基于汽车网络舆情的数据分析系统的设计与实施进行了介绍,最终完成了系统的构建工作。该系统为业务用户提供及时、可靠的数据分析成果,帮助整车企业了解消费者的需求与喜好,洞悉产品的竞争格局,为整车企业未来的汽车产品规划和定位提供决策支持。该系统在企业数字化转型的过程中证明了其实用性。