论文部分内容阅读
【摘要】本文以文本信息中的情感偏向性数据挖掘作为出发点,对中国用户使用产品的评论文本信息加以分析和讨论,采用Apriori算法解读文本信息的特征挖掘,并结合监督形式的情感分析技术,实现了对使用产品评论信息的情感倾向性数据挖掘,以便于更好地帮助生产服务商改进自我的生产缺陷,提高行业内的竞争力。
【关键词】情感倾向性数据挖掘文本信息
伴随着现代化的电子商务迅猛发展,大多数的用户开始选择浏览网络产品评论来了解产品和服务的信息,以便更好的选择出自己最满意的产品类型。同时,用户评论信息也是一种信息的反馈途径,帮助了产品制造商及时的发现产品的缺陷和服务体制的漏洞,提高自身的竞争力。这就必须得依靠有效的数据挖掘手段来提高用户获取信息的全面性和准确性。
一、研究背景
Popescu等人把用户评论的文本信息挖掘任务分为以下步骤:(a)挖掘评论中的主要产品属性;(b)挖掘用户评论文本信息中对于产品属性的主要观点;(c)分析用户评论文本信息中的情感倾向;(d)对提取出的有效信息进行重要性排名。本文的研究内容主要涉及的就是以下几个方面。
1、挖掘产品的特征属性
由于国外的研究者较早的意识到分析挖掘有效信息对于产品生产商的重要性,所以在英文的信息挖掘方面,他们已经取得了较好的研究领域发展的成果。在2004年时Hu等人就采用应用关联分类的方法对文本信息中进行有效的挖掘。利用这种非监督性的方法对一些产品评论的文本信息进行挖掘研究,平均的调查准确率达到了72%,然后在此基础上再对信息进行后续加工处理,就得到了用户对于产品主要特征的情感倾向性。
由于网络评论信息数据挖掘的范围较大,并且信息的专业性不强,信息变化快,人工参与监督型的方法不满足于对整体信息的挖掘,这就需要采用非监督型的数据挖掘方式,总体的对文本信息进行分析研究。本文在以上研究的基础上,运用关联规则的非监督型挖掘方式和情感倾向性分析技术来更好地对评论进行挖掘深析。
2、情感分析
情感分析也叫做观点挖掘,和本文的研究主题相比较,观点挖掘更偏向于文本中对相关主题内容所表达观点的发现和挖掘。文本信息具有主观性和客观性之分:主观性的文本偏向于对一种观点的表达和认知;二客观性文本偏向于对一种事实的说明和称述。观点挖掘的目的就是将文本中的主观性文本信息识别出来,分析其中含有的观点信息以及她们之间还存在的潜在的联系,将得到的结论应用到实际问题中去。主体在主观性文章中表达对某些或者某一实体的认知,这其中就包含着大量的主观性情感。情感分析的目的就是判断文本信息中体现的情感倾向,可以分为正面、负面和中性三类。
二、文本信息挖掘方法
本文在以上研究的基础上,运用关联规则的非监督型挖掘方式和情感倾向性分析技术来更好地对评论进行挖掘深析。具体的分析方法可以分为以下几个步骤:(a)利用中文语言的分析工具对文本信息中的词性进行标注。(b)按照产品的属性分类模型,逐字逐句的分析信息的情感倾向。分类则采用LingPipe自然语言分析工具。对文本信息的情感倾向进行汇总,加入到观点评论的数据库中。(c)对进行词性标注后的文本信息建立关联规则的事务文件。(d)在关联规则的Apriori算法基础上,挖掘出频繁项集作为候选的特征属性集合I0。(e)将抽取的产品特征文本信息属性集I0按照近邻规则进行筛选,筛选后的结果作为候选特征属性集I1。(f)将候选特征属性集I1按照独立支持度的规则进行分析抽取,形成候选特征属性集I2。(g)将I2过滤形成特征属性集合I3;再从中过滤掉单字名词的项目,包括单字名词的n项频繁项(n≤3)。剩余的则成为了最终的产品特征属性集I。(h)在观点数据库中挖掘到关于产品特征属性的语句,分析出句子包含的情感倾向。(i)再按照句子出现的频率性大小进行排列,并总结出正面和负面信息的数量。
按照这种方法对文本信息进行挖掘,不用建立特征属性的概念模型就可以得出文本信息的特征属性。本文中以获取产品特征分析为例,运用观点挖掘结合情感分析的技术,从大量的用户文本信息中得到了有效的评论信息,使用这种方法进行分析挖掘实验表现出了极大的优越性,为生产制造商和客户提供了经济实用的决策手段。
参考文献
[1]唐明.文本挖掘及其在多文化交流平台中的应用[D].西南大学,2006
[2]黄立冬.基础教育资源搜索引擎中的中文分词技术研究[D].南京师范大学,2006
【关键词】情感倾向性数据挖掘文本信息
伴随着现代化的电子商务迅猛发展,大多数的用户开始选择浏览网络产品评论来了解产品和服务的信息,以便更好的选择出自己最满意的产品类型。同时,用户评论信息也是一种信息的反馈途径,帮助了产品制造商及时的发现产品的缺陷和服务体制的漏洞,提高自身的竞争力。这就必须得依靠有效的数据挖掘手段来提高用户获取信息的全面性和准确性。
一、研究背景
Popescu等人把用户评论的文本信息挖掘任务分为以下步骤:(a)挖掘评论中的主要产品属性;(b)挖掘用户评论文本信息中对于产品属性的主要观点;(c)分析用户评论文本信息中的情感倾向;(d)对提取出的有效信息进行重要性排名。本文的研究内容主要涉及的就是以下几个方面。
1、挖掘产品的特征属性
由于国外的研究者较早的意识到分析挖掘有效信息对于产品生产商的重要性,所以在英文的信息挖掘方面,他们已经取得了较好的研究领域发展的成果。在2004年时Hu等人就采用应用关联分类的方法对文本信息中进行有效的挖掘。利用这种非监督性的方法对一些产品评论的文本信息进行挖掘研究,平均的调查准确率达到了72%,然后在此基础上再对信息进行后续加工处理,就得到了用户对于产品主要特征的情感倾向性。
由于网络评论信息数据挖掘的范围较大,并且信息的专业性不强,信息变化快,人工参与监督型的方法不满足于对整体信息的挖掘,这就需要采用非监督型的数据挖掘方式,总体的对文本信息进行分析研究。本文在以上研究的基础上,运用关联规则的非监督型挖掘方式和情感倾向性分析技术来更好地对评论进行挖掘深析。
2、情感分析
情感分析也叫做观点挖掘,和本文的研究主题相比较,观点挖掘更偏向于文本中对相关主题内容所表达观点的发现和挖掘。文本信息具有主观性和客观性之分:主观性的文本偏向于对一种观点的表达和认知;二客观性文本偏向于对一种事实的说明和称述。观点挖掘的目的就是将文本中的主观性文本信息识别出来,分析其中含有的观点信息以及她们之间还存在的潜在的联系,将得到的结论应用到实际问题中去。主体在主观性文章中表达对某些或者某一实体的认知,这其中就包含着大量的主观性情感。情感分析的目的就是判断文本信息中体现的情感倾向,可以分为正面、负面和中性三类。
二、文本信息挖掘方法
本文在以上研究的基础上,运用关联规则的非监督型挖掘方式和情感倾向性分析技术来更好地对评论进行挖掘深析。具体的分析方法可以分为以下几个步骤:(a)利用中文语言的分析工具对文本信息中的词性进行标注。(b)按照产品的属性分类模型,逐字逐句的分析信息的情感倾向。分类则采用LingPipe自然语言分析工具。对文本信息的情感倾向进行汇总,加入到观点评论的数据库中。(c)对进行词性标注后的文本信息建立关联规则的事务文件。(d)在关联规则的Apriori算法基础上,挖掘出频繁项集作为候选的特征属性集合I0。(e)将抽取的产品特征文本信息属性集I0按照近邻规则进行筛选,筛选后的结果作为候选特征属性集I1。(f)将候选特征属性集I1按照独立支持度的规则进行分析抽取,形成候选特征属性集I2。(g)将I2过滤形成特征属性集合I3;再从中过滤掉单字名词的项目,包括单字名词的n项频繁项(n≤3)。剩余的则成为了最终的产品特征属性集I。(h)在观点数据库中挖掘到关于产品特征属性的语句,分析出句子包含的情感倾向。(i)再按照句子出现的频率性大小进行排列,并总结出正面和负面信息的数量。
按照这种方法对文本信息进行挖掘,不用建立特征属性的概念模型就可以得出文本信息的特征属性。本文中以获取产品特征分析为例,运用观点挖掘结合情感分析的技术,从大量的用户文本信息中得到了有效的评论信息,使用这种方法进行分析挖掘实验表现出了极大的优越性,为生产制造商和客户提供了经济实用的决策手段。
参考文献
[1]唐明.文本挖掘及其在多文化交流平台中的应用[D].西南大学,2006
[2]黄立冬.基础教育资源搜索引擎中的中文分词技术研究[D].南京师范大学,2006