基于加权引文特征的混合模型文本聚类研究

来源 :南京大学 | 被引量 : 0次 | 上传用户:jinsongyou
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
混合模型聚类是一种基于概率的生成式聚类方法,通过概率分布对文本生成模型进行建模,通过统计上的推理算法得到模型参数以及文本分配概率。目前,混合模型文本聚类的研究主要集中在对模型结构以及推理算法的改进上,对文本特征的改进研究相对较少。文本表示是文本聚类过程中最为基础的环节,所用的文本特征对于文本的表征能力越强,文本聚类的效果越好。因此,本文将从文本表示入手对混合模型聚类进行改进。对于学术文献而言,文本特征除了最为主要的文献正文之外,还包括引文。学术文献间的相互引用代表了知识的流动与传播,也蕴含了丰富的文献间关联信息。诸多实证已经表明,引文特征的引入对于文本聚类效果有一定的改善。但是目前对引文特征的应用主要基于传统引文分析的思想,即对信息量较少的引文著录信息的分析。随着自然语言处理技术、文本挖掘技术的发展,全文本引文分析的方法越来越吸引了研究者的注意。学界已经开展了包括引用位置、引用频次以及引文上下文等分析,挖掘了引文所涉及的较为全面的信息。基于全文本引文分析方法,本文提出了将加权引文特征应用于文本聚类的思想,即在传统的引文著录信息的基础上,结合引用位置、引用频次以及引文上下文对引文特征进行加权处理,以期能够更加准确、充分地表征文本。在实证研究中,本文着重从引用频次(引文在文献中被反复引用的总频次)的角度对传统引文特征进行加权改进,并将其与混合模型文本聚类相结合以改善聚类算法。本文主要的研究内容及结论为:1、从文本中抽取出引文具体被引用的频次,对引文特征(包括引用关系特征与引文标题特征)进行加权,实验发现,经过频次加权的引文特征相比传统的引文特征在混合模型文本聚类中能得到更好的聚类效果,引用频次能够改进传统的引文特征;2、将引用关系特征与词项特征相结合用于混合模型文本聚类,实验发现,引用关系特征是词项特征的一种重要补充,两者的结合可以较为显著地改善文本聚类效果;实验中保留高频引用关系(即去除频次为1和2的引用关系),可以得到更优的聚类效果;3、将引文标题特征与正文词项相结合用于混合模型文本聚类,通过对标题(Title)、摘要(Abstract)、正文(Body)以及引文(Reference)的词项赋予不同的权重,研究各位置词项对于文本表示的不同价值,实验发现,引文题名特征的重要性介于摘要和标题之间,基于本数据集四者之间的最优权重为4:2:1:3;4、通过对各个簇的聚类结果深入分析后发现,引文特征对于文本集中存在主题交叉的簇有积极影响,引文特征有助于强化簇间的区分度,从而增强聚类算法对簇的甄别,进而提高聚类质量。本文对加权引文特征在混合模型文本聚类中的应用进行了初步的探索,实验证实该特征可以改进聚类效果,本研究对后继的加权引文特征的深入研究与应用提供了借鉴。
其他文献
以一条实际的生产线为例,详细研究了用Flexsim仿真平台进行生产线建模和仿真的流程和步骤,对生产线的ESHLEP-N模型到Flexsim建立和转换,Flexsim的API函数的设置进行了深入的
日本《台东区立书道博物馆所藏中村不折旧藏禹域墨书集成》(上、中、下)三册有43件写本附有题跋129则,其中王树楠先生的题跋已有研究成果,还剩赵惟熙、张培恺、成本璞、白坚
研究背景与目的目前,肺癌已经成为全球最为常见的癌症之一,具有高发病率与高死亡率的特征。其中非小细胞肺癌(non-small cell lung cancer,NSCLC)患者约占85%以上。虽然近年
为了得到三个五阶非线性方程的精确解,本文通过假设行波解将三个五阶非线性方程化为常微分方程并借助辅助方程法和Mathematica软件对其求解,最终获得了一系列精确解.
轮状病毒(Rotavirus,RV)属呼肠孤病毒科,轮状病毒属,基因组由11段分节段RNA组成,分别编码6种结构蛋白(VP1-4,6,7)和6种非结构蛋白(NSP1-6),分别在RV的吸附、侵入、复制、装配和释放等环节中发挥着重要作用。RV的感染可引起宿主细胞内多种成分的异常表达,其中就有miRNAs。作为非编码的小RNA,其在组织和器官的生长发育、新陈代谢、疾病发生及病原体侵染等多种领域中所参与
凡纳滨对虾是我国乃至世界海水养殖的主导品种,但目前凡纳滨对虾的基础研究薄弱,特别是繁殖分子机理的研究尚缺。本研究对不同发育时期的凡纳滨对虾雌雄性腺组织进行转录组测
无论湿法去胶还是干法去胶,光刻胶去除工艺都需要在低k材料损伤、衬底硅材料损伤与光刻胶和其残余物去除效果之间取得平衡。
<正>伴随着大量的新闻发布,Cymer公司在SEMICON West 2007期间宣布其在极紫外线(EUV)光刻光源上的成功。光刻设备供应商ASML已经选择Cymer公司的极紫外线光源用于量产设备,并
类风湿关节炎(Rheumatoid arthritis,RA)是一种慢性、自身炎症性和自身免疫性疾病,以分泌多种促炎性细胞因子、滑膜增生和慢性炎症为特征。成纤维细胞样滑膜细胞(Fibroblast-like synoviocytes,FLSs)在类风湿关节炎的关节损伤和滑膜炎中扮演着重要的角色。PSTPIP2,脯氨酸-丝氨酸-苏氨酸-磷酸酶相互作用蛋白2,之前的研究表明其与炎症和自身炎症性疾病密切
薄板结构在面内非线性载荷作用下的屈曲破坏,是航空、汽车、船舶工业中薄板结构经常出现的破坏形式。因而受到人们的广泛关注。至今已有众多学者引入了多种方法,试图去解决这