论文部分内容阅读
词频统计是一种词汇分析研究方法,通过统计一定容量的语料库中每个词出现的次数,计算得到它们出现的频率,用以了解用词规律。词频统计在语言学、情报学、信息学和文献计量学等领域都有所运用。而在词频统计中,高频词是尤为重要的一类词。高频词是指在实际生活中使用频繁的一类词,它对于了解一种语言的使用和发展有着重要作用,具有一定的研究价值。本文所做工作,主要是根据不同的时间段建立不同的语料库,通过统计不同时间段语料库中的高频词,对比分析高频词的使用和发展情况,了解汉语发展的规律,并且尝试解释高频词使用情况的个别差异,以验证汉语发展的延续性和传承性,从而进一步揭示中文词频历时分布机理。文本一共分为六章:第一章为绪论,主要介绍了国内外关于语料库和词频研究的现状,简单介绍了本文的选题缘由、研究目的、意义、研究方法和研究思路以及文章组织结构。第二章主要介绍了汉语词语切分,包括它的基本定义,切分的重难点以及主要算法。同时,介绍了评价切分效果的三个标准:正确率,召回率,F指标,并以此为标准证明本文选择使用的分词软件准确性较高,具有可操作性。第三章主要介绍了如何实现词频统计,由于本文所使用的汉语语料库具有一定的时间跨度,根据汉语发展的规律将语料库分为两个时间段,根据两者的不同情况,使用不同的词频统计方法。第一个时间段为先秦到宋代,文言词多以单音节形式出现,字即是词,该时段中语料使用MyZiCiFrep字词频率统计工具,该统计工具能自动统计语料库中每个字出现的次数并且按频次的大小输出结果。第二个时间段为明清及明清以后,双音节词使用率提高,该时间段语料使用程序算法来统计词频,同时也通过算法来实现词频排序。本章最后介绍了本文所使用的相关词频算法。第四章是本论文的重点,也是本文的主要部分。本章首先简要介绍了本文语料库的语料来源,全部语料根据作品时期的顺序,分成先秦,两汉,魏晋南北朝,唐,宋,明清等六个不同的部分。选择TONP方法来确定本文高频词低频词分界。然后分析了从先秦到宋代的数据,制成一张词频对比表,通过全距对比和方差对比等方法发现大部分的高频词在语言发展中较稳定,波动较小。最后加入明清数据,对比从先秦到明清的高频词,利用EXCEL自带的数据分析工具中的“方差分析”,分析得出高频词序号与时间段的关联较小的结论,说明大部分高频词不会随着时间的变化有较大的变化,这也就能证明语言的发展具有一定的传承性和延续性,高频词的使用情况具有一定的相似性。第五章主要将英语和汉语两种不同的语种做了个简单的相关分析,发现英汉使用率前1000个词之间存在着一定的线性关系,两者之间有一定的正相关性,从而验证了语言的发展具有一定的相似性和共同点。第六章为总结与展望,总结了本论文的主要内容结论,并指出本文中存在的不足以及对将来的进一步研究的展望。