中文文学作品中字和词的统计研究

来源 :北京师范大学 | 被引量 : 0次 | 上传用户:lllljx
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
语言是是人类最重要的交流工具,是人类思维的有形载体和信息传递的主要方式,也是人类积累和保存知识的主要形式。长期以来,学者们对于西方符号语言进行了大量的研究工作,但是对于汉语的统计分析并不充分。本文从复杂性研究的视角出发,利用统计分析和计算机模拟等手段讨论了不同时期、同一作家不同作品构成的语料库中词和字的相关统计信息。   本文收集了唐诗、宋词、元曲明清小说和现代大众文学等语料对象,对自唐以来的文学作品的用字情况进行分析,结果表明,各个时期的文学作品的字频分布都服从函数形式Pr=A exp(-ar)/rb,并且存在幂律性质减弱而指数性质增强的演变规律。   进一步研究以字为单位的文本生成机制。参照Sebastian Bernhardsson提出的类似于“中性理论”的“元书”(meta-book)模型,本文分析验证了中文字频分布的两个主要性质--高频字均匀分布且总字数有限,得到和Bernhardsson研究英文时相同的结论。对目前受众广泛的金庸武侠小说和琼瑶言情小说进行计算机模拟,验证了“元书”模型的文本生成机制同样适用于中文,即不同的作者在写作的过程中也同样存在各自特有的“元书”。   因为古代汉语中多以字表意,诗词等文学作品中的非单字词语出现的并不多,而且通常不容易判断一些词语是否应当拆分成字。因此本文对于词频的分析主要是基于金庸的武侠小说和琼瑶的言情小说这两个语料库进行。我们发现两个语料在词频分布上均具有幂律特性,而且在“词汇表大小/文章总词数”关系方面符合HeapsLaw,即存在明显的幂律关系(对数线性)。   最后,我们基于王大辉博士和Bemhardsson的工作建立了扩展元书模型,其主要特征是词库不断增长的情况下对词语的随机选择。计算机模拟结果和实际统计数据非常好吻合,能够较为有力的解释具体一本小说中的词的出现和统计性质的随着文本增加的演变特性。
其他文献
演化博弈已经被普遍用于对人类合作行为的研究。Nowak等首先将囚徒博弈引入空间网格,开启了网络上博弈研究的先河。随着复杂网络学科的兴起,对于社会网络异质性的的描述更加贴
电网调度自动化可以实现对电网的运行监控和调度,使得调度人员能够对整个电网的运行状态进行实时监控和了解,在此基础上有效指挥电网的安全稳定运行。因此电网调度自动化是电网运行中非常重要和关键性的环节。因此电网调度自动化是整个电网运行的核心之所在,它关系到电网运行的安全性以及经济性。随着高端的计算机以及网络通信技术的发展,调度自动化系统正朝着更加集成化、标准化以及网络化的方向在发展,因此关于全新的调度自动
电机在工业领域有着举足轻重的地位,是工业生产正常进行的基本要素。电机在维修期间的各个阶段,都要进行一系列试验,以获取电机的各种物理参数和性能指标。基于传统开发平台的电机测试系统,具有开发周期长,自动化程度低,成本高,兼容性和扩展性差的不足,因此,建立一种便捷有效、满足现代需求的电机测试方法变得十分重要。LabVIEW是NI公司针对目前复杂的自动测试与控制所提出的一种功能强大、成本低廉、系统灵活的新
随着现代化及信息化的不断发展,人们在对于现代工业控制系统的性能指标的要求也随之有了不断提高,并且在越来越关注系统的安全性的同时,对系统的可维护性、系统的故障诊断及
无刷直流电动机结构简单、易于控制,而且有良好的调速性能,在航空航天、家用电器、电力传动等工业控制领域的应用日益普及。无刷直流电机的控制方式分为有位置传感器控制和无位置传感器控制两种。前者控制方式简单,后者需要利用转子位置检测电路替代常规的霍尔位置传感器来获得转子位置,从而节约了系统成本。目前,无刷直流电机无位置传感器控制已成为无刷直流电机控制技术的发展趋势。本文首先阐述了无刷直流电机的结构和工作原
大型发电机组安全运行对保证电网正常运行至关重要。随着发电机组励磁系统功能的不断完善,它的结构也日趋复杂,增加了低励或失磁故障的发生率。低励或失磁会破坏电力系统的稳定运行,并威胁发电机本身的安全。因此,加强失磁保护的研究至关重要。针对现有发电机失磁保护中励磁电压不易获取和动作延时较长等主要缺陷,提出了基于同步电动势Eq和功角的发电机失磁保护加速判据。在加速判据中使用同步电动势取代传统的励磁电压,无需
二分网络是复杂网络中一种重要的网络表现形式。本文从理论和实证两方面对二分网络进行了研究。 本文在以往二分网络的研究基础上,考虑到在将二分网络投影到单顶点网络并不
粗糙集理论作为一种新的数据分析理论,是处理具有不确定性的问题的有力工具,已广泛应用于数据挖掘、机器学习、人工智能和模式识别等领域。变精度粗糙集与模糊粗糙集分别从不
学位
变频调速技术作为一种新型的节能技术,在我国应用领域不断扩大。尤其是在火力发电企业中,随着煤炭能源逐步消耗,国家环保要求的日益严格,企业的发电成本急剧增加。因此减少发