薄熙来庭审的词频分析

来源 :科技生活 | 被引量 : 0次 | 上传用户:nihao99520
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  全民关注的薄熙来庭审中有哪些玄机?零售数据分析研究者黄成明对于薄熙来案全部庭审记录进行了逐一分析。
  如此量化的庭审记录是如何得来的呢?黄成明介绍,他使用了分词、搜索、排行的方法。首先要将庭审记录汇总起来,进行分词。所谓分词,就是将庭审记录的重要词汇挑出来。比如一些能提供信息量的名词、形容词,在庭审中一些没有信息量的,如动词或一些口头语挑出去。分词是一个最庞大的工程。
  但把庭审记录变成一堆庞大的词汇的时候,就要在原文中对于每个词进行搜索,来确定高频词汇。像一些只出现一次或者两次的词汇就要排除,重复次数较多的就要留下来。
  接下来就是对每个高频词汇进行排行。排行以后要将有关联性的整合在一起。例如“我不清楚”和“钱”都属于高频词汇,但不在同一范畴,所以要分开搁置。
  当然15.4万字如果以一人之力进行词频分析显然是个浩大的工程。据黄成明介绍,一些网上的词频统计软件对于这项工作有着很大的帮助。一些软件能够直接查找Word甚至普通文本进行词频分析,还有一些高级的能够对多个文档进行批处理。当然,这些软件的精度和智能化跟人是无法相比的,一些特殊的词汇、断句还需要人自己来分析。
  所谓词频分析,在电脑语言中叫做TF-IDF(term frequency–inverse document frequency),它是一种用于情报检索与文本挖掘的常用技术,用以评估一个词对于一个文件或者一个语料库中的一个领域文件集的重要程度。字词的重要性随着它在文件中出现的次数成正比增加,但同时会随着它在语料库中出现的频率成反比下降。TF-IDF的各种形式常被搜索引擎应用,作为文件与用户查询之间相关程度的度量或评级。
  据黄成明介绍,词的频率,近些年来在各个领域中越来越引起人们的重视。在文字、机器翻译、汉字编码中固然少不了词频的统计,在情报学和图书馆学中对它的研究也逐渐兴起。特别是科技、政治以及社会热点事件中,词频统计逐渐出现。例如习近平总书记在十八大讲话的词频分析,“人民”“改革”最多,公众就会更加明白今后施政方针仍然是以人为本、改革开放。如果没有词频统计,在大篇幅的报告中,这种结论是很难得到的。再比如,对于《国家中长期科学和技术发展规划纲要》的词频统计,就能够清楚“自主创新”会是未来重点方向,“生物制药”“汽车制造”等会是重点发展的产业。
  至于薄熙来庭审统计表的意义,在黄成明看来,它至少能将庞杂的庭审记录形成数字化,让公众相对清晰地了解庭审内容。而其中一些高频词汇的出现,也能表现出庭审围绕的核心问题,以及薄熙来在整个庭审过程中所主要表现的态度。■



其他文献
不久前,济南市旧城开发投资集团对外公布要复建21年前拆除的老火车站以及行包房。曾经的济南地标式建筑“拆了又建”,原址早已破坏,建筑材料与工艺也不复当初,复建后的火车站能在多大程度上弥补人们记忆的空缺呢?  “南方北方一个样,大城小城一个样,城里城外一个样”,缺乏科学的城市规划,缺乏创新的城市景观设计和定位,让千城一面成为中国城市的悲剧。但当这种“千城一面”遭到全民批判后,一场声势浩大的城市文化建设
期刊
近期,科学家发现秘鲁亚马逊河流域与世隔绝的麦斯可皮洛部落开始尝试与外界接触,过去麦斯可皮洛部落拒绝与陌生人交往,避免被杀害,以及任何潜在的威胁。究竟全球有多少个这样的“世外桃源”呢?  国际生存组织专家丽贝卡·斯普纳称,科学家无法准确评估全球有多少个与世隔绝的部落,粗略估计,全球可能存在着100多个类似的部落。主要聚集在亚马逊流域和新几内亚。这个伦敦机构组织主张维护土著居民的权利。巴西境内的土著部
期刊
国务院南水北调办日前在南水北调中线工程水源地湖北省丹江口市宣布,丹江口大坝加高工程通过蓄水验收,正式具备今秋蓄水条件。同时,跨越湖北、河南、河北数省的调水干渠主体工程将于今年底完工,确保明年汛后按期向华北送水。  当日,丹江口大坝加高工程验收委员会讨论通过了验收鉴定书。鉴定书显示,丹江口大坝加高工程形象面貌满足蓄水要求,设计、施工、设备制造和安装质量满足相关标准和要求,各建筑物、主要设备及安全监测
期刊
目前,科学家表示现已进一步理解中东呼吸症冠状病毒(MERS)的起源,这种致命的病毒曾在中东地区蔓延一年多时间,导致97人感染,47人死亡,其中多数患者是沙特阿拉伯人。他们发现MERS病毒基因组的片断发现于沙特阿拉伯境内的一只埃及墓蝠,暗示着埃及墓蝠可能是MERS病毒的真正源头,同时,这种病毒还需要另外一种中介物种,最终传递感染人类。  MERS病毒首次发现于2012年,有时该病毒能从一位患者感染至
期刊
戒指表  (瑞士)  如果您正在寻找一种代替手表与手机来显示时间的设备,那么这款戒指表或许能成为您的首选。使用不锈钢材质制作的戒指内藏微型芯片电路与LED灯,可清晰地显示出小时、分钟与秒,幽蓝色或桔红色的指示灯光让其颇具科幻色彩;而且把它放在操控台上即可无线充电与调整时间。为了节省电力,戒指灯光会在亮起1分钟后熄灭,再次转动戒指才会显示当前时刻。目前该戒指表正在筹备资金,成功推出的可能性很大。  
期刊
国外媒体23日报道,一项新研究显示,即使汽车司机没有注意到鸟的存在,它们在公路上也能观察速度限制,因此不容易被撞到。公路上的速度限制越高,鸟飞到空中避开即将到来的交通危险的速度越快。速度限制越低,它们待的时间就越长。  研究人员发现,这种行为和速度限制有关,并不是鸟评估正在接近车辆速度的结果。科学家承认,他们打破速度限制,在法国西部进行了这项研究。这些研究人员驾驶一辆白色标致牌掀背车穿梭在法国乡下
期刊
你只吃有机食品,认为微波餐“有毒”?如果答案是肯定的,就表示你可能患上了化学恐惧症,错失存在于现代食品中的营养物质。所谓的“化学恐惧症”与化学物质被妖魔化有关,是一种对化学物质的“非理性”恐惧。  美国达特茅斯学院开展的研究显示,现代食品中的低剂量化学物通常没有危险,而且十分有益。研究人员表示,“化学物”一词被赋予了太多的消极含义,被妖魔化,这是不公平的。  论文作者同时又是化学教授的戈登·格里布
期刊
?据国家卫生和计划生育委员会新闻发言人邓海华透露,中国传染病防治体系基本建立,但同时依然面临传统传染病威胁持续存在、新发传染病不断出现的严峻形势。  邓海华称,近年来,特别是2003年抗击非典以来,党中央、国务院高度重视传染病防治工作,将传染病防治工作纳入国民经济和社会发展规划,全国人大对《传染病防治法》进行了修订,并加强监督指导,各地区、各部门认真贯彻实施《传染病防治法》,传染病防治工作取得了明
期刊
通常人们肉眼观察葡萄酒,认为它仅由简单的色彩构成,事实上并非如此。8月27日,来自夏威夷的科学家加里·格林伯格(Gary Greenberg)博士将梅乐红葡萄酒、博若莱红葡萄酒和馨芳葡萄酒这三种葡萄酒液滴放在显微镜下观察,通过偏振过滤镜捕捉到葡萄酒的多色彩效应,清晰呈现它们的真实色彩。据悉,显微镜放大图像显示彩虹色彩糖微粒存在于不同葡萄酒中,基于微粒的形状形成不同外形结构。
期刊
8月27日,美国国家航空航天局卡西尼号使命(Cassini Mission)举办“向土星招手”(Wave at Saturn)活动,世界各地的人们分享了1,400多幅他们自己的图片,因为在这一天,卡西尼号飞船转向地球拍摄人们招手的情景。卡西尼项目团队将这些图片组合成一幅拼贴画。这些照片来源于40个国家和美国30个州,通过推特、脸谱网、Flickr、Instagram、Google+以及电子邮件等渠
期刊