基于MapReduce的并行LAD模型评论主题提取算法研究

来源 :福州大学学报:自然科学版 | 被引量 : 0次 | 上传用户:cjp023
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对传统的潜在狄利克雷分析(LDA)模型在提取评论主题时存在着计算时间长、计算效率低的问题,提出基于MapReduce架构的并行LAD模型建立方法.在文本预处理的基础上,得到文档-主题分布和主题-特征词分布,分别计算主题相似度和特征词权重,结合k-均值聚类算法,实现评论主题提取的并行化.通过Hadoop并行计算平台进行实验,结果表明,该方法在处理大规模文本时能获得接近线性的加速比,对主题模型的建立效果也有提高.
其他文献
全世界所有民族的神话传说中都有关于"史前大灾难"的故事描写,傣族也不例外。在傣族古歌谣中,就有描写"史前大灾难"。傣族古歌谣描写"史前大灾难"的神话色彩比较淡薄,更容易让人相
民族地区高校思想政治理论课教学是对大学生进行思想政治教育的主渠道。引导大学生树立科学的世界观、人生观和价值观,形成良好的思想道德品质和科学的法制观念,将自己培养成
目的探讨部分相对禁忌证近视眼LASIK治疗的效果和安全性。方法使用鹰视准分子激光机和Moria旋转角膜板层刀对66例118只眼相对禁忌证近视者进行常规LASIK手术。高眼压症38例68
本文基于云南沿边地区经济开放的区域差异研究,对其外向型经济发展状况进行比较分析。云南沿边地区外向型经济水平低,区域内差异较大,结构不尽合理。沿边地区应实行经济转型,全面
彝族"天人合一"的生态伦理价值在于则天、希天、求天、同天的完美主义和进取精神,将人对待自然界万物的态度升华为内心的信念,从而诠释人与天和谐相处。同时,彝族将此观念作为
根据框架的最大鲁棒度的定义,给出框架的最大鲁棒度的性质,并讨论经过一些矩阵扰动后框架最大鲁棒度的变化.对fusion框架的最大鲁棒度的上界进行估计,得到经过一些特殊扰动后
糖尿病患者常伴有糖尿病视网膜病变(diabetic retinopathy,DR),在白内障术后出现后发障时,需行Nd:YAG激光治疗以便后续治疗DR。此时激光治疗有两个目的,一是提高视力,二是行眼底荧光
城市化过程是经济发展过程的体现,是与工业化过程同步进行的。本文着眼于城市地理与规划,应用城市经济学的理论与方法,对德宏城市化滞后的原因及其在城市化进程中城市规划的
课堂辩论这一教学形式的引入,为我们的语文课堂注入了一股新的活力,增添了一抹新的色彩。它以开放、灵动和新颖的特点,受到广大学生的喜爱。学生在积极的争辩中,碰撞了思维,迸发了情感,展示了个性,同时又很好地锻炼了学生的言语能力,提高了学生口语交际水平,可谓是一举数得。但在平时的教学中,笔者发现一些“变”了味的辩论,与我们的初衷相去甚远。  【案例1】《将相和》教学片段  师:如果秦王叫兵士来抢蔺相如手中
分泌性中耳炎是一种以鼓室积液及听力下降为主要特征的非化脓性中耳炎性疾病,病因不明,目前认为主要因咽鼓管功能障碍、感染和免疫反应等因素所致^[1]。其治疗方法较多,疗效各异