基于Hive的海量搜索日志分析系统研究

来源 :计算机应用研究 | 被引量 : 0次 | 上传用户:hero616
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对传统分布式模型在海量日志并行处理时的可扩展性和并行程序编写困难的问题,提出了基于Hive的Web海量搜索日志分析机制。利用HQL语言以及Hadoop分布式文件系统(HDFS)和MapReduce编程模式对海量搜索日志进行分析处理,对用户搜索行为进行了分析研究。对用户搜索行为中的查询热点主题、用户点击数和URL排名、查询会话的分析结果对于搜索引擎的排序算法和系统优化都有一定的指导意义。
其他文献
1999年以来,风险投资在我国得到迅速发展,几家风险投资基金相继创立,社会各界也给予极大关注。仿佛风险投资已经来到我们身边,而且长袖善舞。但是,与场面的热闹相比,我们更需
全球化时代,为中西文化交流构建了广阔的平台,使我们看到中西文化存在着的差异和冲突。面对冲突,我们必须积极应对,以开放、宽容的心态,拓展对话、沟通的渠道,博采各国文化之
基于视觉的三维重建仍然存在较大局限性。通过介绍基于视觉的三维重建技术的主要方法及其研究现状,对各种方法优缺点进行了比较分析,期望能够对该领域有较全面的把握,进一步
就业观是个体人生观、价值观在就业选择上的综合反映,对于个体职业选择、就业行为等有着关键的决定作用。大学生就业是关系到国计民生、关乎着社会发展与稳定。正确、科学的
<正>在购买频率减少下的膨化食品市场总体增长放缓,价格增长才是其主要的驱动力。调研数据报告来源:Kantar Worldpanel中国消费者指数调查范围:全国样本量:4万过去一年,中国
为有效地对军事代表制度进行改革和全面提高军事代表的职业能力,提出了建立军事代表职业资格认证考试制度,分析了建立军事代表职业资格考试制度的必要性,最后研究了军事代表
目的 探讨甲状腺激素在冠心病患者心脏损伤作用。方法 收集80例冠心病患者,同期选取80例体检正常者为对照组,超声检测患者心肌功能,甲状腺检测仪测定甲状腺水平。结果 心肌指
我国老龄人口与先期进入老龄化的国家对比,呈现突出特点:老龄化发展速度快、老年人口绝对数量大、高龄化趋势显著;老龄化人口发展超前于社会经济发展等。老年人是社会和国家
随着互联网和信息行业的蓬勃发展,自2012年以来,当今社会便进入了“大数据”时代,生活每天被各种各样的海量信息所包围,例如文字信息、语音信息、图像信息、视频信息等。作为
论述了目前我国军事代表制度的现状和存在的主要问题,分析了国家设备监理师职业资格制度内涵和特点,探究了借鉴设备监理制度建立军事代表职业资格制度的必要性与可行性,提出