政府网站分布式日志存储与分析系统研究

被引量 : 0次 | 上传用户:adzqx2009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着网络技术的发展,电子政务越来越被视为超越常规公共服务的手段。各国都在研究如何改进政府网站以及在线服务的质量,进而提高政府的效率,增加政府的公信力。论文结合我国政府网站的发展现状,基于Hadoop技术,提出通过在分布式环境下收集并分析网站的访问日志来获取用户的兴趣点与行为模式,进而为政府网站的建设与维护提供数据支持,以达到提高政府网站服务质量,提升公民满意度的目的。本文从以下几个方面给出了研究思路和方法。(1)详细分析了目前我国电子政务的发展现状,并总结了电子政务存在的优点和缺点;指出了电子政务中日志分析的重要性;通过对国内外与电子政务日志分析有关的技术和方法的研究,提出了本文的研究目标和框架。(2)从分布式数据存储和处理的角度,介绍了当前比较流行的几种分布式技术,包括:两种分布式文件系统(GFS和HDFS),一种并行计算编程模型(MapReduce)。(3)针对系统需求,利用模块化思想将系统划分为日志收集、日志存储和日志分析等功能模块;并对系统的总体结构进行了设计,提出了适合政府网站及其下属部门网站日志集中收集的层次架构,并对各个层的功能进行了定义。(4)从本地日志收集和分布式日志收集两个方面论证了日志收集的具体实现方法。本地日志收集方式采用目前常用的Javascript标记日志收集方式,并结合Web Beacon方式实现日志跨域存储;分布式日志收集则采用开源的Apache Flume分布式日志收集系统进行实现。(5)分别对日志的分布式存储和分布式处理模块的实现进行了讨论。通过对政府网站日志的存储需求进行分析,结合HBase的数据库的特点,选择HBase分布式数据库作为政府网站日志的存储平台,并对日志数据库的表结构进行了设计;采用MapReduce模型,结合HBase数据库提供的接口,实现了分布式日志分析处理。
其他文献
考虑到约束条件的模糊性,应用遗传算法和模糊集原理对钢桁架结构进行了优化分析.通过对计算结果的比较和分析,可以得出考虑了结构模糊性的遗传算法对于结构优化设计的优越性,
变压器是电力企业的重要设备,稳定安全的运行对企业的安全生产意义重大。变压器安装施工质量的高低与变压器能否安全稳定运行密切相关。文章分析了电力变压器安装施工的准备
目的:分析食管胃结合部腺癌及胃癌各自的独立预后影响因素。方法:收集本院2007年1月至2011年6月院340例术后食管胃结合部腺癌及胃癌病例,选择13项临床病理因素(性别、年龄、
王安忆早期小说创作过多地局限于个人经验和个人情感。《小鲍庄》是一个突变,树立了作家超越自我的信心。从《叔叔的故事》开始,真实性不再是小说的必要规则。《伤心太平洋》和
研究了时变结构的自振特性和动力反应 ,建立了随机时变结构的自振和动力反应方程。考虑荷载为 Markov随机过程模型 ,提出了基于该模型的随机时变结构动力可靠度分析方法。 T
近年来,年代剧的创作渐渐趋于类型化,难有创新和突破。而最近刚播出的年代剧《一代枭雄》,虽然也存在很多问题,但是在思想性上有更多值得肯定的地方,它用现代人的视角重新审
后现代主义时期,装饰与艺术在受众的心理需求中以装饰语言的表达方式来诠释人们对美、对情感、对生活追求的向往。依据不同功能的需要,突破固有的惯用模仿表现形式,大大地促
长期以来,我们注意发挥民族特色在教学中的作用,一直致力于细胞生物学教案的编写,为本门课程的建设与发展提供了重要保证。近几年在学校和学院的大力支持下,在课程体系建设等
<正> 随着高速自动包装的发展,具有低温热封性,热粘性能优良,气密性好的热封材料发展迅速。为了更好替代塑料吹塑瓶,玻璃瓶,有效提高产品的保质期,降低产品包装成本,热封形状