基于Storm技术的实时数据处理平台研究与实现

来源 :电脑与电信 | 被引量 : 0次 | 上传用户:ccj66417
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对现有的大数据处理平台实时性差、处理耗时长、资源请求慢等问题,采用Storm实时计算技术,结合Flume、Kafka、Zookeeper等大数据处理组件,设计一个实时数据处理平台。利用tornado+WSGI+Apache技术搭建Web服务器,采用Echarts技术对处理结果进行可视化分析。以网站访问日志作为数据源,对平台进行验证,通过测试,该平台能够完成网站的点击率和访客数的实时计算,具有稳定可靠、操作简单、实时性强等特点。
其他文献
笔者回顾性总结65例瓦斯气体中毒时救治体会,报告如下:1临床资料1.1一般资料我院自1997年9月至2005年6月共收治瓦斯气体中毒65例,均为男性。年龄最大50岁,最小21岁,平均年龄39岁。
过去我国主要靠政府部门及所属开发区招商,这是招商引资1.0版本;后来通过招商中介组织开展专业化招商,这是2.0版本;目前各地多种形式的共建园区模式可称为3.0版本。招商引资3
自1984年1月至2000年l2月,手术治疗腹股沟斜疝386例,其中123例采用修复腹横筋膜为主的手术方法,根据临床实践,总结改进斜疝手术方法的体会.
基于博客平台的教学是网络环境下越来越重要的一种教学策略。随着网络技术、信息技术的飞速发展,极大地推动了博客教学的发展。文章介绍了博客应用于现代教学的理论依据,并结
盆腔炎又称女性盆腔生殖器炎症[1],泛指女性内殖器(包括子宫、子宫内膜、输卵管、卵巢及其周围的结缔组织、盆腔腹膜等处)所发生的炎症.腹腔灌注法是利用腹腔穿刺术,将抗炎药
新生儿先天性心脏病(先心病)是导致新生儿死亡的主要原因之一,了解其临床特征,早期诊断非常重要,现将72例先心病分析如下:
<正> 过去,一些国际组织用人均国民生产总值对世界各国进行排序,都将中国排在世界第一百位以后。中国社科院社会学所社会指标课题组结合我国国情,参考国外指标体系的理论框架,建立了由16个有代表性的指标组成的指标体系,以此对1987年世界各国的社会发展水平进行国际比较。结果是,在120个国家和地区中,我国的社会发展水平居第70位,大致相当于中等偏下水平。而从分项指标来看,经济、社会结构指标居世界后列,人口素质和生活质量指标居中等偏上水平。具体来说: 经济指标考察人均国民生产总值1项指标,我国居世界
TiAlN涂层具有硬度高、氧化温度高、热硬性好、附着力强、摩擦系数小,导热率低等优良特性。作为一种性能优异的新型涂层材料,TiAlN涂层成功的替代了TiN涂层,具有极其广阔的应
地中海贫血(下称地贫)是一种遗传性溶血性疾病,在我国沿海和南方诸省较多。许多资料表明地贫具有民族和地区性差异,新疆位处中亚,相邻国家或地区的地贫发生率均较高。为了解
针对平方根容积卡尔曼滤波(SRCKF)在机动目标跟踪中面临测量异常和模型失准时估计精度下降的问题,提出了一种基于反馈判决的鲁棒自适应算法。利用Huber函数对观测残差序列处理获得权重向量以修正测量协方差,增强算法的抗差能力以克服测量异常问题;同时,引入多重渐消因子调整预测误差协方差,从而改变滤波增益,增强算法的自适应性以解决模型失准问题。最后,根据马氏距离构建异常误差判别因子,采用反馈判决实现2种