基于Hadoop的车站大数据平台的设计与实现

来源 :山西大学 | 被引量 : 3次 | 上传用户:fdsadadsa
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在过去的二十年,随着科学技术的快速发展,医疗领域、科研领域、传感器领域、互联网公司以及金融机构产生了大量数据。为了适应非结构化的巨大数据量的数据集,“大数据”数据处理平台正蓬勃发展。相比于传统数据,“大数据”具有非结构化的、大数据集的以及需要实时处理等特点。根据以上特点,产生了“大数据”平台的数据采集、传输、存储和大规模数据处理机制的系统架构。本文使用Apache Ambari进行Hadoop大数据平台的搭建和管理,利用该平台的系统框架实现对车站数据的采集、存储和分析。该平台(在本文中也称为系统)分为前端可视化客户端和后端服务器两个部分,采用Python和Javascrip两种语言混合开发,Web框架是采用Python编写的轻量级框架Flask。该系统实现了对某车站安全和故障问题的数据传输、数据存储、数据挖掘和信息展示等多种功能。在本文中,我们首先对某车站大数据平台的需求进行了分析,并且根据需求对系统的架构进行了设计。其次为了方便管理和维护,设计了一种基于C4.5决策树算法的安全问题预测算法。之后,通过大量数据训练学习得到了合理的决策树,仿真结果表明该预测算法达到了预期的目标。
其他文献
元代的假宁制度承袭于前,又多有创新,具有鲜明的游牧民族特色。元代假宁制度淡化唐宋传统的礼治意识;大量增加宗教节日,宗教色彩浓郁;元代统治者对待各民族风俗文化兼容并包,将游牧
孔子作为一名伟大的教育家、思想家、政治家,早已在中国家喻户晓,甚至名扬海外,学术界对其研究也是层出不穷,但对于孔门弟子的研究则忽冷忽热,相对较为薄弱。尤其是像子路这种在众
快乐蕴涵在体育教学之中,既是内在的,又是客观具体的。体育教学要强调不同运动所独具的乐趣,强调各种各样的成功体验,以”乐教”为中介,实现”在发展中获快乐,在快乐中求发展”的目
随着近几年我国航空事业的飞速发展,飞机定型试飞科目要求越来越全面(如高海拔试飞、无人区实弹试飞等)。因此只在本地本机场试飞是完全无法满足试飞定型数据的获得的,这就要
应用固相萃取-超高效液相色谱-串联质谱法(SPE-UPLC-MS/MS)建立了测定地表水中的18种酰胺类除草剂的方法。水样经Oasis HLB固相萃取柱萃取,以丙酮-正己烷(3+7)混合液进行淋洗,洗
十七岁是雨季,是青春,是无忧无虑的年纪,在导演王小帅的镜头下青春确是如小坚和小贵这两个少年所经历的一般残酷。这部中国的经典青春电影《十七岁的单车》用朴素的手法独特的视
目前,工业化导致的环境污染、气候变暖以及生态失衡都已经威胁到整个人类的生存,为解决这些问题,西方学者提出了非人类中心主义。这一思想虽然有着重要的警醒作用,但是这种思
<正>物联网时代的车联网人类已经历了机械社会和电子社会的发展,现在正跨入一个"泛在社会"。在机械社会,人类社会的主要交流依赖于机械工具,人与人的信息直接传递,社会活动机
为提高索力测量的精度,该文提出一种基于多体系统传递矩阵法的索力振动测量方法。该方法考虑斜拉索垂度、倾角、自重及切向张力沿拉索的变化,在静力分析推导出斜拉索静态构形
由徐彬撰写的《伦理选择与价值评判:劳伦斯·达雷尔重奏小说研究》一书以文学伦理学批评为分析方法揭示了达雷尔重奏小说的伦理结构及内涵。该专著突破了现有国外研究中方法