基于Spark平台的共享单车骑行分析

来源 :内蒙古大学 | 被引量 : 5次 | 上传用户:woxuejavalala
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
共享单车的快速发展为人们短途出行提供了一种便捷的方式,它是实现“网络交通”的方式之一,也是城市短距离交通系统的一种创新模式。它具有方便快捷、低碳环保等特点,有效解决人们出行的“最后一公里”问题。并影响着城市居民的日常出行方式,也缓慢地改变着城市的空间格局。然而,随着共享单车产业的快速发展,也带来了乱停放现象严重、资源配置失衡等粗放式运营问题。如何精细化运营共享单车,实现资源动态调度已成为共享单车发展中的一个重要问题。本文使用Python网络爬虫获取天津市区的摩拜单车数据,结合Apache Spark大数据平台研究骑行行为的时空间特征,并对结果可视化分析。本文研究内容如下:(1)结合大数据技术搭建了以Spark为核心的共享单车骑行分析的大数据处理平台,并使用BDP个人版体现数据的灵活性。(2)使用Python网络爬虫的形式获取天津市区的摩拜单车的数据集,并结合编程语言Python和Spark SQL对爬虫数据做数据预处理,并把经过数据清洗后的数据存储在HDFS上。(3)利用Spark SQL分析天津市区2017年8月的摩拜单车总量和摩拜单车利用率;分别从摩拜单车的骑行距离,骑行次数以及热力图展示分析摩拜单车的骑行特征;结合工作日和休息日的不同时间段的单车骑行情况,分析形成出行时间特征的主要原因。(4)通过Spark MLlib机器学习库中的聚类算法对摩拜单车借车和还车的地理位置进行了建模,并对聚类模型进行评估;结合聚类的预测结果分析了起始位置各个聚类点的单车需求特征,还分别分析了早晚高峰时段的各个聚类点的借车和还车需求特征,并针对需求特征提出相关建议。
其他文献
市民社会是建立在市场经济和社会化大生产基础之上的、相对于政治国家而言的一切私人领域和非官方公共领域。市民社会的基本特征 ,可以从市场经济、契约法理、组织自治、公共
建立了液相色谱-四级杆串联飞行时间质谱法测定食品中249种香港《食物内残余除害剂规例》农药残留的筛查方法。样品经1%甲酸-乙腈提取,改进的Qu ECh ERS方法提取净化,Agilent
“V了又V”是汉语中常见的一种构式。“V了又V”包含两种子构式,根据构式中的动词不同,可以分为“V_i了又V_i”构式和“V_i了又V_j,V_j了又V_i”构式。“V了又V”可以扩展成“V
<正>近年来,随着互联网金融业务的蓬勃发展,国内各商业银行纷纷涉足电商平台,在给客户提供增值服务的同时,增加自身金融产品、服务的客户黏性,实现银行、客户的双赢。与传统
本论文是以四川省S中学为例的个案研究。S中学自1995年以来就一直在探索学校办学特色,在研究了中外教育家关于教育教学的先进理念后,结合本校实际,提出了分层管理的教学模式
用沉淀聚合法合成了较高产率的异戊二烯(IP)-马来酸酐共聚(MAH)物微球。并且系统的研究了反应温度、反应时间、引发剂浓度、反应介质、混合体系的选取、单体浓度、两单体其配比等
自詹姆斯·奈史密斯1891年在美国发明了篮球后,篮球运动相继在世界各大洲开展起来。篮球运动登上国际竞技舞台并成为世界性运动项目的标志,是1936年第11届奥运会将男子篮球列
《冲压模具设计与制造》是模具设计与制造专业必修的重点课程之一,本文详细探讨了《冲压模具设计与制造》课程教学内容的确定,学生特征分析及学习目标的确定,在此基础上进行
随着我国经济的快速发展,各行各业都在这种发展中进行着自身行业的定位,并根据经济的发展进行相应的变革。烟草行业是我国农业发展中的一个重要分支,在农业向着现代化农业发
清代贵州水利研究不但有助于认识清代贵州经济社会发展状况,也可洞察清中央和地方政府加强贵州统治的努力,是贵州地方史研究的重要内容;对清代贵州水利的研究,还有助于改变我