基于Spark的智慧城市房价评估系统的研究与实现

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:ydaf1aj9
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
智慧城市的建设旨在解决城市发展过程中遇到的过于依赖人工、设计不够智能、预测不够精确等问题。房地产市场健康发展是智慧城市建设过程中与社会民生切实相关的重要组成部分。一方面,传统上房价评估依赖专业人士进行分析,凭借他们的经验和领域知识,进行主观分析,因而不能客观的评价出房屋的真实价格而且人工成本较高。另一方面,在早期城市信息化建设过程中,政府单位会根据需求建立房产业务系统。但这些业务系统仍存在以下的问题:随着城市规模的不断扩大和需求多样性的进一步丰富,系统的数据量急剧增加,存储空间面临瓶颈;另外这些系统中的数据内部蕴含的十分重要的信息没有被有效挖掘。因此,传统的方法已经无法满足这些需求,研究一个支持大规模存储并能对房屋数据进行有效分析的系统成为解决上述问题的关键。基于以上需求和问题,在特征价格理论、大数据处理技术以及机器学习中的随机森林和线性回归算法基础上,研究和实现了房价评估的存储和分析系统。首先为了给房价评估提供更加准确的属性信息,设计和实现了一个快速的数据采集工具。其次为了解决上述数据量急剧增加的问题,实现了一个基于Hive的房产数据仓库,该数据仓库既可以一次性的将原来数据库中和房价评估有关的数据进行导入,也可以定时将数据库中的数据进行增量导入。接着设计和实现了整套数据的预处理流程,对预处理后的房屋属性特征进行相关性分析,从而去除和房屋价格相关性小的属性。最终得到适合机器学习算法的房屋属性输入数据集。然后在Spark平台上根据特征价格理论构建房价评估的线性回归和随机森林模型,并利用数据仓库中的数据进行多次交叉验证和参数调优,选出能够使评估房价和真实房价之间误差与构建模型所需的时间相平衡的模型参数。同时为了提高访问房价评估结果的性能,设计和实现了一套基于Redis的数据结构和访问接口。最后,将房价评估模型以RESTful WebService的形式发布来方便用户使用。本文在测试验证阶段,首先在虚拟机的基础上搭建了一套大数据处理框架,包括基于Zookeeper的高可用分布式文件系统HDFS、数据ETL工具Sqoop、数据仓库工具Hive、分布式内存计算框架Spark以及结果缓存的内存数据库Redis。实验采用893200条样本数据进行模型训练与调优,实验结果表明随机森林模型比线性回归更加适合房价评估问题。当选择好随机森林的参数后,评估房价和真实房价之间的平均绝对误差低于0.03,两个算法构建模型的时间都在可接受范围之内。由于随机森林可以很好的学习出房屋数据中的特征,所以在真实环境中我们采用了随机森林模型进行房价评估。最后对房价评估的四个模块和性能进行测试,并以表格的形式记录了主要的测试过程,详细的测试结果和评估标准充分表明房价评估需求已经基本完成。
其他文献
国家工商总局颁布网络商品交易规定,互联网卖家面临实名制新制度。7月1日,国家工商总局颁布《网络商品交易及有关服务行为管理暂行办法》,该办法要求通过网络从事商品交易及有关
目的:观察特发性血小板减少性紫癜(ITP)治疗前后骨髓巨核细胞超微结构的变化,以探讨其意义.方法:对5例ITP病人进行骨髓巨核细胞电镜检查,并作了治疗前后对比.结果:部分病例治
道德治腐是中外政治权力制约的共同选项,这种选择基于公共权力自身所具有的道德理性、道德使命及道德合法性。从理论与实践上看,以道德制约权力在人类政治实践中一直延续至今,并
遗传流行病学资料显示,血栓形成患者中60%具有家族性[1].目前,可致高凝状态和静脉血栓形成的遗传缺陷中最普遍的是蛋白G、蛋白S、抗疑血酶Ⅲ和属于因子V Leiden突变的抗活化
不同历史发展阶段,政府履行职能的重点是不同的。在当前我国改革发展的关键时期,继续转变政府职能应以科学发展观为指导思想,在加强社会管理和公共服务职能的同时,必须确保政
目前,高血压病的发病率约为13.6%,高血压患者凝血指标的变化是心脑血管疾病前置的危险因素之一.本文对高血压患者的凝血酶原时间(PT)、凝血酶时间(TT)、部分凝血活酶时间(APT
合作学习是新课程所倡导的学习方式,这一教学方式,不仅为学生积极主动参与学习全过程,理解掌握数学知识及思想方法拓宽了途径,更重要的是对激发学生的学习兴趣、发展个性.培养合作
日前,阿尔卡特朗讯宣布向美国专利和商标局(USPTO)提交有关创新的管理服务系列专利应用中的前两项专利。新提交的专利中将蕴含阿尔卡特朗讯特有的管理服务经验和能力。其中一项专利涵盖了交付管理网络运营服务的控
有序政治参与对共同体的存在和个体的充分发展都具有非常重要的意义,其目标功能体现在推进面向公共利益的有效率的公共秩序、在多元社会中维持一定水平的政治共识、以公民教育
3月26日下午.由烽火网络承建的“数字社区与智能家居的的产业化项目”在武汉科技大厦1116室召开了验收会。武汉市科技局、武汉市财政局相关领导和武汉大学、中船709研究所、湖